Post #112

#telegram#Search 🔍为什么 Telegram 不能搜寻中文讯息 ⭕️ 圈重点： - Telegram 使用 SQLite 作为资料库 - fts 全文搜索将字串以 Tokenizer 切割成短语，分别取 Hash，寻找时与哈希表进行比对 - 标记生成器根据分离器、分隔符切割字串 - 分离器、分隔符之外的成分为「令牌」，有“大号*（字母），N *（数字）及Co（其他）”三种预设 - 中日韩文字属于 unicode CJK，绝大多数被识别为令牌 (╯﹏╰) 从而，汉字语汉字间没有任何分隔符，会被整串拿去哈希，从而导致搜寻无效。本文从代码的角度很好地说明了 Telegram 的中文消息搜索为何如此之烂 👨🏻‍💻 作者给了两个建议： 1️⃣ 手动在汉字间插入不可见的分离器 2️⃣ 写个客制化的 Tokenizer，即魔改 Telegram 客户端软件 ❤️ 感谢群友分享此文，之前自留地也通过不同的思路整理了中文搜索方案，并认为目前的最优解是通过全局爬虫+数据库索引实现：Telegram 中文搜索方案探索 频道：@NewlearnerChannel