记录下最近做得 产品中文分词

需要对一些信息进行产品Score的排序

思路: 厂家, 产品系列, 产品型号, 分销, 零售商等字典, 按照需求特性对他们进行分级

格式化用户请求信息, 根据上述字典切割成有效关键词, 根据这些关键词进行score计算

因为考虑到用户可能会输入些辅助词语, 所以找了个简单的常规字典来切分这类词语

根据词语的重要性, 出现的次数计算出score,对此排序.

code比较简单, 这里需要注意的是如何分级, 分级的score如何设定.

简单的完成后, 排重需求比较急, 所以没有优化和测试该分词效率和资源占用状况


顺便说下通用搜索的分词, 目前已知的算法在准确性上面都有些不足之处.
难点主要在于 网络用词的出现, 新型专业用语, 某段时间的词语需要特别处理 等等.