
自然语言处理
FUNCO_小风
不正经开发
展开
-
从函数模型推导到搜索排名
从函数模型推导到搜索排名——从搜索排名需求中,公式完善过程,理解程序开发中的数学建模。这里以内容质量评分与搜索排名为例,从最基础的线性函数出发,按照提出问题;解决问题的基本方式,逐步完善评分函数。从而为大家关于数学在我们项目研发实践中的应用提供借鉴,也期待大家能由此提高大家对数学的敏感度,将数学思维应用于项目研发的各个阶段,从而提高产品研发质量和用户体验。文中基本方法灵感来自《推荐系统原理...原创 2019-12-04 08:59:49 · 265 阅读 · 0 评论 -
中文分词与关键词提取概述
本文基于题库查重需求实现过程及《NLP自然语言处理原理与实践》学习过程总结得出。定有不足之处,恳请指出。介绍中文分词是自然语言处理(NLP)在中文环境下,首要解决的问题。主要难点为中文不同于英文,存在明确的分隔符(如空格)用于切分词语,且不同的切分方式,不一定存在语病,举个例子:结婚的/和尚/未结婚的人。结婚的和尚未结婚的人基本概念评价指标一般,中文分词从Precision、Re...原创 2019-10-16 15:23:19 · 4015 阅读 · 0 评论 -
HMM、Viterbi与中文分词
前言 在处理题库去重采用了关键词提取+simhash的办法。而提取关键词之前,需要先进行中文分词。一种基本方法是基于词库进行分词,但显然词库是不可能齐全的,这时,为了确认对于未被记入词库的词(未登录词)如别被处理,就需要有一定了解,才能准确应对意外的分词情况。本文为作者在进行题库去重过程中,对中文分词的...原创 2019-10-22 16:15:07 · 934 阅读 · 0 评论