嗯,真的是数学之美啊!
自然语言,从规则到统计,从鸟飞派即模仿人脑思考的方式等等的方法,到用统计学的观点用概率来实现自然语言处理。数学模型,好强大。
一个事件,可不可能是这样呢?看它概率。
中文分词,那种情况更为合理?看它概率。
两个网站,是不是它们相似呢?看它们余弦值。
挖掘垃圾网站,反作弊,看两个网站余弦or用图论的方法。
熵的概念,用于衡量信息的不确定性。还有最大信息熵模型。
等等,以及为了解决问题而出现的,如马尔科夫模型等等。
只要承认概率,一切变得无比强大。
数学之美:自然语言处理与概率统计的融合
嗯,真的是数学之美啊!
自然语言,从规则到统计,从鸟飞派即模仿人脑思考的方式等等的方法,到用统计学的观点用概率来实现自然语言处理。数学模型,好强大。
一个事件,可不可能是这样呢?看它概率。
中文分词,那种情况更为合理?看它概率。
两个网站,是不是它们相似呢?看它们余弦值。
挖掘垃圾网站,反作弊,看两个网站余弦or用图论的方法。
熵的概念,用于衡量信息的不确定性。还有最大信息熵模型。
等等,以及为了解决问题而出现的,如马尔科夫模型等等。
只要承认概率,一切变得无比强大。
您可能感兴趣的与本文相关的镜像
Langchain-Chatchat
Langchain-Chatchat 是一个基于 ChatGLM 等大语言模型和 Langchain 应用框架实现的开源项目,旨在构建一个可以离线部署的本地知识库问答系统。它通过检索增强生成 (RAG) 的方法,让用户能够以自然语言与本地文件、数据库或搜索引擎进行交互,并支持多种大模型和向量数据库的集成,以及提供 WebUI 和 API 服务
1915

被折叠的 条评论
为什么被折叠?
