m0_46250943的博客

任何一个因素被AI取代都是AI社交内容。

本地大模型：把各大厂（如Meta，阿里）开源的模型放到自己的电脑上去运行，不需要联网，不需要收费，隐私也不会泄露知识库：给大模型开卷考试，每次回答问题之前去知识库里查答案，根据查出来的事实回答你。

文本挖掘指的是从文本数据中获取有价值的信息和知识，它是数据挖掘中的一种方法。文本挖掘中最重要最基本的应用是实现文本的分类和聚类，前者是有监督的挖掘算法，后者是无监督的挖掘算法。

LDA和PLSA的最大区别在于LDA对于Doc的Topic分布加上了一层先验，Doc-topic分布是当作模型变量，而LDA则只有一个超参数，Doc-Topic分布则是隐藏变量。4. Topic Model的训练是一个数据拟合过程，找出latent topic最大训练语料库的似然概率，当不同类的数据不平衡时，数量量少的主题可能会被数据量多的主题主导。2. 去除一些TF/DF较低/高的词，较低的词在拟合的过程中会被平滑掉，较高的词没有区分力，标点，助词，语气词也可以去掉（中文常用词60万左右）。

1 对话系统1.1 对话系统2 命名实体识别 2.1 CRF 2.2 DNN-CRF 2.3 命名实体识别Trick 2.4 中文命名实体识别3 事件抽取 3.1 事件抽取4 数据挖掘 4.1 数据挖掘5 文本分类 5.1 ClassifierTrick 5.2 Retrieval2