影子

GloVe需预计算整个语料的共现矩阵Word2Vec直接流式处理原始文本GloVe在低频词和全局关系上表现更好Word2Vec更擅长捕捉局部上下文模式GloVe官方提供多种规格（6B/42B/840B tokens）Word2Vec常用Google News预训练模型。

MOE混合专家系统的理解

深度学习领域里面俩个重要的思想方法

存在一个问题训练的时候每个字都要训练，每增加一个token，算力需求是平方的往上翻的，输入10000个token，苏姚计算10000*10000=1亿次的注意力分数。2017年谷歌发表史诗级的论文Attention is All you need提出Transformer，一种全新的神经网络。2022年斯坦福大学的团队推出了Flash Attention，与其研究看的范围，不如研究看的方式。做了特别的硬件优化，充分利用GPU的张量和内存访问，NSA在处理长序列时实现了显著的加速效果。2、固定模式全局关注。

将三国演义一本书作为训练样本进行训练的结果。

主要是测试过程中faiss.py文件导致问题，删除掉就好了。出现一个bug记录一下。

【代码】RNN预测正弦时间点。

【代码】TransformerEncoder影评测试。

【代码】zh-dataset-inews数据集分类测试。

【代码】Keras简单情感建模分析。

ChatGLM2-6B 是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了GLM的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果。

简单来说它在转换器之上提供了一个自然语言 API：定义了一组精选工具并设计了一个代理来解释自然语言并使用这些工具。可以想象 HuggingFace 的工程师会是这样的：在 HuggingFace 上托管了很多令人惊叹的模型，可以将它们与 LLM 整合吗？可以使用 LLM 来决定使用哪个模型、编写代码、运行代码并生成结果吗？从本质上讲，没有人需要再学习所有复杂的特定任务模型。只要给它一个任务，LLMs（代理人）就会为其包办一切。

除了像之前使用AutoModel根据 checkpoint 自动加载模型以外，我们也可以直接使用模型对应的Model类，例如 BERT 对应的就是BertModel注意，AutoModel这样如果我们想要使用另一个模型（比如把 BERT 换成 RoBERTa），只需修改 checkpoint，其他代码可以保持不变。

pipeline 的两个重要组件Models类）和Tokenizers类）的参数以及使用方式。以第一个情感分析 pipeline 为例，我们运行下面的代码。

""""""可以看到，pipeline 自动选择了预训练好的模型来完成任务。与文本生成类似，我们也可以通过max_length或min_length参数来控制返回摘要的长度。