影子

关于python的包的安装

7. 自动批处理规则总结DataLoader 的默认 collate_fn 遵循以下规则：张量: 自动堆叠 (stack) 成批次维度数值类型: 转换为张量后堆叠字符串: 保持为列表，不进行转换字典: 对每个键递归应用批处理列表/元组: 对每个元素递归应用批处理None: 需要特殊处理，默认会报错自定义对象: 需要自定义 collate_fn关键要点最常用: 返回 (input, target) 元组最灵活: 返回字典，便于按名称访问最复杂: 需要自定义 coll

多任务学习的优势知识共享：相关任务可以共享特征表示，提高学习效率正则化效应：多任务学习起到正则化作用，减少过拟合风险数据效率：对于数据稀缺的任务，可以从相关任务中获取有用信息模型简洁：一个模型解决多个任务，减少部署复杂度性能提升：通过任务间的相互促进，通常能获得比单任务学习更好的性能

torch.utils.data.Dataset：这是一个抽象类，所以我们需要对其进行派生，从而使用其派生类来创建数据集。最主要的两个函数实现为__Len__和__getitem__。__init__：可以在这里设置加载的data和label。__Len__：获取数据集大小__getitem__：根据索引获取一条训练的数据和标签。

LSTM训练简单语言模型的流程介绍

selfattention自注意力机制的网络的代码详解

GloVe需预计算整个语料的共现矩阵Word2Vec直接流式处理原始文本GloVe在低频词和全局关系上表现更好Word2Vec更擅长捕捉局部上下文模式GloVe官方提供多种规格（6B/42B/840B tokens）Word2Vec常用Google News预训练模型。

MOE混合专家系统的理解

深度学习领域里面俩个重要的思想方法

存在一个问题训练的时候每个字都要训练，每增加一个token，算力需求是平方的往上翻的，输入10000个token，苏姚计算10000*10000=1亿次的注意力分数。2017年谷歌发表史诗级的论文Attention is All you need提出Transformer，一种全新的神经网络。2022年斯坦福大学的团队推出了Flash Attention，与其研究看的范围，不如研究看的方式。做了特别的硬件优化，充分利用GPU的张量和内存访问，NSA在处理长序列时实现了显著的加速效果。2、固定模式全局关注。

将三国演义一本书作为训练样本进行训练的结果。

主要是测试过程中faiss.py文件导致问题，删除掉就好了。出现一个bug记录一下。

【代码】RNN预测正弦时间点。

【代码】TransformerEncoder影评测试。

【代码】zh-dataset-inews数据集分类测试。

【代码】Keras简单情感建模分析。

ChatGLM2-6B 是开源中英双语对话模型ChatGLM-6B的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，ChatGLM2更强大的性能：基于 ChatGLM 初代模型的开发经验，我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了GLM的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果。

简单来说它在转换器之上提供了一个自然语言 API：定义了一组精选工具并设计了一个代理来解释自然语言并使用这些工具。可以想象 HuggingFace 的工程师会是这样的：在 HuggingFace 上托管了很多令人惊叹的模型，可以将它们与 LLM 整合吗？可以使用 LLM 来决定使用哪个模型、编写代码、运行代码并生成结果吗？从本质上讲，没有人需要再学习所有复杂的特定任务模型。只要给它一个任务，LLMs（代理人）就会为其包办一切。

除了像之前使用AutoModel根据 checkpoint 自动加载模型以外，我们也可以直接使用模型对应的Model类，例如 BERT 对应的就是BertModel注意，AutoModel这样如果我们想要使用另一个模型（比如把 BERT 换成 RoBERTa），只需修改 checkpoint，其他代码可以保持不变。

pipeline 的两个重要组件Models类）和Tokenizers类）的参数以及使用方式。以第一个情感分析 pipeline 为例，我们运行下面的代码。

""""""可以看到，pipeline 自动选择了预训练好的模型来完成任务。与文本生成类似，我们也可以通过max_length或min_length参数来控制返回摘要的长度。