Talk Is Cheap

现在标注了10W数据，这时训练一个模型B，就可以从给10000W数据预测，用来训练一个模型A，来给10000W数据预测，从里面捞出 各类别里数据少的，作为待标注候选。比如我们要标注100W数据，

命令行（这个其实可以忽略）命令行（这个是实际的）

已经是python list类型，

【代码】使用 torch.utils.data 的 DataLoader。

Rule-based data cleaning is very important in rule-match and fuzzy-match algorithm.Everything is classification, so classification solves all. Also, everything is mapping to another dimension to be understand.What is mapping? Mapping solves all:text-mapTo

【代码】把LLAMA3的参数文件从safetensors转为pth格式。

【代码】AutoModelForSequenceClassification 数据预处理和模型初始化。

即一个句子的每个token的对预测结果的贡献度：

商品-描述 作为 输入-输出，数据集大小1500W，人工评估 模型预测新商品的描述 的可用率90%商品-描述 作为 输入-输出，数据集大小20W，人工评估 模型预测新商品的描述 的可用率93.5%任务是商品描述生成，模型为encoder-decoder transformer。

文章贡献：减少对GPU内存的占用，从而能让GPU容纳更大的模型参数。

核心贡献：优化 multi-head attention 为 multi-query attention，减少多head相关运算，不降低精度 且 大幅提升解码速度。

微调的时候，把预训练好的大transformer固定住不训练，在大transformer前面拼接几个token的参数，只训练前面这几个token的参数。因为虽然微调的时候 固定住了预训练好的大transformer，但预训练好的信息其实也一直都保留了。只用前面几个token的参数拟合微调数据集。

随着train-loss降低，对测试集生成的多样性确实会提升，但语句不通率也在提升。必须关注dev-loss！文本生成模型的过拟合，会导致泛化时语句不通！文本生成模型的欠拟合，会导致泛化时多样性差！

核心代码在 https://github.com/huggingface/peft/blob/main/src/peft/tuners/lora.py。相当于用 两个小矩阵 去学习 小的微调数据集，同时保持原来的预训练信息不动。验证了只微调～1%的参数的LLM微调方法，而不损失正确率。参数被固定了没微调，这个方法为什么会有效？和 输入向量 和 输出向量 和 原来。，进行微调的是两个小矩阵，把原来。到一起的，所以预训练的信息也都在。核心思想是用 两个MLP矩阵。

然后过滤掉所有模型生成句子里的2-gram或3-gram出现次数低的句子。有优质句子库的情况下，比如训练数据集就是优质句子库，{你好，10000次}{大家，9000次}{我们，8000次}{一起，7000次}{世界，7000次}{和平，6000次}

以上摘自 https://discuss.huggingface.co/t/generation-probabilities-how-to-compute-probabilities-of-output-scores-for-gpt2/3175。

训练后期，loss不再降低，说明生成的结果多样性 已经接近 训练数据的多样性。在训练数据本身多样性足够的情况下，训练中期，生成的结果多样性提升，训练初期，生成的结果都雷同，

所以，造成上面 类似分类问题里的（存在一个输入对应两个类的）歧义问题，这种情况，就是看两种response的重复次数了，重复次数就等于learning-rate。

首先encode，需要decode，利用默认的分隔符为空格，再encode。

所以对prompt-response-pair去重，不会造成分类问题里的（存在一个输入对应两个类的）歧义问题。

因为本质我们需要的是优质的text-generation格式的数据而已。

http://karpathy.github.io/2016/05/31/rl/ 的翻译。

【代码】huggingface/transformers的tokenizer的padding参数 代码示例。

意图分类‘内置’在prompt里了。

68页的InstructGPT paper：60页的GPT-4 technical report：

68页的InstructGPT paper：60页的GPT-4 technical report：https://cdn.openai.com/papers/gpt-4.pdf举例：举例：举例：举例：

LLM(large language model)

参考 https://github.com/huggingface/notebooks/blob/main/examples/language_modeling_from_scratch.ipynb。

从零构建ChatGPT

用KL-loss如图应该就是计算Reward Model生成的句子和Policy Model生成的句子的差值，然后优化这个差值。

transformer在预训练时，靠attention matrix能学到 预训练数据 里两两token之间的关系，也就是所说的上下文关系，然后在fine-tune时会重写 fine-tune数据集 里的两两token之间的关系。memory network 不能学到这些两两token之间的关系。

进一步就是相当于 这些重复的数据的学习率大了

GPT-2

github.com/huggingface/transformers

命名实体识别

优惠敏感度任务

NER

开源代码

用好yield来拆成一个个batch：def to_batch(data, batch_size): data_size = len(data) batch_number = int((data_size - 1) / batch_size) + 1 for batch_index in range(batch_number): start_index = batch_index * batch_size end_index = min((batch

摘要的最后一句话：achieves the best accuracy (87.8%) among methods that use only ImageNet-1K data. Transfer performance in downstream tasks outperforms supervised pre-training and shows promising scaling behavior.可见masked autoencoders (MAE) 的应用方法，是预训练好的MAE的encode