ooblack的博客

GRPO相对于PPO做了很多优化，极大的节约了成本。。。

本文主要介绍了几种强化学习算法和其数学理论

主要介绍了PPO算法

函数中我多加了个参数，labels，因为数据集里面是携带labels的，而且huggingface的特定任务模型也是接受labels这个参数的，如果不加可能不适应huggingface的trainer的调用。数据集是从huggingface下载的，无需进入Dataset类进行额外变换，只需要做一些简单的预处理。先做一些数据预处理工作，本文主要使用的数据集是。

先上图这图看起来莫名其妙，想拿着跟CNN对比着学第一眼看上去有点摸不着头脑，其实我们可以把每一个时刻的图展开来，如下其中，为了简化计算，我们默认每一个隐层参数相同，这样看来RNN的结构就比较简单了，相比较CNN来说，RNN引入了更多的时序信息。

仅针对windows添加环境变量V填自己想要保存的路径完事了保存重启生效。

这篇博客是关于使用大型语言模型进行提示工程的指南。指南包括两大原则：编写清晰具体的说明和给模型足够的时间思考。其中，编写清晰具体的说明包括使用分隔符、要求结构化输出、检查条件是否满足以及提供少量样本提示等内容。给模型足够的时间思考则包括指定任务完成的步骤和指示模型在给出结论之前提出解决方案。此外，指南还提到了避免幻觉现象的重要性以及通过迭代改进提示的方法。除此之外，还介绍了使用大型语言模型进行摘要、推理、转换和扩展的方法，以及在创建聊天机器人时需要考虑的疑点解决方法。

基于Attention机制的英译法案例

Transformer学习笔记

先将模型加载进来简单计算下参数量325.524482参数量大概是325.5M模型加载进来后进行简单的试算data = {定义训练参数# 参数在用colab或者kaggle时注意要加上，不然会让你输入api key，比较麻烦构建训练器上面的训练器中出现了一个常用的对象，它的主要功能是将不同长度的序列补齐到同一长度，自动处理padding，使得一个batch内的所有样本长度一致。这里可以测试一下# 测试数据整理函数1031621715195长度全部都补齐到171了可以解码看看。