Ajdidfj的博客

第二、语言结构和语法的差异。例如中文是一种“主谓宾”结构的语言，而英文则是“主语动词宾语”结构的语言。如果我们要评测出现幻觉现象，要尽可能的少出现数学题，因为这样当模型算错时候，不知道是出于对逻辑的理解错误还是出于模型出现幻觉，所以问题在设置时候要尽可能简单但是多面。中文和英文的文本数据集在种类、规模、质量等方面存在很大的差异，需要针对中文特点开发相应的数据集，以确保评测结果的准确性和公正性。中文的词汇量非常大，而且存在很多歧义性，需要更复杂的处理方法和技术，如分词、词性标注、命名实体识别等。

协方差矩阵的特征向量是PCA主成分的方向。主成分分析（Principal Component Analysis，PCA）是一种多变量统计方法，它是最常用的降维方法之一，通过正交变换将一组可能存在相关性的变量数据转换为一组线性不相关的变量，转换后的变量被称为主成分。答案：事实上，通过计算数据矩阵的协方差矩阵，然后得到协方差矩阵的特征值特征向量，选择特征值最大(即方差最大)的k个特征所对应的特征向量组成的矩阵。这样就可以将数据矩阵转换到新的空间当中，实现数据特征的降维。

微调的实用步骤：1）明确任务2）收集与任务输入和输出相关的数据，并对数据进行组织整理3）如果数据不够，可以借助AI生成或实用提示词模板来创建4）建议先微调一个小模型（例如 4亿-10亿参数），看一下模型的表现5）调整微调模型时的数据量，并观察对微调结果的影响6）评估模型，看看哪些做得好，哪些做得不好7）收集更多的数据，通过评估结果来持续改进模型8）提高任务的复杂度9）增加模型规模以适应这种复杂的任务参数高效微调方法 PEFT。