<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Pbsrm的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Pbsrm</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Pbsrm]]></copyright><item><title><![CDATA[DataWhale大语言模型学习第三课：GPT和DeepSeek]]></title><link>https://blog.youkuaiyun.com/Pbsrm/article/details/146327461</link><guid>https://blog.youkuaiyun.com/Pbsrm/article/details/146327461</guid><author>Pbsrm</author><pubDate>Mon, 17 Mar 2025 22:15:04 +0800</pubDate><description><![CDATA[GPT-4o系列模型增强了模型的逻辑推理能力（长思维连推理），提升了模型的输出质量，但牺牲了模型的相应时间。V3使用了MTP（多token预测）训练，并提出了高效的FP8训练方法。通过提示词的调整进行无监督下游任务求解，同时初步尝试了模型规模的扩展。V2，V3都针对MoE架构提出了相关稳定性训练策略。推理能力显著上升，但OpenAI并未披露其参数量。V2：提出MLA搞笑注意力机制，提升推理性能。训练范式：预训练后针对特定任务微调。参数量：1.1亿（0.11B）参数量：15亿（1.5B）]]></description><category></category></item><item><title><![CDATA[DataWhale大语言模型学习第二课：大模型技术基础]]></title><link>https://blog.youkuaiyun.com/Pbsrm/article/details/146269215</link><guid>https://blog.youkuaiyun.com/Pbsrm/article/details/146269215</guid><author>Pbsrm</author><pubDate>Fri, 14 Mar 2025 23:12:18 +0800</pubDate><description><![CDATA[大模型的定义：通常指具有超大参数规模的预训练语言模型架构：主要为训练：预训练（base model）、后训练（instruct model）通过扩展模型的参数规模、数据规模、计算算力，大语言模型的能力会出现显著提升。提出背景：由OpenAI的研究团队在《Scaling Laws for Neural Language Models》中提出，基于对模型规模、数据量和计算量关系的实证研究。核心结论：性能与规模的幂律关系：模型测试损失（性能）随模型参数（N）、数据量（D）和计算量（C）的增加按幂律下降。资源分配比]]></description><category></category></item><item><title><![CDATA[大语言模型学习第一课：初识大模型]]></title><link>https://blog.youkuaiyun.com/Pbsrm/article/details/146217139</link><guid>https://blog.youkuaiyun.com/Pbsrm/article/details/146217139</guid><author>Pbsrm</author><pubDate>Wed, 12 Mar 2025 22:47:42 +0800</pubDate><description><![CDATA[对自然语言文本生成概率建模的模型语言模型发展的几个关键节点：1990：统计语言模型，如N-Gram模型2013：神经语言模型，如RNN、WordsVec2018：预训练语言模型，如ELMo、BERT、GPT-1/22022：大语言模型，如GPT-3/4、Claude。]]></description><category></category></item><item><title><![CDATA[第六章：支持向量机]]></title><link>https://blog.youkuaiyun.com/Pbsrm/article/details/123883808</link><guid>https://blog.youkuaiyun.com/Pbsrm/article/details/123883808</guid><author>Pbsrm</author><pubDate>Thu, 31 Mar 2022 21:23:16 +0800</pubDate><description><![CDATA[第六章：支持向量机
1. 间隔与支持向量
当给定一个线性可分的二分类数据集，往往在数据集样本的特征空间中存在不止一个超平面，可以将数据集中的两类样本分割。

此时分割超平面的方程如下：
wTx+b=0
\boldsymbol{w}^T\boldsymbol{x}+b=0
wTx+b=0
支持向量机模型需要学习的参数就是决定该超平面角度与位置的 w,b\boldsymbol{w}, bw,b。那么什么样的超平面才是合适的超平面呢？支持向量机采用了两个原则：

超平面距离两类样本最近的距离应当相同，即超平面在两]]></description><category></category></item><item><title><![CDATA[第五章：神经网络]]></title><link>https://blog.youkuaiyun.com/Pbsrm/article/details/123604779</link><guid>https://blog.youkuaiyun.com/Pbsrm/article/details/123604779</guid><author>Pbsrm</author><pubDate>Sat, 19 Mar 2022 22:41:46 +0800</pubDate><description><![CDATA[第五章：神经网络
神经网络本事自己比较熟悉，所以只记录自己之前印象不深的知识点：局部最优解与全局最优解
局部最优解与全局最优解
多层神经网络的叠加往往会导致待优化的损失函数非凸，所以基于梯度反向传播的梯度下降法无法保证优化结果收敛到全局最优解。实践中有三种方法帮助神经网络的优化结果尽量跳出局部最优解：

使用不同的参数初始值开始优化，多次试验后选择优化结果最好的一组参数。
**模拟退化（simulated annealing）**技术，每一步都以一定概率接受比当前解更差的结果，从而有助于跳出局部最小。在迭代]]></description><category></category></item><item><title><![CDATA[第四章：决策树]]></title><link>https://blog.youkuaiyun.com/Pbsrm/article/details/123575348</link><guid>https://blog.youkuaiyun.com/Pbsrm/article/details/123575348</guid><author>Pbsrm</author><pubDate>Fri, 18 Mar 2022 15:07:34 +0800</pubDate><description><![CDATA[第四章：决策树
1. 背景
决策树模型其实是在给定数据集的情况下，生成一个用于判断样本类别的树形逻辑图，不同的节点要依据不同的变量的取值来对样本的类别进行进一步的划分。总体来说，决策树的目的是将样本越分越纯，下面给出一个判断高富帅的决策树模型作为例子（例子来源为南瓜书作者谢老师）。
#mermaid-svg-FiB0NwxiW9SAQ7ZT {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#merm]]></description><category></category></item><item><title><![CDATA[第三章：线性模型]]></title><link>https://blog.youkuaiyun.com/Pbsrm/article/details/123543426</link><guid>https://blog.youkuaiyun.com/Pbsrm/article/details/123543426</guid><author>Pbsrm</author><pubDate>Thu, 17 Mar 2022 10:46:08 +0800</pubDate><description><![CDATA[学习内容为西瓜书第三章线性模型以及南瓜书对应章节，其中LDA的多分类推广部分还不太清楚，但是我觉得以后应该用不到]]></description><category></category></item><item><title><![CDATA[DataWhale 吃瓜教程第一次打卡：第一章、第二章]]></title><link>https://blog.youkuaiyun.com/Pbsrm/article/details/123465279</link><guid>https://blog.youkuaiyun.com/Pbsrm/article/details/123465279</guid><author>Pbsrm</author><pubDate>Mon, 14 Mar 2022 01:30:00 +0800</pubDate><description><![CDATA[周志华老师《机器学习》第二章的自我学习笔记]]></description><category></category></item></channel></rss>