<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[lsjmax的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/lsjmax</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lsjmax]]></copyright><item><title><![CDATA[【Datawhale AI 冬令营】如何动手微调出自己的大模型]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/144588049</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/144588049</guid><author>lsjmax</author><pubDate>Fri, 20 Dec 2024 11:22:52 +0800</pubDate><description><![CDATA[微调大模型主要以开源的通用大模型为基础，喂给模型自己准备的数据，将通用的大模型往自己想要的方向引导，变成更偏向某一领域的大模型。其中最主要的是数据，你希望大模型变成一个什么的大模型，就需要给他喂相应的数据。然后就是算力，微调的代码比较简单，可以自己搭一个环境，写几行模型训练的代码就能训练，也可以找一个模型训练平台，0代码进行大模型微调。输入模型名称，因为是医疗对话模型，回答患者问题，因此选择文本对话模型，在选择基础模型，这个根据问题的复杂度，越复杂需要选择的模型就越大，简单的可以选择小模型，减少训练时长。]]></description><category></category></item><item><title><![CDATA[书生浦语大模型实战营第二课笔记]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/137377314</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/137377314</guid><author>lsjmax</author><pubDate>Thu, 04 Apr 2024 16:46:19 +0800</pubDate><description><![CDATA[需要写一个python文件，加载模型，将模型运行起来，可以采用web框架，提供接口，在页面上使用模型，简单的可以直接在机器上使用测试。** 视频教程**:https://www.bilibili.com/video/BV1AH4y1H78d/第二课主要介绍大模型的部署使用，实战为主，没有什么理论知识，根据文档教程实践一下最好的学习方式。需要有强大算力的机器，根据你所用大模型所依赖的python包，安装好，把环境配置好。通常模型都在代码仓库，需要将模型下载到机器上。]]></description><category></category></item><item><title><![CDATA[书生浦语大模型实战营第二次课作业]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/137342561</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/137342561</guid><author>lsjmax</author><pubDate>Wed, 03 Apr 2024 13:49:35 +0800</pubDate><description><![CDATA[采用书生浦语提供的开发平台https://studio.intern-ai.org.cn/console/instance/new。使用studio-conda -o internlm-base -t demo。相当于以下几个命令：创建python虚拟环境，然后安装模型所依赖的包。让模型编写一个300字关于程序员的小故事。创建开发机，选用封装好的镜像。]]></description><category></category></item><item><title><![CDATA[书生浦语大模型实战营第一课笔记]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/137089806</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/137089806</guid><author>lsjmax</author><pubDate>Wed, 27 Mar 2024 21:47:04 +0800</pubDate><description><![CDATA[实际从模型到应用中间还间隔比较多步骤，个别步骤还是比较复杂和有难度，为此，书生浦语提供了全链路的开源体系，降低这个过程的难度。高效的轻量级预训练框架，在减少通信开销，通信预计算的重叠，长序列训练，容错性等方面做了很多功夫进行优化。第一节课主要对大模型进行介绍，特别是书生浦语大模型的发展历史和目前的全链路开源体系进行总体介绍。通用大模型：一个模型应对多种任务，多种模态。一个模型可以应对文本，语音，图像等相关任务。上传表格，可以根据用户的要求，进行数据的分析和画图展示，以及采用机器学习模型进行建模。]]></description><category></category></item><item><title><![CDATA[特征工程]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/108266495</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/108266495</guid><author>lsjmax</author><pubDate>Mon, 12 Oct 2020 21:22:50 +0800</pubDate><description><![CDATA[目录特征工程数据预处理1.数据缺失2.离散值连续化(数值化)(1)直接数值化(2)独特编码(one-hot encoding)(3)特征嵌入(embedding)3.连续值离散化(1)根据阀值进行分组(2)基于聚类分析的方法(3)采用决策树模型4.特征标准化和归一化（数值型特征）(1)零－均值标准化（Z-score）(2)归一化(3)L1/L2范数标准化功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右S]]></description><category></category></item><item><title><![CDATA[LSTM输入输出理解]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/104376616</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/104376616</guid><author>lsjmax</author><pubDate>Sat, 22 Aug 2020 20:50:03 +0800</pubDate><description><![CDATA[LSTM单元计算

图中虽然有3个LSTM单元，但是实际上只有一LSTM单元A，这里计算过程是假设输入的时间序列是3，则首先输入样本x0x_0x0​,LSTM初始状态c0c_0c0​,h0h_0h0​得到LSTM的状态c1c_1c1​和h1h_1h1​，此时在同一个LSTM单元输入x1x_1x1​和c1c_1c1​和h1h_1h1​，得到c2c_2c2​和h2h_2h2​，在同一个LSTM单元输入...]]></description><category></category></item><item><title><![CDATA[数据归一化、标准化和去中心化]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/104366641</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/104366641</guid><author>lsjmax</author><pubDate>Mon, 17 Feb 2020 23:03:45 +0800</pubDate><description><![CDATA[数据预处理，一般有数据归一化、标准化和去中心化。
归一化
将数据映射到[0,1]或[-1,1]区间范围内，不同特征的量纲不同，值范围大小不同，存在奇异值，对训练有影响。
标准化
将数据映射到满足标准正态分布的范围内，使数据满足均值为0，标准差为1。标准化同样可以消除不同特征的量纲。
去中心化
使数据满足均值为0，但对标准差没有要求。
每种方法对应的使用场景
1.若对数据的范围没有限定要求，则选择标...]]></description><category></category></item><item><title><![CDATA[C#WPF多线程控件访问问题]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/103587271</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/103587271</guid><author>lsjmax</author><pubDate>Tue, 17 Dec 2019 20:39:00 +0800</pubDate><description><![CDATA[C#（WPF）多线程，涉及控件访问问题方法1：Dispatcher.Invoke（）方法2：BackgroundWorker()
在程序涉及复杂大量计算时，通常需要用另外开个后台线程进行计算，让程序能响应其他的操作，防止出现卡死现象。然而，经常在计算结束后，需要将结果显示到界面的某个控件上，这就需要在新开的线程里访问主线程的UI控件，这会出现不能跨线程访问的问题。下面介绍两种解决方式。
方法1：D...]]></description><category></category></item><item><title><![CDATA[Numpy中高维axis的操作个人理解]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/103080889</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/103080889</guid><author>lsjmax</author><pubDate>Fri, 15 Nov 2019 15:42:45 +0800</pubDate><description><![CDATA[Numpy中维数
numpy能够实现高维矩阵的运算，但是当维数超过3后，就能难理解根据某个轴进行运算的操作过程（太抽象了）。二维矩阵，就是有行和列，axis=0，对应是行，axis=1，对应是列，通过2个下标确定具体某个元素的位置，三维则需要三个下标确定某个元素的位置。
Numpy维度的直观理解
对应三维矩阵，那么里面的具体的元素是被三个[]所包围的，最外层[]对应于axis=0，即第一维，次外层...]]></description><category></category></item><item><title><![CDATA[优先经验回放(Prioritized Experience Replay)]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/102731905</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/102731905</guid><author>lsjmax</author><pubDate>Sun, 27 Oct 2019 16:51:01 +0800</pubDate><description><![CDATA[经验回放（experience replay）
在DQN算法中，为了打破样本之间关联关系，通过经验池，采用随机抽取经历更新参数。但是，对于奖励稀疏的情况，只有N多步正确动作后才有奖励的问题，会存在能够激励Agent进行正确学习的样本很少，采用随机抽取经历得方式，效率会很低，很多样本都奖励为0的，没什么区别。
解决这个问题的主要从两方法考虑，经验存储方法，经验抽取的方法，目前主要采用经验抽取的方法。...]]></description><category></category></item><item><title><![CDATA[感知机模型]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/102719696</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/102719696</guid><author>lsjmax</author><pubDate>Thu, 24 Oct 2019 16:08:48 +0800</pubDate><description><![CDATA[感知机
感知机时神经网络的雏形，是线性二分类器，输入实例的特征向量，输出1，-1进行实例的分类。感知机模型是寻找N维空间的超平面。(超平面是指将空间一分为二的平面，N维空间的超平面为N-1维，如二维平面的超平面是一条直线，三维空间的超平面是一个平面)。
感知机模型的表示：
f(x⃗)=sign(w⃗⋅x⃗+b)f(\vec{x})=sign(\vec{w} \cdot \vec{x}+b)f(x)...]]></description><category></category></item><item><title><![CDATA[基于离线策略的强化学习(PPO)]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/102654944</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/102654944</guid><author>lsjmax</author><pubDate>Wed, 23 Oct 2019 20:05:27 +0800</pubDate><description><![CDATA[离线策略强化学习
对于基于策略的强化学习，通过建立带θ\thetaθ的策略模型，通过策略梯度进行优化，梯度如下 ∇θU=Eτ−pθ(τ)[∇θlogPθ(τ)R(τ)]\nabla_\theta U=E_{\tau -p_\theta(\tau)}[\nabla_\theta log P_\theta(\tau)R(\tau)]∇θ​U=Eτ−pθ​(τ)​[∇θ​logPθ​(τ)R(τ)]
该...]]></description><category></category></item><item><title><![CDATA[基于策略的强化学习]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/102627715</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/102627715</guid><author>lsjmax</author><pubDate>Sat, 19 Oct 2019 16:51:06 +0800</pubDate><description><![CDATA[基于值函数的强化学习缺点
1.针对确定性策略。
值函数是间接得到最优策略的方法，根据价值函数的大小，贪心选择值最大的动作，是确定性策略，每次面对同一个状态，选择的动作是同一个。
2.存在策略退化。
基于值函数的方法，基本是用近似器去拟合真实的价值函数，必然存在着一定的误差，但是即使将误差训练到很小了，可能导致策略变差。比如真实的价值函数得到的A,B两个动作值分别为，0.45,0.46，真正的策略应...]]></description><category></category></item><item><title><![CDATA[价值函数近似]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/102620220</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/102620220</guid><author>lsjmax</author><pubDate>Fri, 18 Oct 2019 15:43:40 +0800</pubDate><description><![CDATA[价值函数逼近
在传统TD算法、Q-leanring中，V价值和Q价值通常是用表格存储，不适用于大规模问题。可以采用近似器来拟合真实的价值函数。
Q(s,a,θ)≈Qπ(s,a)Q(s,a,\theta) ≈Q_π(s,a)Q(s,a,θ)≈Qπ​(s,a)
V(s,θ)≈Vπ(s)V(s,\theta) ≈V_π(s)V(s,θ)≈Vπ​(s)
用一个带θ\thetaθ参数的函数近似器，来代替真实...]]></description><category></category></item><item><title><![CDATA[Q-learning和Sarsa]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/102614127</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/102614127</guid><author>lsjmax</author><pubDate>Thu, 17 Oct 2019 22:09:20 +0800</pubDate><description><![CDATA[Q-learning
Q-learning是基于TD(0)TD(0)TD(0)的无模型强化学习算法。其采用的价值函数为动作价值函数Q(s,a)。
主要价值函数迭代公式为：
Qπ(st,at)=Qπ(st,at)+α(rt+1+γmaxaQ(st+1,at+1)−Q(st,a))Q_π(s_t,a_t)=Q_π(s_t,a_t)+\alpha(r_{t+1}+γmax_aQ(s_{t+1},a_{t...]]></description><category></category></item><item><title><![CDATA[Model-free强化学习]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/102593144</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/102593144</guid><author>lsjmax</author><pubDate>Thu, 17 Oct 2019 16:32:08 +0800</pubDate><description><![CDATA[强化学习几个问题
1.在线学习与离线学习
在线学习：agent与环境在线交互，将样本在线学习后，使用一次就丢掉。
离线学习：agent与仿真环境进行交互，将样本进行存储，也可以从别的地方直接拿来样本，可重复的从样本池中抽取样本进行学习。
离线学习样本的利用率较高，但是需要保证样本的可用性。
2.奖励的延迟
agent与环境交互，每次得到的是立即回报，可能需要一连串动作后，才能达到最终的成功状态，获...]]></description><category></category></item><item><title><![CDATA[马尔可夫过程]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/102555897</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/102555897</guid><author>lsjmax</author><pubDate>Wed, 16 Oct 2019 19:35:04 +0800</pubDate><description><![CDATA[马尔可夫过程
强化学习基于马尔可夫过程，研究的问题都可以抽象成马尔可夫过程。其定义为满足马尔可夫性质的随机过程。
马尔可夫性质：通俗来讲，即当前状态包含了所有相关的历史，只要当前的状态已知，下一个状态的发生可能性就已经确定，不需要知道从开始到当前状态所经历的具体的状态变换。
P(st+1∣st)=P(st+1∣st,st−1,st−2...s0)P(s_{t+1}|s_t)=P(s_{t+1}|s...]]></description><category></category></item><item><title><![CDATA[参数估计]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/101847449</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/101847449</guid><author>lsjmax</author><pubDate>Tue, 01 Oct 2019 17:10:27 +0800</pubDate><description><![CDATA[参数估计
已知一个随机变量XXX的分布函数Fθ(x)F_\theta(x)Fθ​(x)，其中θ=(θ1,θ2……θk)\theta =(\theta_1,\theta_2……\theta_k)θ=(θ1​,θ2​……θk​)为未知的参数。
利用样本X1,X2,X3...XnX_1,X_2,X_3...X_nX1​,X2​,X3​...Xn​对未知参数θ\thetaθ进行估计，或者估计θ\theta...]]></description><category></category></item><item><title><![CDATA[大数定律和中心极限定理]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/101774328</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/101774328</guid><author>lsjmax</author><pubDate>Mon, 30 Sep 2019 18:24:35 +0800</pubDate><description><![CDATA[随机变量的矩
XXX是一个随机变量，f(x)f(x)f(x)为概率密度函数，对于任何正整数nnn，定义
E(Xn)=∫p(x)xndxE(X^n)=\int p(x)x^ndxE(Xn)=∫p(x)xndx为随机变量的nnn阶矩。

当nnn=1，E(X)E(X)E(X)为随机变量的期望，可以理解为平均值。
当nnn=2，E(X2)−E(X)2=E((X−E(X))2)E(X^2)-E(X)^2=...]]></description><category></category></item><item><title><![CDATA[贝叶斯公式和共轭分布]]></title><link>https://blog.youkuaiyun.com/lsjmax/article/details/101695329</link><guid>https://blog.youkuaiyun.com/lsjmax/article/details/101695329</guid><author>lsjmax</author><pubDate>Mon, 30 Sep 2019 18:23:21 +0800</pubDate><description><![CDATA[概率密度函数
概率密度函数是对于连续随机变量而言，对于离散随机变量没有所谓的概率密度。
连续随机变量的取值是无穷多个的，研究连续随机变量具体等于某个值的概率是没有意义的，该值很小几乎为0，只能研究某个区间内的概率。通常我们研究连续随机变量的概率，是研究随机变量XXX值落在区间[a,b][a,b][a,b]的概率，P([a,b])=∫abf(x)dxP([a,b])=\int_a^b f(x)dx ...]]></description><category></category></item></channel></rss>