- 博客(14)
- 收藏
- 关注
RSS订阅原创 LLM | Prompt-tuning微调技术详解
Prompt Tuning 是通过在输入序列前添加额外的 Token 来适配下游任务的方法。这些额外的 Token 是可训练的，而预训练语言模型的参数保持不变。与Prompt Tuning相似的几种技术包括Prefix Tuning、P-Tuning和P-Tuning v2，本文仅对Prompt Tuning进行技术总结，其他两种技术的原理类似，仅仅是一些细微的差别（添加额外token的位置、插入的方式和插入的对象略有不同）。
2025-01-13 10:01:01
1025
1
原创 LLM | 利用LangChain和Streamlit搭建LLM对话系统
关于大语言模型（Large Language Model, LLM）和Ollama，本期就不再过多介绍，主要还是对LangChain和Streamlit进行一个简单介绍。
2024-09-11 09:15:44
1241
原创 Kaggle: 表面裂纹识别 (CNN)
使用PyTorch的]) 是一个类，用于将多个变换操作组合在一起。接受一个变换操作列表作为参数，并按照列表中的顺序依次应用这些操作。将图像调整为指定的大小: 224x224 像素，确保所有输入图像具有相同的尺寸。如果原图像不是正方形，这个操作会保持宽高比并填充剩余部分。这个操作将 PIL Image 或 NumPyndarray 转换为 PyTorch 张量。将图像的像素值范围从 [0, 255] 缩放到 [0.0, 1.0]。
2024-07-15 08:53:07
1285
原创 ChatGPT的基石：Transformer
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次在《》提出。Transformer架构引入了自注意力机制（），能够有效地捕捉文本中的长距离依赖关系，并在并行计算方面具有显著优势。注意：理解本文需要有一定的深度学习的知识，比如全连接神经网络、残差神经网络、LSTM、word embedding、AutoEncoder等等。
2024-07-09 20:51:14
1485
原创 桥梁风工程与人工智能（综述）
文章目录文献[1]主要内容：个人评价：文献[2]主要内容：个人评价：文献[3]文献[1]主要内容：利用特征工程（特征降维、具有强相关性的特征删除），基于实验数据，将泰勒展开的涡激力模型进行特征缩减，达到简化多项式模型的目的。最后将本文的模型与Scanlan和LeDong Zhu的模型进行比较，以陈述优劣性。个人评价：本人尝试过利用自激力实验数据进行类似思路的特征降维。实际上，基于实验的位...
2020-03-19 21:39:32
1059
1
原创 代理模型的个人理解
个人理解从解决时间和资源成本的角度进行的“插值”或“拟合”研究，最后进行优化得到全局最优解实际上就是各种机器学习算法的应用两种实现思路：1，实验量的堆积。在变量范围内进行拉丁方抽样（拉丁超立方抽样），然后利用试验或数值模拟进行对应的响应计算。然后利用代理模型构建映射关系，然后基于遗传算法或多目标优化算法添加相应的约束进行优化，得到最优解。若需要高精度结果，则严重依赖实验量。2，加点准则。先...
2020-03-19 20:14:45
12241
5
原创 机器学习模型性能评价指标
作者Hanyu MeiMAE=1m∑i=1m∣y^i−yi∣MAE=\frac{1}{m}\sum_{i=1}^{m}\left|\widehat{y}_{i}-y_{i}\right|MAE=m1∑i=1m∣yi−yi∣MAPE=1m∑i=1m∣y^i−yiyi∣MAPE=\frac{1}{m}\sum_{i=1}^{m}\left|\frac{\widehat{y}_{i}-...
2020-03-18 23:24:44
289
原创 参数模型和非参数模型的理解
作者Hanyu Mei1 通俗的理解参数化模型（parametric model）指定目标函数（或模型）的形式，比如:线性回归指定y=aX+by = aX+by=aX+b,逻辑回归y=11+e−xy = \frac{1}{1+e^{-x}}y=1+e−x1感知机（无非线性激活函数的单个神经元的感知模型）非参数模型（non-parametric model）对目标函数的形式不...
2020-03-18 23:05:57
3829
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人