- 博客(10)
- 收藏
- 关注
RSS订阅原创 大模型算法二次开发，基本思路详细拆解_应用大模型 二次开发流程图
(Continue PreTraining)增量预训练在大模型整个流程中，增量预训练是属于后期预训练（Post-pretraining）的范畴。Post-pretraining（后期预训练）是一种在模型的初始预训练和最终微调之间进行的训练方法。这种方法通常用于进一步适应模型以处理特定类型的数据或任务。以下是详细介绍，参考了之前对SFT和RLHF的描述方式：1、后期预训练（Post-pretraining）
2024-10-19 11:27:16
1148
原创 LangChain: 大语言模型的新篇章_langchain 案例
本文介绍了LangChain框架，它能够将大型语言模型与其他计算或知识来源相结合，从而实现功能更加强大的应用。接着，对LangChain的关键概念进行了详细说明，并基于该框架进行了一些案例尝试，旨在帮助读者更轻松地理解LangChain的工作原理。引言近期，大型语言模型(LLM)如GPT系列模型引领了人工智能领域的一场技术革命。开发者们都在利用这些LLM进行各种尝试，虽然已经产生了许多有趣的应用，但是单独使用这些LLM往往难以构建功能强大的实用应用。
2024-10-18 09:09:44
860
原创 AI产品经理需要懂哪些技术？新手如何入门？
首先，我们要掌握常用的概率分布的类型，其次，我们要知道哪些业务场景下的特征数据和模型结果的分布，以及他们应该符合哪种分布类型，这样，产品经理就可以把概率分布应用于日常的工作中。🤔越来越多的人开始转行AI产品经理，毕竟大行情不是太好，对于刚毕业的研究生，想转行的互联网人，AI产品经理，确实是一个不错的方向，我在大厂做了多年的AI产品经理，还是想给大家一些经验和方向⏩。对于模型相关的技术名词，如偏差与方差、过拟合和欠拟合、特征清洗与数据变换等，AI产品经理也需要有所了解，以便于在与技术团队的沟通中更加顺畅。
2024-10-18 09:07:25
456
原创 一文彻底搞懂大模型 - Prompt Engineering、Function Calling、RAG、Fine-tuning
是一种结合检索和生成的技术，旨在提高LLM在生成响应时的准确性和信息量。它通过从外部知识库中检索相关信息，并将这些信息作为LLM生成响应的额外输入。精准检索：RAG通过信息检索技术，从大规模的文档集合或知识库中检索出与给定输入最相关的信息。这种检索方式比传统的关键词匹配更加精准，能够捕捉到更丰富的上下文信息。高效检索：RAG利用索引和检索算法，如向量数据库和查询检索器，快速地从文本数据中提取相关内容。这大大提高了信息检索的效率，使得模型能够在短时间内处理大量数据。RAG。
2024-10-17 09:04:10
1035
原创 Apple提出MM1.5：多模态大型语言模型微调的方法、分析和见解
我们介绍了 MM1.5，一个新的多模态大型语言模型 (MLLM) 家族，旨在增强在富文本图像理解、视觉参照和定位以及多图像推理方面的能力。在 MM1 架构的基础上，MM1.5 采用以数据为中心的模型训练方法，系统地探索了整个模型训练生命周期中各种数据混合的影响。这包括用于持续预训练的高质量 OCR 数据和合成字幕，以及用于监督微调的优化视觉指令调优数据混合。
2024-10-17 09:02:00
2256
原创 关于深度学习和大模型的基础认知_机器学习、深度学习、大模型的关系
关于什么是机器学习，李宏毅老师在其课程中说地很精辟，即机器学习 ≈ 机器自动找一个函数f( )函数（function）就是一个输入，返回一个输出。数学表示是y=f(x)，x是自变量，y是因变量。比如一片面包的卡路里是200卡，那么我摄入的能量和面包数量（x）之间的关系就是函数 y = 200x，200是参数，有了这个函数，我就能“预测”如果我吃了3片面包，会摄入600卡能量。在机器学习领域，模型（model）和函数的意思等价所谓大模型，就是一个巨大的函数。
2024-10-16 09:14:31
1064
原创 一文彻底搞懂大模型 - Fine-tuning三种微调方式
LoRA（Low-Rank Adaptation）通过分解预训练模型中的部分权重矩阵为低秩矩阵，并仅微调这些低秩矩阵的少量参数来适应新任务。
2024-10-15 18:51:56
3108
原创 大模型LLM-微调经验分享&总结
大型语言模型横行，之前非常焦虑，现在全面拥抱。目前也有很多开源项目进行大模型微调等，笔者也做了一阵子大模型了，特此来介绍一下ChatGLM-6B模型微调经验，并汇总了一下目前开源项目&数据。笔者与很多人微调结论不同，本人在采用单指令上进行模型微调，发现模型微调之后，
2024-10-15 18:49:53
2337
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人