雷湘剑-优快云博客

原创 lora微调训练

主流大模型已经是做了预训练的，预训练的基本原则它是有一个数据集，这就导致我们的大模型存在一个问题，它的数据是静止的，最新出的一个大模型它的数据集会有一个截止时间。所以我们需要对一些大模型做一些知识的喂投，让它去理解我们特定领域知识的一些特性，说白了就是我们要训练出来一个比较匹配我们业务的大模型，就是做行业领域这块的。这里是简单的问答，还有一种方式是多人对话，比如说要做医疗行业的大模型，针对一些心理问诊，那有多人对话，比如说：因为问诊是循序渐进，所有它是由多人会话的。"input":"",（输入）

2025-02-26 20:50:18 152

原创 RAG架构

它可以高效的帮我们检索这些向量。Embedding：通过一个专门的模型将上传的表格、文本等这种本地文件数据处理成机器能够理解的数字，相似的文本在这个向量空间里会更接近，比如苹果、水果这种词在向量数据库中比较接近，首先它会在一个知识库中找到和问题相关的部分，然后把找到的内容整理成简单易懂的形式，最后用整理好的内容生成一个精准的解析的回答。下一步选择Embedding模型和向量数据库，嵌入模型其实非常重要，它处理的准确性直接决定了基于智库回答的准确度，OpenAI的嵌入模型目前是最强大的，但是需要付费。

2025-02-25 17:38:21 259

原创与模型进行交互的客户端(Chatbox)

如果想让本地模型具备联网能力，可以通过chrome插件方式（page assist）--本地AI模型的Web UI。通过设置窗口中选择对应大模型提供商，然后输入API域名地址，例如本地：http://127.0.0.1:11434。Chatbox是一个开源的AI客户端，它支持大部分的主流的模型接入，包括本地部署模型以及其他服务商提供的模型，而且还兼容多个平台交互体验。如果你想使用满血版的deepseek-r1大模型，也可以通过平台cloud.silliconflow.cn/上注册账号密钥来在线使用。

2025-02-25 16:32:58 699

原创 DeepSeek的满血版与蒸馏版

目前市面上主流的成本最低的部署大模型的方法就是通过Ollama本地大模型运行框架，专门为本地机器上运行和部署大模型设计的。蒸馏版：通过技术从满血版提取关键知识，缩小模型体积，降低硬件需求，参数量从1.5B 到70B不等。满血版：参数量大，性能强，但需要极高的硬件配置（如1T内存、双H100 80G显卡）满血版DeepSeek-R1的参数量6710亿参数，对设备配置要求高。参数量（如1.5B)：模型参数数量，越大性能越强，硬件需求越高。Qwen/Llama：表示基于哪个模型蒸馏而来。

2025-02-25 16:07:14 424

原创如何利用DeepSeek训练自己的模型

数据集是训练模型的基础材料，我们可以根据自己的需求收集相关数据，每个行业业务不同，针对具体的业务场景进行收集。数据的清洗与标注是关键。DeepSeek提供了数据预处理工具，可以帮助快速的完成数据整理。

2025-02-18 20:55:53 1103

原创 AI大模型学习路线

第十六章 Advanced RAG。5、基于历史对话重新生成Query。6、其他Query优化相关策略。1、经典RAG的几个问题。

2024-12-28 22:57:12 1199

原创人工智能之路

Python作为AI领域的通用语言，熟练掌握它将为你的实践之路铺平道路。

2024-12-28 18:06:16 331

原创 k8s中资源对象有哪些及它们如何协作

只要在Service定义中设置了ClusterIp:None，就定义了一个HeadLess Service，它与普通的Service关键区别在于它没有ClusterIp地址，如果解析HeadLess Service的DNS域名，则会返回该Service对应的全部Pod的EndPoint列表，这就意味着客户端是直接与后端的pod建立了TCP/IP链接进行通信的。一个Label是一个键值对。注解：属于资源对象的元数据，可以被理解为一种特殊的标签，不过更多的是与程序挂钩，通常用于实现资源对象属性的自定义扩展。

2024-01-24 18:11:07 1793 1