- 博客(27)
- 资源 (9)
- 收藏
- 关注
原创 小说大模型微调:基于DeepSeek的数据集准备与训练策略实战
DeepSeek-R1是一款基于混合专家(MoE)架构的大型语言模型,拥有671B参数,但每次推理仅激活37B参数,显著降低了计算成本。高性能与推理能力:DeepSeek-R1在数学、编程、逻辑推理等任务上表现出色分布式训练支持:支持分布式训练,通过将训练过程分散到多个计算节点上,提高训练效率低资源要求:通过MoE架构设计,降低了推理时的计算资源需求DeepSeek模型有多种版本,参数规模、技术架构、应用场景各不相同。
2025-04-12 10:46:12
1005
原创 AI模型微调完整学习方案:从入门到精通
模型微调(Fine-tuning)是指在预训练模型基础上,使用特定领域的数据集进行进一步训练,以使模型适应特定任务或领域。预训练模型通常在海量通用数据上训练,拥有强大的语言理解和生成能力,但可能在特定领域或任务上表现不够理想[1微调可被视为更广泛的人工智能模型适应过程的一部分,特别是在用于生成式AI的基础模型的训练过程中[3通过微调,模型能够学习特定领域的专业术语、逻辑和风格,从而在该领域提供更准确、更专业的回答。
2025-04-10 15:30:16
1168
原创 结课作业:用langchain+deepseek微调一个文旅大模型(2)设计方案与代码
LangChain是一个强大的大模型应用开发框架,它提供了一套完整的工具和组件,使开发者能够轻松构建基于大模型的复杂应用,如问答系统、聊天机器人、代理系统等。LangChain的核心理念是将大模型与其他计算和知识源连接起来,实现更强大的功能[0文档问答系统个性化助手自主代理数据分析助手内容生成器多模态应用。
2025-04-10 14:43:38
21
原创 结课作业:用langchain+deepseek微调一个文旅大模型(1)数据获取-爬虫
马蜂窝旅游网是中国年轻一代用得更多的旅游网站,由上亿旅行者共同打造,被称为"旅行神器"。根据网站数据显示,马蜂窝拥有60,000多个全球旅游目的地,600,000个细分目的地新玩法,760,000,000次攻略下载,以及38,000家旅游产品供应商[30马蜂窝兼具社区属性和电商属性,其中UGC(用户创造内容)社区属性为核心。马蜂窝主要为用户提供优质的内容,如旅行攻略、游记等,同时在旅游服务方面几乎涵盖所有相关服务[10网络爬虫是一种自动化程序,用于从互联网上抓取和存储网页内容。
2025-04-10 14:30:45
823
原创 LangChain学习之旅(七):检索与问答进阶
通过这七天对LangChain的学习,我们从基础认知到各个关键环节的深入探索,已经初步掌握了如何利用LangChain构建强大的自然语言处理应用,特别是基于文档的检索与问答系统。例如,一个电商平台的智能客服可以通过接入产品文档、用户常见问题文档等,快速回答用户关于产品信息、订单流程、售后服务等方面的问题。在处理问题时,先通过知识图谱解析问题中的实体和关系,然后根据这些信息在向量存储中进行更有针对性的检索,最后由语言模型生成回答。当用户提出问题时,问答系统会从多个文档的向量存储中检索相关信息,并生成回答。
2025-04-10 10:01:51
80
原创 LangChain学习之旅(六):检索与问答
在前面的学习中,我们已经掌握了文档的加载、处理以及向量存储。现在,我们要将这些知识整合起来,构建一个基于文档的问答系统。这个系统的核心思路是,利用向量存储找到与问题相关的文档片段,然后让语言模型基于这些片段生成回答。通过这些优化措施,我们可以使基于文档的问答系统更加准确和实用,为用户提供更优质的回答。提示词在问答系统中起着关键作用,它可以引导语言模型生成更符合我们期望的回答。最后,输入问题并运行问答链,得到基于文档的回答。在这段代码中,我们首先加载并处理文档,将其存入向量数据库。
2025-04-10 09:59:30
8
原创 LangChain学习之旅(五):文档加载与处理进阶
通过今天的学习,我们对文档切割后的精细化处理、向量存储的高级操作以及基于向量存储的智能检索优化有了更深入的理解。例如在处理法律条文文档时,一条完整的法律条款可能被分割到不同的文本块中,这会影响后续基于文档的问答准确性。例如,在一个包含多种类型文档(如技术文档、市场报告等)的向量存储中,我们只想检索技术文档。例如,我们可以为每个文本块添加元数据,记录其在原文档中的位置信息(如页码、段落序号等),以便在后续处理中恢复上下文。随着新文档的加入或已有文档的更新,我们需要对向量存储进行相应的操作。
2025-04-08 09:22:30
206
原创 LangChain学习之旅(四):文档加载与处理深度解析
向量存储将文本转化为向量形式,便于计算机进行高效的语义相似性搜索。例如,在信息检索系统中,将用户查询和文档都转化为向量,通过计算向量间的相似度来找到相关文档。
2025-04-08 09:16:30
96
原创 # LangChain学习之旅(三):核心流程与关键类库解析
通过对LangChain核心流程和关键类库的深入了解,我们仿佛掌握了LangChain这座“语言技术宝库”的地图和钥匙。从数据准备到模型选择、提示词构建、链操作执行,再到结果处理与应用集成,每个环节紧密相连,共同构成了LangChain强大的功能体系。而llmschainspromptsembeddings和等关键类库,更是如同宝库中的珍贵宝藏,为我们开发各种自然语言处理应用提供了丰富的工具和手段。
2025-04-06 11:59:13
12
原创 LangChain学习之旅(二):从模型交互到自定义训练探索
当期望模型在特定领域大放异彩时,微调是一项强大的技术手段,好比为全能运动员进行专项特训,使其在特定项目中表现更为卓越。数据筹备:首先要精心筹备数据,就像为厨师准备丰富优质的食材。例如,若想提升模型在法律文书处理方面的能力,就需收集各类法律文书,并将其整理成模型易于理解的结构化文本格式,每行可能包含一段文本及对应的标签(适用于分类任务)。选择合适平台与模型:部分云服务提供的大模型支持微调功能,像OpenAI就有微调API,但使用时需严格遵循其使用政策。
2025-04-06 11:37:54
10
原创 踏上LangChain学习之旅:第一天的探索与实践
第一天的LangChain学习之旅,我们一起了解了LangChain的神奇作用,成功安装了Python环境,并学会了如何在不同方式下安装LangChain,还明白了虚拟环境的重要意义。这就像我们已经搭建好了舞台,准备好了道具,接下来的学习旅程中,我们将运用这些基础,深入探索LangChain的更多奥秘,创造出令人惊叹的语言应用。让我们保持热情,继续前行,期待在LangChain的世界中收获更多的惊喜与成就!
2025-04-06 11:08:45
6
原创 如何配合 LangChain 练习模拟大模型的完整解决方案,结合开源工具和自定义实现,既节省硬件资源又能验证框架功能
通过以上方法,你可以在不依赖高性能硬件的情况下,全面练习 LangChain 的各种功能。建议采用"模拟验证→轻量测试→真实部署"的渐进式学习路径,逐步提升对框架的掌握程度。
2025-04-06 09:35:42
378
原创 向量数据库的破局之道:从推荐系统到医疗诊断的8大革新场景
从艺术鉴赏到金融风控,从医疗诊断到自动驾驶,向量数据库正在用数学的力量打破人类表达与机器理解之间的壁垒。当AI开始用向量"思考"时,我们不仅能找到"最接近的答案",更能发现"未曾想象的关联"。这场存储革命才刚刚开始,你准备好成为时代的弄潮儿了吗?
2025-04-06 09:25:18
649
原创 小白入门:向量数据库的解密——用生活案例理解AI时代的核心存储技术
定义:数字组成的高维坐标点(如 [0.1, 0.8, -0.3…])类比:就像每个人的指纹,向量是数据的“特征指纹”示例小说《三体》的向量可能包含:科幻(0.9)、哲学(0.7)、黑暗森林(0.8)小说《流浪地球》的向量可能是:科幻(0.95)、灾难(0.8)、亲情(0.6)向量数据库是连接人类语言与机器智能的桥梁。通过将数据转化为可计算的“数字指纹”,它让AI系统能够理解“相似性”和“关联性”。从图书推荐到医疗诊断,这项技术正在重塑各个行业的效率边界。动手试试看。
2025-04-06 09:23:25
504
原创 小白入门大模型开发:用LangChain构建智能应用的全流程指南
根据2025年AI开发者调查报告,使用LangChain的团队平均在3天内就能完成概念验证,相比传统方法提升效率400%。通过组合不同的模块,开发者可以快速构建出符合特定需求的智能应用,而无需深入理解底层模型细节。在大模型技术风起云涌的今天,LangChain作为一个开源框架,正在重塑开发者与AI的交互方式。通过不断组合不同的模块,你将发现大模型开发的无限可能。与直接调用API的传统方式相比,LangChain就像给开发者配备了智能助手,让复杂的模型组合变得像搭积木一样简单。
2025-04-06 09:18:48
247
原创 零基础本地部署DeepSeek大模型全攻略(含代码/硬件/问题排查)
通过以上步骤,您已完成DeepSeek大模型的本地部署。建议定期更新模型版本和依赖库,以获得更好的性能和功能支持。如果遇到复杂问题,可参考官方文档或在社区寻求帮助。
2025-04-05 10:11:06
633
原创 零基础学大模型:做一个双色球和大乐透的预测模型,了解模型运行的整个过程
构建彩票预测模型本质上是一个概率游戏,其核心价值在于理解随机性的数学规律,而非实际盈利。建议将此项目作为数据分析练习,重点关注特征工程与模型优化,同时保持对概率学本质的清醒认知
2025-04-05 09:45:16
1022
原创 SQL Server 2022 安装与配置深度指南:从环境搭建到性能优化
SQL Server 2022 安装与配置深度指南:从环境搭建到性能优化。
2025-04-05 09:33:39
464
原创 SQL Server 2022 安装与配置的常见问题及解决方案帮助您高效搭建环境
SQL Server 2022 安装与配置的常见问题及解决方案帮助您高效搭建环境。
2025-04-05 09:24:11
753
原创 LangChain新手入门指南:用乐高式思维构建AI应用
把大模型比作“大脑”,LangChain就是“神经系统”,负责连接数据、工具和交互逻辑。通过实践,你将在3小时内掌握LangChain的核心逻辑。A:需要基本Python能力,建议先学习变量、函数等基础语法。,通过模块化设计降低开发难度。加载本地模型(如LLaMA)。(适合零基础模型开发者)LangChain是一个。
2025-04-04 17:55:37
500
原创 LoRA新手入门指南:用低资源微调大模型
LoRA(Low-Rank Adaptation)是一种高效微调大模型的技术,通过仅训练少量新增参数(通常<1%),实现与全量微调接近的效果。假设你要修改一篇论文,LoRA就像只修改关键段落(新增参数),而不是重写全文(全量训练)。A:在大多数场景下效果接近,但复杂任务(如数学推理)可能需要更高秩或全量训练。A:部署时需同时加载基础模型和LoRA参数,或合并为全量模型(需额外显存)。通过实践,你将在2小时内掌握LoRA的核心逻辑。A:LLaMA模型通常选择。(适合零基础模型开发者)
2025-04-04 17:37:01
1000
原创 RAG新手入门指南:从原理到实战(1)什么是RAG?
A:使用多语言嵌入模型(如sentence-transformers/multi-qa-mpnet-base-dot-v1)。”,传统生成模型可能直接“编造”答案,而RAG会先查最新统计数据,再结合答案生成回答。A:基础版本可在CPU运行(如使用GPT4All),大规模应用建议配备A100/A800。通过实践,你将在1小时内掌握RAG的核心逻辑,后续可逐步扩展功能。A:传统检索直接返回文档,RAG将检索结果与生成模型结合,输出更自然流畅的回答。的AI技术,核心是通过外部知识库增强模型回答的准确性。
2025-04-04 17:33:46
470
原创 开源的基座模型的优缺点分别是什么?
建议通过官方文档或社区论坛验证模型的实际效果(如Hugging Face的模型评分),并结合自身数据进行小规模测试后再决定。开源基座模型的优缺点需要结合技术特性、应用场景及商业化需求综合分析。
2025-04-04 16:50:15
285
原创 一步一步使用DeepSeek作为基座训练自定义大模型
使用DeepSeek作为基座训练自定义大模型,需要从模型选择、数据准备、训练优化到部署全流程规划。
2025-04-04 16:30:32
1159
原创 零基础到精通:一篇文章掌握 Prompt 工程,玩转 AI 创作全攻略
掌握 Prompt 工程的本质,是学会用人类的语言编织思维的经纬,在机器的世界里构建认知的桥梁。从简单的指令到复杂的思维模型,从单一工具使用到跨领域协同创作,这个过程不仅是技术能力的提升,更是人类认知边界的拓展。当我们在 AI 系统中输入第一个字符时,我们就成为了数字世界的造物主 —— 而这篇指南,正是你开启创造之门的钥匙。实践清单每天进行 10 分钟的 prompt 实验建立个人提示词库并分类管理参与线上 prompt 挑战赛尝试将 prompt 技术应用到实际工作中定期复盘优化策略。
2025-04-04 12:09:29
505
原创 windows下安装pygame一条命令就够了
python -m pip install pygame --user自动匹配版本,不用再手动下载
2019-11-22 09:27:38
343
原创 Yii2 pjax初探
Pjax是一个集成Pjax(https://github.com/yiisoft/jquery-pjax)jQuery插件的小部件。 Pjax只处理其开始()和end()调用之间的内容,称为小部件的正文内容。默认情况下,任何链接点击或表单提交(对于那些带有“数据pjax”属性的表单)在正文内容中将触发一个AJAX请求。在响应AJAX请求时,Pjax将发送更新的正文内容...
2018-06-28 15:32:52
850
React Native实战学习视频+东方曜入门到精通实战.txt
2019-12-17
响应式Web设计:HTML5和CSS3实战.pdf
2015-11-13
android SDK 安装后,下载更新慢解决方案
2014-07-03
struts2.3.8+spring3.2.1+hibernate4.2.0整合环境(纯净版)
2013-03-08
struts2.3.8+spring3.2.1+hibernate4.2.0整合的配置文件,基本配置
2013-03-08
struts2.3.8+spring3.2.1+hibernate4.2.0整合jar包
2013-03-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人