soldierluo的专栏

比如我们问大模型，比亚迪的股票是否值得买入，如果它回答是值得，然后没有任何其它的信息，你会接受它的结论吗，我觉得大部分人是不会的，因为没有任何的论证过程来强化这个结论的可信度，说不定大模型在后台丢硬币，随机给出一个结论。越复杂的问题，需要的分析推导过程就越长，如果思维链长度无法满足问题复杂度的需求，那么就很难得出正确的结论，这就好比优秀的旗手可以评估十步内的最优解，但是普通人只可以评估三步内的最优解，相对而言普通人的最优解就是错的，因为三步内的最优解会导致其输棋。AI的思考规划能力，思维链。

在使用deepseek、天工这些AI产品时，我们经常可以看到一个词，叫token，主要是为了计算大模型的资源使用量，如果我们的一个问题消耗的的计算资源多，那么token的数量就多，否则就少，通过token的数量对产品的使用量进行测量，就像手机的流量一样，只不过手机流量的单位是字节，有了用量信息，然后再对用量进行定价，费用的计算就有了依据，所以token是大模型资源用量的计量单位。它可以是一个单词、单词的一部分、一个字符，甚至是标点符号。不同大模型使用不同的分词器来计算token的使用量。

AI在构建生态圈时也遇到了同样的问题，因为没有任何一个AI可以同时处理所有的需求，需要不同的AI间进行协助才能完成一个事项，比如我想进行一次旅行，让旅行AI完成一次旅游行程的规划，那么旅行AI需要调用地图服务来规划行程线路，需要调用酒店服务来安排住宿，需要调用餐饮服务来安排餐饮，需要调用天气服务来评估景点的可游玩情况。为了解决多AI协同时的信息交互问题，设计了MCP协议，通过这个协议，AI与AI之间就相当于使用了相同的语言，不需要像中国人和美国人之间交流需要一个翻译一样，可以大大的提高信息交互的效率。

什么是模型蒸馏，模型蒸馏是一种高效的模型压缩与知识转移方法，通过将大型教师模型的知识精炼至小型学生模型，让学生模型模仿教师模型的行为和内化其知识，在保持模型性能的同时降低资源消耗。这里面有两个关键对象，一个是教师模型，一个是学生模型，教师模型负责教，学生模型负责学，这和我们人类的老师学生模式似乎一模一样，看起来很合理，——其实完全不合理，因为AI与人有一个巨大的区别就是，AI的知识与认知是可以直接复制的，就像印刷书籍一样，非常高效，但为什么仍然要通过教学这种效率极低的方式来复制AI的能力呢。

数据的本质是信息，AI所使用的数据主要有两种，一种是训练数据，一种是标注数据。什么是数据，我们能接触到的所有信息都是数据，但它不能直接作为训练数据给到AI进行训练，因为原始的数据有大量的错误信息，这可能导致AI形成错误的认知，比如拿一个学渣的作业本给AI学习，那么1+1=3，2+2=5，这样的信息就会误导AI，让AI形成错误的认知；训练数据可以解决无监督学习阶段的数据需求，但是无法解决监督学习阶段的数据需求，为什么，因为监督学习是有目的的学习，是有标准答案的学习。AI的老师，数据、训练数据与标注数据。

比如很多公司都想建立企业的大知识库，然后导入各种资料、信息与数据，希望AI能够提供各种企业需要的信息整理、加工、分析能力，但实际落地时才发现，企业的各种信息类型非常多，文字的、图片的、表格的、视频的、音频的，各种各样，除了文字模态的处理能力较强，其它模态都难堪大用，AI无法提供完整全面的信息处理能力，无法做出有效准确的输出，所以我们需要密切关注AI的多模态能力的发展。只有在细分领域成功、成熟、成长后，才会去逐步的拓展模型的感知能力边界，然后达到人的感知能力范围，最后超越人的感知能力范围。

-利用大模型，比如豆包、deepseek，比对最新的.env和docker-compose.yaml两个文件与备份的文件之间的差异（比对时后缀加上.txt方便比对，修改完成后再去除.txt后缀），提示词如下。--更新docker，powershell->切换到\dify\docker目录->docker compose up -d，等待更新完成。----请对两个文件进行比对，并指出新版本要修改的项及内容，以表格输出，.xxx.0811.txt为旧版本，要求如下。

第一步，肯定是明确软件功能需求，把功能要求一二三四的罗列出来；先给大家看一下只花了很短时间开发出来的软件，可以看到这是一个简单的软件界面，上面有电脑使用计时，有授权应用清单，有监控日志，还可以通过配置文件配置单日使用时长及授权软件清单，它随系统启动，并进行实时监控，只允许授权的软件界面出现，一旦监控到没有经过授权的软件界面出现，就会自动调用窗口的最小化程序，将没有授权的软件最小化，在使用达到时间限定后会自动调用关机命令关闭电脑，从而达到控制儿童使用限定软件及电脑使用时长的目的。

比如我们要做一个企业是知识库，可以解答企业内的各种问题咨询，就需要把所有的企业资料都导入，这样才能保证信息的全面、完整，而资料包含各种类型的信息，包括文本、图片、表格、图表、视频、音频、CAD图等等等等，但是当前的大模型在理解处理信息时，只能够比较好的理解处理文本信息，对其它信息类型的理解处理能力则参差不齐且极不稳定，这导致在实际处理信息时，从信息的理解层面就已经错漏百出，更不用说在信息的处理、输出方面的问题。当前发展得最好的大模型为大语言模型，它的主要能力是处理文本信息，比如deepseek、豆包；

智能体则是可以根据情况规划问题处理的方案与步骤，并调用外部工具，最终完成问题的处理，具有非常大的灵活性，和强大的处理能力及适应能力，是当前最聪明的AI产品，因为它处理问题的方式和人高度相似。可以看到智能体处理问题的操作方式和人非常像，它是有自主规划处理方案，自主规划处理步骤，自主调用外部工具的能力的，而不是像工作流一样，由人提前固化处理流程与所需调用的外部工具，固定的流程无法像智能体一样随时适应变化的环境。什么是agent智能体，智能体是指能够自主感知环境、做出决策并执行行动，以实现特定目标的智能实体。

在说AI工作流前，先要说一下工作流，工作流大家都不陌生，它是一个固定的、标准化的工作节点间的协作模式，中间包含一个或多个固定的处理节点，以及节点间的固定的协作关系，可以保证事项稳定、高效的得到处理。AI对工作流的赋能，不仅仅是对业务流程效率的提升，它甚至改变了业务关系，医生最大的工作将不再是看诊，而是对AI的诊疗进行数据分析与病例研究，以便更好的提升AI的诊疗能力，这就像农人拥有了犁地机，工作不再是亲自犁地，而是维护好犁地的机器，让机器发挥更大的效力。AI工作流赋能，业务的超级加速器。

我们先来看一下人与人是如何发出与执行指令的，比如你现在是一位领导，有一个叫小艾的下属，他很熟悉你，你说帮我点一份猪脚饭，小艾不会只是简单的下一个猪脚饭订单，因为他知道你喜欢吃瘦一点的、酸菜要多配一点、卤汁也要淋一点、还要加一小碟辣椒酱，这样才是一份你喜欢的猪脚饭，于是小艾按这个方式来下单，备注好以上的信息。而你现在把AI当小艾，用了同样的命令，AI能像小艾一样完美的完成你的命令吗，不能，它会简单的下一个猪脚饭的订单，没有任何的你偏好的备注信息，这时你会认为AI做不好事，因为AI并不知道这些隐含的信息。

首先，召回的目的是快速的从知识库中大范围的筛选出与问题相关的一组信息切片，召回的目的是要求快，因为知识库的信息量非常大，信息被切片后数量非常多，假设一个信息切片为500个文字，1G的信息将会产生大约72万份切片，而一个公司的信息往往会达到几千个G，所以信息切片后的数数量会达到几十万到几十亿份的数量级别，要在如此大的数据量中快速找到对应的信息，必须以最快的速度做初步筛选，如果一开始就要求非常准确的信息结果的话，将会把大量的时间和资源消耗在信息的查询上。AI的信息精炼器，rerank重排序技术。

而AI无法理解以上的文字信息，它需要通过向量数据来理解，向量数据作为AI的语言，是一种结构化数据，类似一张表，通过维度与度量的关系来建立数据与数据间的关系，比如上面的信息转换成一张人员信息登记表，上面有年龄、性别、身高、学历等度量信息，以及姓名等维度信息，通过维度与度量的关系，AI就可以知道小明的基本信息。那么嵌入技术又是一种什么样的技术，这就要说到文字和向量两种信息的区别了。AI的翻译官，embedding嵌入技术。

它又是如何来描述信息与信息之间的关系的呢，举个例子就很容易明白，比如我给你一个数字30，你可以从中获取到任何的信息吗，没有，从这个数字我们无法获取任何的信息；在这里，我们通过性别、年龄、身高、学历这些角度来描述小明这个人，很明显角度越多，对这个人的了解就越充分越全面，而每一个观察的角度我们在向量数据中称为维度，如果我们通过100个角度来描述小明，那么在向量数据中，我们就会有100个维度和小明产生关联关系，信息与信息之间的关系就这么建立起来了。信息的关系就是AI的灵魂，所以向量数据就是AI的灵魂。

文章摘要：RAG技术通过信息切片为AI构建外挂知识库，将文档切割编码后选择性调用最相关片段，而非全量读取。这种方式显著提升召回精度（提升80%相关数据获取效率）并降低90%以上算力成本，但存在长文本理解局限，如统计"悟空救我"出现次数时可能遗漏部分片段。当前技术虽无法完全解决全局分析问题，但仍是企业AI降本增效的首选方案。

RAG（检索增强生成）技术通过建立外挂知识库解决了AI模型知识固化的问题，允许AI在回答时检索补充训练数据外的信息。该技术将文件向量化存储，使AI能快速查询并分析相关文档，显著提升处理效率。然而当前RAG存在明显局限：仅能有效处理文本信息，对表格、图片等多类型数据理解不足，且召回数据量有限，可能导致信息缺失和错误结论。这些限制需要算法进一步优化才能突破。

教育学习方面，AI可以根据每个人的特性进行个性化辅导，总结每个人的学习规律，制定适合的学习方案，两千年前孔子就说有教无类，因材施教，但现实是无法做到的，因为成本实在太高了，一个班级几十人，老师连名字都记不全，何况因材施教，但是有了AI，这个问题就看到了解决的希望。可以看到，AI可以进入我们生活工作中的方方面面，并且已经有部分AI深入了我们的生活，工业革命以来机械替代重复的体力劳动，将整个世界进行了翻天覆地的改造，现在AI替代重复的脑力劳动开始了，可以遇见人类的世界又将进行一次翻天覆地的改造。

然后是用于训练大模型的数据量大，大语言模型的训练数据是文本数据，以chatgpt举例，它的训练数据量为45T，很多人可能对这个单位没有概念，以中国国家图书馆举例，它里面有5000万册图书，而45T的数据量相当于900个国家图书馆的文字量，也就是450亿册图书的文字量，可见训练的数据量之大。第二是，大语言模型的语言两个字，这里可能会有歧义，因为有人会把语言理解成语音，其实不是的，这里的语言仅仅指代文字，而语音不仅包含文字，还包含语气语调等信息，所以大语言模型更准确的说是大文本模型。什么是LLM大语言模型。

再说回AI，AI的思考就是模拟人类的思考，给AI一个思考的主题，把这个作为信息输入给AI后，AI会根据其内部的认知进行思考，然后进行输出，AI的认知我们称为模式，AI思考的过程，我们称为模式匹配，也就是说如果我们给AI输入信息，它会去寻找对应的模式进行匹配然后输出，如果我们提出的问题匹配不到对应的模式，AI就无法做出正确的输出。当前，固定版本的AI的认知是固定的，因为它的参数和参数关系是固定的，而人却有实时进化能力，这是人相比于当前的AI更优秀的地方。AI的认知，也就是它的模式是如何形成的呢。

什么叫做学会回答问题呢，和前面的预训练又有什么区别呢，打个比方我们要写一封信，信有信的格式，开头要有称呼，然后是正文，后面是祝福语和签名日期，而让没有经过微调的模型写信的话，它会直接巴拉巴拉就输出正文内容，很明显这样的输出是不正确的。此阶段首先会把大量文本数据输入AI，并且让AI自行总结语言文字的规律，然后自动的去不停的去验证与调整所总结的语言文字规律是否正确，那么它又是如何来验证的呢，很简单，可以随机抽取一段文本，并随机遮住文本中的部分词汇，让模型推算被遮住的词。比如，提一个问题问题 ，如何减肥。

当训练的数据量足够大时，AI将形成无数的组织模式，也就是可以处理各种各样的业务，当需要处理特定业务时，AI就会去寻找与问题匹配的特定的模式来处理，这样就可以快速准确地处理事务，这种参数与参数间的组织模式我们可以宏观的称为AI对这个世界的认知，这和人对世界的认知有巨大的相似性，一个厉害的人需要同时具备强大的学习能力，还要有足够的经历，才可能对世界有足够的认知。AI运作原理大揭秘，参数是什么，模式又是什么。

第二个阶段是企业级AI普及期，当算力成本能够被大部分企业所承担的时候，那么他就开始进入企业，开始结合企业的经营数据，提供AI的业务能力。当AI的算力成本降低到每一个设备都可以承担的成本时，他将进入到无数的独立的单体电子设备当中，比如说冰箱，洗衣机，空调，油烟机等等，每一个电子设备都配有一个AI。此阶段人与人的能力将被大幅拉开，同样的前提，能够建立个人数据中心并结合AI的人将拥有无上限的知识与信息处理能力。以后对数据的利用将无处不在，所以数据的交易市场将会出现，而且规模会越来越大，甚至超过实物的交易规模。

私有知识库的完善程度越高，AI能提供的价值就越大，能力越强，否则就越弱。特别是具体到具体的工作的时候，一旦进入对精度要求非常高的领域，那么当前的AI往往不能胜任。在AI获取到数据之前，数据称之为数据，在AI获取到数据之后，数据就变成了AI的知识。AI的知识本质数据之间的关系，在AI中它是以向量数据的形式存在。我们在使用AI的时候，它就可以通过私有的知识库的知识来完成和私有知识相关的输出。他有一个最大的bug就是在我们实际的应用当中，他缺少私有化的数据和知识，难以与私有的业务和生活融合。

再说回AI，AI的思考就是模拟人类的思考，给AI一个思考的主题，把这个作为信息输入给AI后，AI会根据其内部的认知进行思考，然后进行输出，AI的认知我们称为模式，AI思考的过程，我们称为模式匹配，也就是说如果我们给AI输入信息，它会去寻找对应的模式进行匹配然后输出，如果我们提出的问题匹配不到对应的模式，AI就无法做出正确的输出。当前，固定版本的AI的认知是固定的，因为它的参数和参数关系是固定的，而人却有实时进化能力，这是人相比于当前的AI更优秀的地方。AI的认知，也就是它的模式是如何形成的呢。

第二是，全局信息的把控能力，这个很多人会感到意外，觉得人不可能比电脑掌握更多的信息，但因为大模型的算力、算法限制，导致其上下文受限，也就是它无法同时把控大量信息进行输入分析，否则就会超出其处理范围，比如把一个人的所有健康检查信息进行输入，可能有一千万行数据，要他对人的整体情况进行分析和评估，那么它其实无法对整体进行评估，而只能截取其中部分信息来进行分析，也就是说它还难以形成完整的全局观。大部分人只知AI，没听说过LLM大语言模型，或者以为两者就是一回事，实际上LLM是AI的组成部分，而且是核心组成部分。

再比如通过经营数据监控，发现销售同比下降了10%，此时AI介入进行分析，它通过业务逻辑追踪分析，发现核心原因为自驾客流下降了8%导致，并给出决策建议，加大针对自驾客群的投流与引流，推广部门根据此建议安排对应的推广工作，这样可以将业务决策的效率大幅提高，保障公司经营收益的平稳。​信息化的本质是加速了信息的生产和传播效率，并间接性的提高了企业整体的管理决策效率，这里有一个明显的问题就是传统的信息化只能解决信息的获取速度问题，不能直接解决管理决策的效率问题。业务信息化与业务智能化有什么区别。

但是就像人一样，专家意味着该人在某一领域在前期有大量训练，掌握了大量的数据、规律、知识与认知，才能做出正确的判断，AI与人其实一样，没有前期的训练它是不具备该专业的数据、知识、规律与认知的，一旦跨入某个AI没有提前训练的专业领域，你会发现AI错得离谱，回答问题经常一本正经的胡说八道。普通人对AI的理解大部分是错误的，前段和AI业务相关的人聊天，对AI有了更多的认识，自从deepseek出现后，大家都认为AI已经相当成熟了，可以作为一个通用型专家对待，但是在和专业人员交流后才发现我们的理解错得离谱。

2.2、如果我们要想模拟浏览器发送GET请求，就需要使用Request对象，通过往Request对象添加HTTP头，我们就可以把请求伪装成浏览器。1、requests，Python内置的urllib用起来比较麻烦，而且，缺少很多实用的高级功能。├─ __init__.py #这个文件是必须存在的，否则，Python就把这个目录当成普通目录，而不是一个包。1、python是解释型的语言，就是执行时才将源码解析成机器码运行，而不像c语言是提前编译成机器码，可以直接运行。

​​ --传统编程，依靠程序员来总结规律，并通过编程方式固化认知，比如猫的眼睛多大、什么形状、瞳距多少等各种参数进行比对，从而判断图片是否是猫，很显然传统编程方式不仅效率低，而且难以全面。今天带你看懂两大核心科技：​​AI人工智能​​ 和 ​​LLM大语言模型​​！​​ --即形成参数值、参数与参数间的关系的过程，最终在训练后形成一种参数关系，这种关系就是最终的认知能力。​​ --包含​​亿级参数，单位为B=billion=十亿，人脑大约有1000亿神经元大约100B参数。

-内嵌知识，通过数据训练形成的参数间的关系，本质是统计归纳，在遇到相同的问题时可以给出对应的答案，比如给出100万张猫的图片，告诉LLM这些是猫，它会自动总结归纳猫的特征，形成参数间的关系，以后再遇到猫的图片，它就能识别这是不是猫。--LLM是算法、是大脑、是CPU，负责处理信息，但是要完整的完成一件事，仅有大脑、CPU是不行的，需要有信息感知、行动能力等，才可以完整的完成一件事。--基于​​深度学习技术​​，通过​​海量文本数据训练​​而成的超大规模人工智能模型，能够理解、生成和推理自然语言文本。

-cherrystudio：个人级AI应用开发框架，仅客户端模式。--Rerank模型：bce-reranker-base_v1。--LLM大模型：deepseek r1、qwen3。--dify：企业级AI应用开发框架，当前正在使用。--openwebui：个人级AI应用开发框架。--Embedding模型：bge-m3。--第三方平台LLM API算力调用。基于dify的AI应用平台技术栈。--基于ollama的本地化算力。7、第三方数据与功能调用。6、AI应用开发平台。

-----score阈值：关闭（打开后效果不好，设定信息筛选的关联度阈值，低于设定的相似度时，片段信息不会被采纳）------选择：rerank模型（对查询到的信息片段，进行问题关联度权重标识以进行关联度排序）------选择：合适的bge-rerank算法（对信息片段进行权重标识的算法）------topK：10（取，关联度权重最高的前多少个信息片段，建议放到最大）----embedding模型：bge-m3（对信息进行向量化的算法模型）----检索设置：混合检索（召回策略配置）

--登录dify管理界面-设置-模型供应商-待配置模型-模型类型（Text Embedding）-模型名称（需要从硅基流动官网copy，一定要直接复制，不要手写名称）-配置模型的 api key-保存。---登录dify管理界面-设置-模型供应商-系统模型设置-系统推理模型-deepseek reason。---登录dify管理界面-设置-模型供应商-embedding模型设置-BAAI/bge-m3-保存。---登录dify管理界面-设置-模型供应商-安装模型供应商-选择deepseek-安装。

-下载Docker Desktop，Download for Windows - AMD64，地址：https://www.docker.com/products/docker-desktop/--启动docker服务，我的电脑-管理-服务和应用程序-服务-docker desktop service-启动-配置自动启动。----配置Docker镜像，打开Docker Desktop-设置-docker engine-输入镜像配置（附件）--启动docker desktop。

-下载Docker Desktop，Download for Windows - AMD64，地址：https://www.docker.com/products/docker-desktop/--启动docker服务，我的电脑-管理-服务和应用程序-服务-docker desktop service-启动-配置自动启动。----配置Docker镜像，打开Docker Desktop-设置-docker engine-输入镜像配置（附件）报错：unable to get image。

1.        软件准备1.1.       虚拟机：Vmware101.2.       Linux系统：CentOS-6.5-x86_64-bin-DVD1.iso1.3.       CM5.2.0相关l  CM5相关资源信息cloudera-manager.repol  CM5安装文件cloudera-manager-installer.binl  CM rpm