wjianwei666的专栏

3.使用`LLMEngine`结合`prompt`文档生成`chunks`，同时`self.chunks`也会被赋值，如果你需要自定义可以修改它`self.chunks=[...]`generated_message = await new_engine.chat_only(prompt="你是强大的人工智能", input="你是谁?4.使用`LLMEngine`结合`prompt`对段落生成`QA`，同时`self.qa`也会被赋值，如果你需要自定义可以修改它`self.qa=[...]`

为了满足需求，Falconer希望能够为播客提要提供一个URL，可以获取所有播客节目的详尽列表，然后为选择的任何一期节目生成一个LinkedIn帖子。这很简单，是吧?除了这些功能之外，还有另一个重要的目标：保持前端应用程序与人工智能工作流程完全解耦。为什么？因为在现实世界的人工智能应用程序中，开发团队通常会处理堆栈的不同部分。前端开发人员不需要了解任何关于人工智能的知识来构建面向用户的应用程序。为了实现这些目标使用Confluent Cloud实现了一个事件驱动的架构。

以grpo训练为例，使用Qwen-14B在A100上训练很容易报错OOM，原因有多种，让我来为大家一一分析：grpo任务可以分为两部分：一部分是模型训练（7卡），一部分是模型推理（1卡），OOM报错的原因就来自这两部分。open-r1明确要求cuda12.4，得先瞅瞅自己机器的显卡驱动版本（如下图），要是版本太老，那可就得升级才能适配适配cuda12.4，我亲测，显卡驱动版本为470以上就能正常运行，我的版本是535。那么如何识别自己的OOM报错是出自训练还是推理呢？

注：字节豆包只能生成音乐，动画小视频，是用之前介绍的一款「音频生动画」的工具生成的。用 AI 「一键生词」，选择合适的「曲风」、「心情」、「音色」，就可以点生成了。和其他 AI 音乐工具比，天工音乐生成的音乐时长较长，大概能到 3 分钟左右。如果歌词不会写，可以简单输入灵感，点「帮我编词」，让 AI 帮你生成歌词。AI 音乐工具的出现，让很多不懂音乐的人，也可以创作出音乐。灵感创作，只需要输入灵感（音乐的主题），就可以等待生成了。填入歌名、歌词、选择曲风，点「生成音乐」就可以等待生成了。

TPO-LLM-WebUI则为提供了一个友好的 WebUI，你可以通过它来加载基础模型（LLM）和奖励模型，并且内置 TPO 框架以进行实时优化基础模型，它会对你的输入数据进行多轮评估和迭代反馈，使得基础模型在推理过程中与人类偏好对齐，生成更好的结果并展示。依赖于模型的指令跟随能力：TPO 的成功依赖于策略模型具备基础的指令跟随能力，因为模型必须能够准确解释和响应奖励模型的反馈。动态对齐人类偏好：TPO 能在模型推理时，根据奖励模型的反馈，动态调整模型的输出，更符合人类的偏好和期望。

什么是模型上下文协议（Model Context Protocol）？让我们深入了解MCP背后的概念。以下是官方MCP文档对MCP的介绍：“MCP是一种开放协议，它标准化了应用程序向LLM提供上下文的方式。可以将MCP视为AI应用程序的USB-C端口。正如USB-C提供了一种将你的设备连接到各种外围设备和配件的标准化方式一样，MCP提供了一种将AI模型连接到不同数据源和工具的标准化方式。让我来解释一下。假设你正在构建与不同语言模型和AI系统配合使用的AI代理，其中每个模型对工具的理解方式都不同。

并且，当用户熟悉Docker的运行机制后，会发现它提供了许多实用的镜像，如Postgres、MongoDB、Redis、PySpark等，这些镜像可极大地简化项目开发和部署过程，且Docker的使用也较为容易上手。此外，若将虚拟机与VM自动化工具Vagrant集成使用，还将实现更高效的环境管理，获得超乎预期的效果。另一方面，基于类的视图（CBV）提供了一种更有条理、可重用的方式来定义视图。这将是一个重大问题，因为不同项目对同一依赖包可能有不同且相互冲突的版本需求，若使用全局环境，将难以满足这些差异化要求。

通过在Kubernetes上部署DeepSeek，我们建立起可扩展、弹性强且可用于生产的AI推理系统。Kubernetes负责高效协调DeepSeek-R1，确保通过Open WebUI顺利运行模型并与用户交互。此外，大家还可添加GPU加速、自动扩展并使用Prometheus及Grafana监控，以进一步扩展这套基础架构。

在 Spring Boot 中实现流式输出可以使用 Sse（Server-Sent Events，服务器发送事件）技术来实现，它是一种服务器推送技术，适合单向实时数据流，我们。以上代码中的“$”代表的是 jQuery。

真实案例：某游戏公司上线新版本后频繁崩溃，原本要5个人查3小时日志，现在系统直接标出“Redis连接池耗尽”，10分钟搞定。工程师主导设计：让运维自己定义规则（如“哪些操作需人工确认”），AI只做辅助，人才是主人。我们不追求100%的准确率：日志分类能覆盖80%常见问题，就省了老大力了，意满离。真实效果：某电商提前扩容MySQL集群，大促期间零故障，少雇了3个临时运维。自动把日志按“数据库崩了”、“代码报错”、“网络抽风”分类打标签。系统挂了，开发、运维、网络部门互相甩锅，开会2小时还没结论。

MCP 是 Model Context Protocol，模型上下文协议，它是由 Anthropic（Claude 大模型母公司）提出的开放协议，用于大模型连接外部“数据源”的一种协议。是通过 Spring Boot 集成扩展了 MCP 的 Java SDK（开发工具），它同时提供了 Spring Boot 客户端和服务器的启动器，方便使用 Spring AI MCP 快速开发 AI 应用程序。

成本项自建方案（月）API方案（月）基础设施$3200$0代理费用$4500$2800开发维护$8000$500合规风险成本$2000$200总计$17700$3500。| (Scrapy集群) | | (Kafka/RabbitMQ)| | (Spark) || 爬虫集群 | --> | 消息队列 | --> | 数据清洗服务 || 客户端请求 +------>| 反向代理服务器 +------>| 应用服务器 |

在此之后，其他线程就可以抢锁，由此避免了死锁问题。(1) 分布式集合的支持：Redisson按照Java的语义和规范实现了各种java集合对象的实现，包括multimap、priorityQueue、DelayQueue等设置是原子类，而Jedis仅仅支持一些比较常见的java集合类，例如Map、Set、List等。若没有则看看等待队列中最后一个元素的超时时间，并基于这个超时时间获取自己的等待时长，如果超时清单中没有元素，则直接基于分布式锁lock中持有锁线程的到期时间获取自己的等待时长。

DeepSeek以极强的推理能力，支持生成各种代码，比如Python、SQL、Matlab、JS、HTML等，你可以拿这些代码放到编译器里，就能直接跑出结果，比如机器学习算法、exe应用、可视化图表、web应用。最近发现了一个好玩的场景，使用DeepSeek生成HTML来制作可视化数据看板。数据看板是职场中常见的数据展现形式，一般用Excel、Tableau、PowerBI来做，但现在DeepSeek也能帮你完成简单的看板搭建工作。

•核心教训“监控≠真相”：必须穿透容器隔离层，直击内核级指标。“JVM≠容器”：堆外内存是Java应用在K8s中的“头号隐形杀手”。•长效防御资源公式limit = (JVM总内存) × 缓冲系数 + 系统预留。混沌工程：定期模拟内存压力，验证系统抗压能力。左移治理：在CI/CD阶段拦截配置缺陷，而非等到生产环境崩溃。

实现需要有一个自定义注解， @Import 导入一个配置类（Configuration),配置类通过@Bean 定义我们需要的Bean，我们可以通过配置类定义多个Bean（我这里只是演示简单的例子）。还是那个配置了，只是@Import 导入的是我们实现的Selector,返回的是String[]，也就是我们可以“注册”多个我们需要的Bean。导入配置，这种方式推荐我们业务使用，这种我们最熟悉，结合一些条件注解比如ConditionalOnProperty,轻松实现满足一些条件才开启功能的场景。

知识库AI智能化是一个永无止境的进化过程。随着大模型技术的发展，未来可以探索更多优化方向：• 实时更新：支持增量同步，保持知识时效性• 知识推理：引入知识图谱，提升问答准确性• 多模态支持：除文本外，支持图片、音视频等富媒体内容。

面向智能体（）的应用，即所谓的，已经崭露头角，成为近年来生成式AI系统中最具潜力的明星。众多构建智能体应用的框架如雨后春笋般涌现，它们为开发者提供了强大的工具和平台。在此，我们将重点介绍10个具有代表性的Agent应用构建框架，并对其他常见的框架进行简要概述，以期为大家提供一个相对全面的视角，了解这一领域的现状和潜在趋势。

S: 我有如下随访记录，详见附件，内容为[肿瘤术后患者的恢复情况]；S: 我是[内分泌科]医生要为[2型糖尿病]患者（65岁/男性/肾功能不全）；S: 我有[最近一年门诊的患者年龄]数据，如附件；S: 我有[过去一年的门诊]数据，如附件；T: 分析[门诊量的月度趋势]；S: 我有[各科室过去三个月的工作量]数据，如附件；S: 我要进行科研数据分析，附件包含[RCT数据（n=300）]；T: 进行[协方差]分析；S: 我有[某疾病患者的临床数据]，如附件；S: 我是[XX科]主任，结合附件的[XXX]数据；

通过梳理，MyBatis大约运用了10种左右设计模式。可以说，复杂且优秀的ORM 框架源码在设计和实现的过程中都会使用大量的设计模式。在解决复杂场景的问题时，需要采用分治、抽象的方法，运用设计模式和设计原则等相关知识，把问题合理切割为若干子问题，以便加以理解和解决。学习源码远不是只是为了应付面试，更重要的是学习优秀框架在复杂场景下的解决方案。通过学习这些优秀的方案技术，可以提高对技术设计和实现的理解，扩展编码思维，积累落地经验。只有经过这样长期的积累，我们才更有可能成为优秀的高级工程师和架构师。

公司的活动中台，其中【任务】，是活动当中必不可缺的玩法之一。相信大家都在各种各样的互联网活动中体验过【任务】。打车软件去完成一笔订单可以给用户发一个奖品；如用户去申请白条的额度，就能给用户发放京豆；从技术思维上，以上的流程，可以抽象成，用户完成某个动作，就给用户发放对应的奖品。作为中台的任务系统，往往会对接上游N个业务方的不同任务，并且任务也会有不同的完成条件。如：电商业务：用户支付一笔3000元以上的订单，完成【订单任务】

SpringBoot与OpenFeign的整合为构建微服务架构提供了一种强大且灵活的方式。通过声明式的API调用，开发者可以专注于业务逻辑的实现，而不必担心底层的网络通信细节。结合Spring Cloud生态中的其他组件，可以进一步增强系统的可伸缩性、可靠性和安全性。

在分布式系统架构中，RabbitMQ 作为强大的消息中间件，广泛应用于订单、库存、支付等核心业务场景。要解决这些问题，我们需要建立，确保消息三个环节的稳定性。本文将基于，介绍三大核心策略，并提供完整的可运行代码示例，帮助你彻底告别 RabbitMQ 消息丢失。

实现SRE最佳实践使Java应用程序能够实现增强的可靠性、弹性和可扩展性。主动监控和可观测性使开发和运营团队能够及时识别和处理问题。日志记录和警报有助于快速检测和解决系统故障，同时性能优化确保有效扩展以满足不断增长的需求。灾难恢复策略和容错机制最大限度地减少了停机时间，保护了应用程序的可用性。安全最佳实践可以防止网络威胁，自动化可以确保部署和测试过程的一致性。

例如，在研究报告场景中，内容Agent参考信息Agent搜集的资料和数据Agent的分析结果，起草报告各章节。这里要多说一句，有一些企业用的多 Agent 系统会根据业务场景来设置 Agent，比如一个 Agent 是查询价格的，那这个 Agent就只干这一件事。比如用户问，找出 5000 元以内最适合拍照的手机，Agent 会在内部推理：为了回答这个问题，我需要比较该价格范围内手机的摄像头参数，或许还要搜索最新的评测。每一步积累下来，文本的长度会越来越长，此外，部分任务就可能会产生很长的文本，比如搜索。

RAG（Retrieval-Augmented Generation）检索增强生成是一种将外部知识检索与大语言模型生成能力结合的混合架构。其核心思想是通过检索外部知识库（如文档、数据库、网页等），弥补大模型静态训练数据的局限性；在生成答案时直接依赖检索到的证据，减少模型凭空编造内容的可能性，降低幻觉风险。RAG无需重新训练模型，仅需更新知识库即可适配不同专业领域（如医疗、法律）。类似将大模型视为一个“推理专家”，而RAG系统为其配备了一个“实时资料库助手”。

Apache Thrift是一种跨语言的服务开发框架，由 Facebook 开发并捐赠给 Apache 基金会。它允许开发者使用一种定义接口的方式，生成不同编程语言的代码，从而实现不同语言之间的高效通信。

在 DeepSeek 的协作中，用户应扮演“导演”而非“观众”——通过精准的指令设计，调度 AI 的计算资源与知识储备。将模糊需求转化为可执行方案的架构力。

为了应对 DeepSeek R1 的发布，OpenAI 推出了两个强大的工具：一个更先进的推理模型：o3，以及 Operator AI Agent，依托全新的计算机使用 Agent（CUA，Computer Use Agent）模型，能够自主浏览网站并执行任务。这些模型的参数范围从 1.5B 到 70B 不等，但保留了强大的推理能力，其中 DeepSeek-R1-Distill-Qwen-32B 在多个基准测试中超越了 OpenAI-o1-mini。我选择了两块 T4 GPU，但是看起来最终我只用了一块。

2. 输入主题描述（英文/中文均可），例如：“8分钟微课PPT，讲解勾股定理的应用，包含案例和互动问题”；你是一名经验丰富的中学数学教师，需要设计一节8分钟的微课视频，主题是《勾股定理的5种经典应用场景》。2. 粘贴脚本文字或输入关键词（如“勾股定理教学课件”），选择“教育课件”风格；用DeepSeek的“文本压缩”功能，删除冗余表述（也可以人工手动删除）。用WPS Office打开PPT，选择“另存为视频”，自动同步动画与配音。技巧：在脚本中添加口语化词汇（如“同学们注意啦”“接下来是重点”）。

技术栈：Fluentd/Filebeat（日志采集）、Telegraf（指标采集）、Kafka（实时流管道）标注实体：服务名称（Service）、故障类型（ErrorType）、影响等级（Severity）采集对象：服务器日志、监控指标（Prometheus）、工单记录、CMDB配置库、网络流量数据。生成修复指令（如`STOP SLAVE;收集历史工单（5万+条）、运维手册、Postmortem报告。核心功能模块：智能告警、根因分析、预案执行、容量预测等。DeepSeek预测模型： ​​​​​​​。

这种方法很直观，但处理不熟悉的单词（词汇表之外的单词）时会遇到困难，并且需要非常大的词汇量。使用相同的例子，它变成 [“L”、“L”、“M”、“s”、“ ”、“a”、“r”、“e”等]。选择词元方法更高效的模型，并监测成本敏感型应用的词元使用情况，可以显著降低运营费用，同时保持输出质量。此外，不同的分词方法会影响文本的编码效率——低效的分词导致词元的浪费，这些词元会计入上下文限制，却不添加有意义的信息。通过将文本转换成分词，LLM就可以以更易于分析和生成的形式处理语言，充当理解和生成文本的基础。

实现模型调用，当我们询问当前时间获取今天日期时，模型会调用我们提供的工具方法实现获取当前时间并返回结果，这个过程是调用完我们的工具方法得到结果后ai进行组织回答的结果，如果我们想直接得到原始结果则需要在@Tool注解中配置直接返回即可returnDirect=true,如：@Tool(description = "获取当前日期和时间", returnDirect = true)。实现RAG增强问答,这里使用RetrievalAugmentationAdvisor类来实现，当然网上也有基于提示词来实现的。

例如，在开发一款旅游应用时，使用MAUI的地图组件，只需几行代码，就能快速集成地图功能，并实现与原生地图应用相似的交互体验。而且，MAUI支持热重载功能，开发者在修改代码后，无需重新编译整个应用，即可实时看到界面的变化，极大地缩短了开发周期。例如，利用Blazor构建的电商应用管理后台，可以轻松地嵌入到MAUI开发的移动端应用中，实现数据的实时同步和交互，为企业提供了一站式的跨平台解决方案。在技术迭代如此迅速的今天，程序员如果不能及时跟上时代的步伐，学习新的技术栈，就很容易被市场淘汰。

项目上线所需要的依赖，以及启动方式。：项目的启动文件，配置编排等。♻️Java依赖与接口。

应用场景1. 文档管理与检索法律文件存储：将大量的法律文件（如合同、判决书、法规等）存储在数据库中，并通过 Hibernate Search 实现快速检索。版本控制：记录每个条款的历史版本，支持回滚到之前的版本。2. 知识管理系统案例库：构建内部案例库，律师可以通过关键词快速查找相关案例。法律研究：支持复杂的查询条件，帮助律师进行深入的法律研究。3. 客户关系管理客户档案：管理客户的法律文件和历史记录，方便律师随时查看。沟通记录：记录与客户的沟通记录，支持全文搜索和高级过滤。4. 合规性

AI提示词（Prompt）是用户与人工智能模型（如 ChatGPT、豆包、DeepSeek、文心一言等）交互时输入的指令、描述或问题，用于引导 AI 模型生成符合预期的内容。简单来说，提示词是你与 AI 沟通的“桥梁”，直接决定了 AI 输出内容的方向、质量与效率。提示词的基本特点：明确性：通过清晰明确的指令，帮助 AI 准确理解用户需求。结构化：通过结构化的提示词设计，显著提升 AI 生成结果的质量与可用性。灵活性：用户可根据具体需求随时调整提示词，以实现不同的输出效果。

当前的简单函数侧重于最关键的方面（线索保存和部分 credit），而这里增强后的版本则通过难度调整和渐进奖励增加了复杂性。我设计奖励函数的关键见解是：基于过程的奖励（奖励旅程，而不仅仅是目的）对于模型学习复杂的推理任务至关重要。模型每个方面正确了都会获得一些奖励。第一个函数 (exact_answer_reward_func) 会为完全正确的解答提供大奖励 (5.0)，从而为模型提供正确解答数独的强大动力。本实验使用了来自 Kaggle 的包含 400 万数独的数据集，其中有非常简单的，也有非常困难的。

为了确保有效的推理，我们保存了训练好的LoRA适配器，并将它们推送到Hugging Face Hub以便访问。DeepSeek的R1模型在不需要人类反馈的情况下就能进行更深思熟虑的推理，已颠覆了大语言模型（LLM）领域。与依赖值函数的近端策略优化（PPO）不同，GRPO在不需要值函数的情况下就可以优化响应，从而提高了效率。我们的数据集需要一种与GSM8K不同的方法，因为我们的响应包含详细的推理步骤，而不仅仅是数字答案。在下面的示例代码中，你将发现几个奖励函数，每个函数专注于响应的不同方面。

通过以上万能提问公式，你可以让 Deepseek 或其他 AI 工具更高效地理解你的需求，并提供精准、实用的答案。