大模型应用技术栈
文章平均质量分 94
风生水气
当前focus大模型应用,感兴趣可以一起探讨
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
关于工作中AI Coding的一些踩坑经验
作者分享使用AICoding工具时遇到的三个典型问题:1)HTTP连接未正确关闭导致内存泄漏,建议增加非功能性约束;2)过度生成测试用例和文档降低效率,可通过提示词优化解决;3)模型选择对效率的影响,优质模型能显著提升效果。文章强调正确使用AICoding的关键在于识别并规避其潜在问题,才能真正提高开发效率。原创 2025-09-20 19:45:50 · 983 阅读 · 0 评论 -
0.0973585?探究ts_rank的score为什么这么低
在postgreSQL中使用ts_rank计算相似度时,得分会非常低。为什么分数这么低?这么低的分数是不是对的?ts_rank时得计算逻辑是怎样的?带着这个疑问,我们深入探究一下。原创 2025-05-04 15:18:05 · 1211 阅读 · 0 评论 -
项目剖析:基于Agent的个人知识管理系统如何设计
本文档主要从整体架构、dataflow的视角剖析khoj项目,分析应该一个知识管理Agent系统的架构是怎样的。如果你也在做类似的事,希望能有一定的启发作用。原创 2025-04-30 17:29:11 · 962 阅读 · 0 评论 -
MCP是什么?带你清晰明了的看懂MCP
读完本文你会了解到:什么是MCP,为什么需要MCP? 基于MCP的应用架构是怎样的?具体的工作原理?一些已有的MCP资源?原创 2025-04-15 16:58:11 · 2078 阅读 · 0 评论 -
基于LangGraph的智能报告生成平台项目分析
不知道你是否知道或者了解OpenAI and Gemini Deep Research。他们是一种能够根据输入问题进行规划、结合网络搜索获取信息并最终呈现结果的研究工具或技术。那这样research是如何实现的呢?最近刚好看到一个实现类似功能的开源项目: open_deep_search。本文将基于该项目进行代码层面剖析。原创 2025-04-14 18:43:48 · 923 阅读 · 0 评论 -
LangGraph基础:带你系统性了解LangGraph中的必备知识
LangGraph 是 LangChain 生态系统中的一个重要工具,通过基于图的建模方式和强大的状态管理机制,为开发者提供了构建复杂智能体应用的能力。本文主要系统性的介绍一些LangChain中一些必知必会的基础知识,方便我们后续做项目开发。原创 2025-04-14 18:32:19 · 1351 阅读 · 0 评论 -
Mooncake:kimi后端推理服务的架构设计
本文依托论文《Mooncake: A KVCache-centric Disaggregated Architecture for LLM Serving》来讲解kimi的后端服务架构Mooncake,并按照自己的思路来梳理论文中的一些关键信息。原创 2024-12-28 19:00:00 · 2234 阅读 · 0 评论 -
RAG新动向:CORAL,多轮对话RAG的benchmark
本文是对《CORAL: Benchmarking Multi-turn Conversational Retrieval-Augmentation Generation》学习、理解和重新整理,希望帮助感兴趣的同学更容易掌握这一块的内容。原创 2024-12-27 18:15:00 · 1899 阅读 · 0 评论 -
大模型应用技术系列(四): 为RAG应用设计的缓存RAGCache
本文将介绍一个最新的Cache:RAGCache,它是针对RAG应用的特点设计了一套分层的缓存系统,通过它可以提升应用的吞吐量,加速了应用的处理。原创 2024-12-26 17:27:56 · 1663 阅读 · 0 评论 -
大模型应用技术系列(三): 深入理解大模型应用中的Cache:GPTCache
本文将主要聚焦于技术栈中应用层和底层基座之间中间件层的缓存(个人定位),以开源项目GPTCache(LLM的语义缓存)为例,深入讲解这部分缓存的结构和关键实现。原创 2024-12-25 17:17:38 · 1667 阅读 · 0 评论 -
大模型应用技术系列(二):大模型部署和推理优化
本文将从部署演进的视角,阐述了大模型部署方式以及其中设计到的推理优化过程。原创 2024-12-24 16:59:39 · 1585 阅读 · 0 评论 -
大模型应用技术系列(一):大模型应用整体技术栈浅析
技术最终是为业务服务的,基于新兴的大模型技术,最近涌现出各种有意思的应用。从我的视角,这部分应用通常可以被分为两类:问答式应用和生成式应用。典型的问答式应用包括:chat应用、智能助手、企业知识库等;典型的生成式应用包括:文本创作、文生图、文生视频等。那么,这些应用是如何构建的呢?如何基于大模型来构建起这样的一个私人/企业级的应用呢?本文接下来的部分将探索构建这样应用的流程和所涉及到的技术栈。原创 2024-12-23 17:25:34 · 1251 阅读 · 0 评论
分享