Deep Research技术盘点!比RAG更高级的LLM应用范式

OpenAI的Deep Research工具横空出世后,各大厂商都推出了自研的Deep Research工具。所谓Deep Research,是和普通搜索比较的,简单的RAG检索生成一般只有一轮检索。然而Deep Research可以像人类一样,根据一个主题不断的检索,分析,再检索,再分析,直到达到研究目的。从这这个角度上讲,它本质上就是一个升级版的RAG应用,利用ReAct/Plan And Solve等模式构建的垂域 Agent,具备文章分解规划生成、资讯获取分析的能力。

原理上讲很简单,但想实现一个私有的满足自身业务需要的成品,其实际工程细节以及效果优化却相当复杂,因此,一些脚手架的项目或者成品的开发平台就显得尤为重要,这就和RAG一样,将会有越来越多的这样的开发框架出现。

今天,就介绍几款 Deep Research 开源实现,代表两种实现思路,一种是基于现有的编排框架实现,如Langchain Langgraph,另一种是针对deep research的特点专门设计开发 。通过它们不仅能够快速构建deep research应用,也能了解这些框架的实现细节以及具体的选型,比如用什么搜索,用什么存储,提示词是什么等等,这对于我们自己实现非常具有参考作用。

1. Langchain Open DeepResearch

它是LangChain官方的演示实现,基于 LangGraph 构建整个处理流程。通过集成多种 API,如 Tavily 、Perplexity,实现搜索和信息收集。用户可以设置每个章节的搜索深度,包括写作、反思、搜索和重写的迭代次数,同时可以对报告章节的计划提供反馈,并迭代至满意为止。

其使用到的Prompt:

https://github.com/langchain-ai/open_deep_research/blob/main/src/open_deep_research/prompts.py

项目地址:https://github.com/langchain-ai/open_deep_research

同类型的有Dify等框架编排的Deep Research应用。

我给大家准备了一份全套的《AI大模型零基础入门+进阶学习资源包》,包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。😝有需要的小伙伴,可以VX扫描下方二维码免费领取🆓

2. Open Deep Research

Open Deep Research是众多垂域实现的一种。它解构了DeepSearch的过程,支持自动和半自动的Research过程。支持多种 API 接口,不仅能够检索外网信息,还能检索企业内部资料,进行汇总分析。用户可以根据需求选择不同的 AI 平台,包括 Google 、OpenAI 、Anthropic 、DeepSeek 等,甚至可以接入本地模型,实现个性化研究。

它包含了Deep ReSearch标准的的三个步骤:

  1. 搜索结果检索:通过 Google Custom Search 或Bing Search API(可配置)获取指定搜索词的全面搜索结果。

  2. 内容提取:利用 JinaAI 提取和处理选定的搜索结果内容,确保信息的准确性和相关性。

  3. 报告生成:使用用户选择的 AI 模型(如 Gemini 、GPT-4 、Sonnet 等)对整理好的搜索结果和提取的内容进行详细报告的生成,提供针对用户自定义提示的深入分析和见解。

以下是生成报告时使用的Prompt:

You are a research assistant tasked with creating a comprehensive report based on multiple sources.   
The report should specifically address this request: "${userPrompt}"  
  
Your report should:  
1. Have a clear title that reflects the specific analysis requested  
2. Begin with a concise executive summary  
3. Be organized into relevant sections based on the analysis requested  
4. Use markdown formatting for emphasis, lists, and structure  
5. Integrate information from sources naturally without explicitly referencing them by number  
6. Maintain objectivity while addressing the specific aspects requested in the prompt  
7. Compare and contrast the information from each source, noting areas of consensus or points of contention.   
8. Showcase key insights, important data, or innovative ideas.  
  
Here are the source articles to analyze:  
  
${articles  
  .map(  
    (article) => `  
Title: ${article.title}  
URL: ${article.url}  
Content: ${article.content}  
---  
`  
  )  
  .join('\n')}  
  
Format the report as a JSON object with the following structure:  
{  
  "title": "Report title",  
  "summary": "Executive summary (can include markdown)",  
  "sections": [  
    {  
      "title": "Section title",  
      "content": "Section content with markdown formatting"  
    }  
  ]  
}  
  
Use markdown formatting in the content to improve readability:  
- Use **bold** for emphasis  
- Use bullet points and numbered lists where appropriate  
- Use headings and subheadings with # syntax  
- Include code blocks if relevant  
- Use > for quotations  
- Use --- for horizontal rules where appropriate  
  
Important: Do not use phrases like "Source 1" or "According to Source 2". Instead, integrate the information naturally into the narrative or reference sources by their titles when necessary.`  

生成的报告可以下载或者存储在知识库中,但它的高质量搜索源不足,缺乏Research验证和迭代过程,因此在质量上还有改进的空间,但整体过程清晰,很适合在此基础上不断改进完善。

项目地址:https://github.com/btahir/open-deep-research

同类型的还有:

https://github.com/nickscamara/open-deep-research (4.3k)

https://github.com/mshumer/OpenDeepResearcher (2.2k)

https://github.com/assafelovic/gpt-researcher (19k)

https://github.com/zaidmukaddam/scira (6.4k)

https://github.com/jina-ai/node-DeepResearch (2.6k)

其中,node-DeepResearch 为jina的开源deep research实现,可以直接使用其api,和其他模型接口使用一样简单,可以快速集成到自己的应用中。

小结

就如文章一开始提到,Deep Research是用户高质量获取内容的需求进化的结果,打破被动推荐的信息茧房,抛弃传统的搜索总结,再搜索再总结的低效过程,很好的通过自动化的方式来解决。按此方向发展,内容获取的模式将会有新的变化,这对于传统的搜索推荐都将会是巨大挑战。

如何学习AI大模型 ?

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,故此将并将重要的AI大模型资料。包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。【保证100%免费】🆓

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。
一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

😝有需要的小伙伴,可以VX扫描下方二维码免费领取🆓

👉1.大模型入门学习思维导图👈

要学习一门新的技术,作为新手一定要先学习成长路线图,方向不对,努力白费。

对于从来没有接触过AI大模型的同学,我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。(全套教程扫描领取哈)
在这里插入图片描述

👉2.AGI大模型配套视频👈

很多朋友都不喜欢晦涩的文字,我也为大家准备了视频教程,每个章节都是当前板块的精华浓缩。
在这里插入图片描述

在这里插入图片描述

👉3.大模型实际应用报告合集👈

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(全套教程扫描领取哈)
在这里插入图片描述

👉4.大模型落地应用案例PPT👈

光学理论是没用的,要学会跟着一起做,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。(全套教程扫描领取哈)
在这里插入图片描述

👉5.大模型经典学习电子书👈

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。(全套教程扫描领取哈)
在这里插入图片描述
在这里插入图片描述

👉6.大模型面试题&答案👈

截至目前大模型已经超过200个,在大模型纵横的时代,不仅大模型技术越来越卷,就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道,我总结了大模型常考的面试题。(全套教程扫描领取哈)
在这里插入图片描述

👉学会后的收获:👈
• 基于大模型全栈工程实现(前端、后端、产品经理、设计、数据分析等),通过这门课可获得不同能力;

• 能够利用大模型解决相关实际项目需求: 大数据时代,越来越多的企业和机构需要处理海量数据,利用大模型技术可以更好地处理这些数据,提高数据分析和决策的准确性。因此,掌握大模型应用开发技能,可以让程序员更好地应对实际项目需求;

• 基于大模型和企业数据AI应用开发,实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能, 学会Fine-tuning垂直训练大模型(数据准备、数据蒸馏、大模型部署)一站式掌握;

• 能够完成时下热门大模型垂直领域模型训练能力,提高程序员的编码能力: 大模型应用开发需要掌握机器学习算法、深度学习

这份完整版的 AI 大模型学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值