零成本——用Dify打造超级搜索引擎

环境：dify 14.2 docker版本；

模型：glm-4-flash；

工具：bing，http，jina；

一、背景

目前，在国内能够提供免费 API 接口的搜索引擎中，基本上只有必应（Bing）。其每月免费额度对于个人使用而言已然足够。然而，在调用接口时，返回的内容中文字常常被截断，无法完整展示，甚至可能出现断章取义的情况，难以为大模型提供高质量的素材。对此，我们得想想办法。

‍

二、实现思路

在通过必应（Bing）搜索获取返回结果之后，运用Jina工具读取每条链接所对应的内容，接着借助大模型生成每一篇文章的摘要信息，最后采用模板转换的方式对内容予以合并输出，并把这个工作流配置为工具，供其他工作流或者对话调用。

‍

三、实现步骤

1. 配置工作流，将输入内容定义为 query，调用 Bing 搜索引擎进行搜索操作，返回十条搜索结果，采用链接格式呈现。

2. 通过代码执行工具将链接提取出来，并且以列表类型进行输出。

   import re
   
   def main(arg1) -> dict:
       # 调整正则表达式，匹配以换行符或逗号结束的 URL
       urls = re.findall(r'http[s]?://(?:[a-zA-Z0-9-]+\.)+[a-zA-Z]{2,}(?:/[^\s,]*)*', str(arg1), re.DOTALL)
       return {
           "result": urls,
       }
   

3. 上一步所生成的列表将作为循环工具的输入项。在循环过程中，借助于 jina 工具读取每条链接内部的完整内容，而后运用大模型针对该内容并结合 query 进行总结性输出。

4. 每次循环所产生的输出需通过模板进行合并，进而完成搜索任务。

   import time
   def main(arg1) -> dict:
       result = []
       for item in arg1:
           url, text = item.split('\\SP')
           text = text.replace('\n', ' ')
           result.append({'url':url, 'text':text})
       return {
           "result": result,
       }
   

四、效果展示

​

​

‍

关注微信公众号【红岸解码室】，发送“超级搜索引擎”，获取超级搜索引擎DSL文件！

‍

‍