本地部署秘塔开源搜索引擎

秘塔AI搜索是由秘塔科技于2024年初推出的一款新型搜索引擎,被业界誉为“中国版的Perplexity”。秘塔科技成立于2018年4月,其核心团队包括CEO闵可锐、技术专家唐悦和首席运营官王益为等。秘塔AI搜索以其高效简洁的特点受到关注,其搜索结果直接提供答案,而不是像传统搜索引擎那样提供多个网页链接。这种搜索方式更加高效,因为它减少了用户在多个网页间寻找信息的时间。

秘塔AI搜索的特点包括提供简洁、深入和研究三种不同详细程度的回答选项,并支持“全网”和“学术”两种搜索模式。搜索结果旁边附有大纲,下方则列出相关事件、组织和人物,并标明信息来源。这种设计旨在提供清晰、有条理的信息,帮助用户快速获取所需知识。

秘塔AI搜索的增长速度非常快,它的成功部分归功于其提供的独特搜索体验。然而,作为一个新兴的搜索引擎,秘塔AI搜索也面临着商业化的挑战。如何在不牺牲用户体验的前提下实现盈利,是秘塔科技需要解决的问题。目前,秘塔AI搜索还没有广告,但未来可能会考虑添加广告或其他商业化策略。

总的来说,秘塔AI搜索是一个创新的搜索引擎,它通过提供直接、有条理的答案来改善用户的搜索体验。尽管它可能不是解决所有问题的最终方案,但其独特的搜索方式可能会影响未来几年的搜索趋势 

部署本地搜索引擎

项目概述
        开源秘塔搜索项目是一个主要基于TypeScript的Web项目,其核心功能包括:

内置主流的大语言模型(LLM)接口支持

包括OpenAI、Google、通译千问、百度文心一言、Lepton、DeepSeek等。

集成多种搜索引擎

支持Bing、Sogou、Google、以及免费开源的SearXNG等。

简洁的搜索对话Web界面

具备暗色模式和移动设备友好支持。

支持搜索引擎与AI模型的切换

用户可以自由选择和切换所使用的搜索引擎和AI模型。

多语言支持(i18n)

提供多语言界面,方便不同地区的用户使用。

结果缓存与上下文问答

支持结果缓存和基于上下文的继续问答,提高用户体验。

项目地址
     项目的GitHub地址为:

https://github.com/yokingma/search_with_ai

大概就是这样的界面 秘塔的源码里面也有部署的详细介绍

部署指南
        接下来,我们将详细介绍如何一键安装和部署这个开源项目。

        使用 Docker 快速安装部署
        首先,克隆项目源代码:

git clone https://github.com/yokingma/search_with_ai.git
cd search_with_ai
进入项目目录后,需要进行一些配置:

OpenAI Key

项目默认带有免费Key:freegpt35,如果你没有自己的Key,可以保持默认。

OPENAI_KEY=freegpt35
OpenAI 代理地址

项目默认代理地址为:

OPENAI_PROXY_URL=http://freegpt35:3040/v1
Ollama本地部署

如果需要在docker中访问本地部署的Ollama,不用改变变量。

OLLAMA_HOST=http://host.docker.internal:11434
SearXNG 搜索引擎配置

项目默认包含了SearXNG免费聚合搜索引擎,默认配置

SEARXNG_HOSTNAME=http://searxng:8080
完成配置后,可以通过Docker命令启动项目:

docker compose up -d
        等待项目启动完成后,便可以通过浏览器访问项目的Web界面,进行搜索体验了。

部署本地api 

但是我想用接口的方式调用而并不是想仅仅部署一个本地的搜索引擎 于是去官网找到了一个开源的api部署

Git地址

metaso-free-api: 🚀 秘塔AI搜索逆向API白嫖测试【特长:超强检索超长输出】,支持高速流式输出、超强联网搜索(全网or学术以及简洁、深入、研究三种模式),零配置部署,多路token支持 https://gitee.com/llm-red-team/metaso-free-api

 其实这个在本地部署很简单

 

效果示例

三种搜索模式(简洁、深入、研究)

Dify工作流妙用

接入准备

秘塔AI搜索 获取uidsid并使用-拼接:

进入秘塔AI搜索,登录账号(建议登录账号,否则可能遭遇奇怪的限制),然后F12打开开发者工具,从Application > Cookies中找到uidsid的值。

将uid和sid拼接:uid-sid,如 65e91a6b2bac5b600dd8526a-5e7acc465b114236a8d9de26c9f41846

这将作为Authorization的Bearer Token值:Authorization: Bearer uid-sid

多账号接入

注意:目前怀疑秘塔对IP地址的总搜索次数有限制,建议加入IP轮换

你可以通过提供多个账号的uid-sid并使用,拼接提供:

Authorization: Bearer uid-sid1,uid-sid2,uid-sid3

每次请求服务会从中挑选一个。

Docker部署

请准备一台具有公网IP的服务器并将8000端口开放。

拉取镜像并启动服务

docker run -it -d --init --name metaso-free-api -p 8000:8000 -e TZ=Asia/Shanghai vinlic/metaso-free-api:latest

查看服务实时日志

docker logs -f metaso-free-api

重启服务

docker restart metaso-free-api

停止服务

docker stop metaso-free-api

Docker-compose部署

version: '3'
​
services:
  metaso-free-api:
    container_name: metaso-free-api
    image: vinlic/metaso-free-api:latest
    restart: always
    ports:
      - "8000:8000"
    environment:
      - TZ=Asia/Shanghai

Render部署

注意:部分部署区域可能无法连接metaso,如容器日志出现请求超时或无法连接,请切换其他区域部署! 注意:免费账户的容器实例将在一段时间不活动时自动停止运行,这会导致下次请求时遇到50秒或更长的延迟,建议查看Render容器保活

  1. fork本项目到你的github账号下。

  2. 访问 Render 并登录你的github账号。

  3. 构建你的 Web Service(New+ -> Build and deploy from a Git repository -> Connect你fork的项目 -> 选择部署区域 -> 选择实例类型为Free -> Create Web Service)。

  4. 等待构建完成后,复制分配的域名并拼接URL访问即可。

Vercel部署

注意:Vercel免费账户的请求响应超时时间为10秒,但接口响应通常较久,可能会遇到Vercel返回的504超时错误!

请先确保安装了Node.js环境。

npm i -g vercel --registry http://registry.npmmirror.com
vercel login
git clone https://github.com/LLM-Red-Team/metaso-free-api
cd metaso-free-api
vercel --prod

原生部署

请准备一台具有公网IP的服务器并将8000端口开放。

请先安装好Node.js环境并且配置好环境变量,确认node命令可用。

安装依赖

npm i

安装PM2进行进程守护

npm i -g pm2

编译构建,看到dist目录就是构建完成

npm run build

启动服务

pm2 start dist/index.js --name "metaso-free-api"

查看服务实时日志

pm2 logs metaso-free-api

重启服务

pm2 reload metaso-free-api

停止服务

pm2 stop metaso-free-api

推荐使用客户端

使用以下二次开发客户端接入free-api系列项目更快更简单,支持文档/图像上传!

Clivia 二次开发的LobeChat GitHub - Yanyutin753/lobe-chat: 🤯 Lobe Chat - an open-source, modern-design LLMs/AI chat framework. Supports Multi AI Providers( OpenAI / Claude 3 / Gemini / Perplexity / Bedrock / Azure / Mistral / Ollama ), Multi-Modals (Vision/TTS) and plugin system. One-click FREE deployment of your private ChatGPT chat application.

时光@ 二次开发的ChatGPT Web https://github.com/SuYxh/chatgpt-web-sea

接口列表

目前支持与openai兼容的 /v1/chat/completions 接口,可自行使用与openai或其他兼容的客户端接入接口,或者使用 dify 等线上服务接入使用。

对话补全

对话补全接口,与openai的 chat-completions-api 兼容。

POST /v1/chat/completions

header 需要设置 Authorization 头部:

Authorization: Bearer [token]

请求数据:

{
    // 全网model名称支持 -> 简洁:concise / 深入:detail / 研究:research
    // 学术model名称支持 -> 学术-简洁:concise-scholar / 学术-深入:detail-scholar / 学术-研究:research-scholar
    // model乱填的话,可以通过tempature参数来控制(但不支持学术):简洁:< 0.4 / 深入:>= 0.4 && < 0.7 / 研究:>= 0.7
    // model乱填的话,还可以通过消息内容包含指令来控制:↓↓↓
    // 简洁 -> 简洁搜索小米su7 / 深入 -> 深入搜索小米su7 / 研究 -> 研究搜索小米su7
    // 学术-简洁 -> 学术简洁搜索:小米su7 / 学术-深入 -> 学术深入搜索小米su7 / 学术研究 -> 学术研究搜索小米su7
    // 优先级:model > 消息内容指令 > tempature
    "model": "concise",
    "messages": [
        {
            "role": "user",
            "content": "秘塔AI"
        }
    ],
    // 如果使用SSE流请设置为true,默认false
    "stream": false
}

响应数据:

{
    "id": "8466827997659213824",
    "model": "concise",
    "object": "chat.completion",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "秘塔AI搜索是上海秘塔网络科技有限公司在2024年初推出的一款新产品,被誉为中国版Perplexity。它利用自研的大模型MetaLLM,能够直接对用户的提问进行理解和回答,提供结构化、准确、直接的搜索结果,并明确列出来源参考,无需科学上网,解决了语言理解上的误差[[1]]。秘塔AI搜索通过其强大的语义理解能力和全网搜索功能,为用户提供了一个高效、无广告、信息丰富的搜索体验[[2]]。此外,秘塔AI搜索的特点包括没有广告,直达结果;结构化信息展示;以及信息来源追溯,为每条搜索结果提供了来源链接,用户可以轻松溯源验证信息的出处和可靠性[[4]]。秘塔科技成立于2018年4月,是一家新锐科技公司,致力于运用AI技术赋能专业场景,进行技术研发与产品落地[[3]]。\n"
            },
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "prompt_tokens": 1,
        "completion_tokens": 1,
        "total_tokens": 2
    },
    "created": 1712859314
}

token存活检测

检测token是否存活,如果存活live未true,否则为false,请不要频繁(小于10分钟)调用此接口。

POST /token/check

请求数据:

{
    "token": "65e91a6b2bac5b600dd8526a-5e7acc465b114236a8d9de26c9f41846"
}

响应数据:

{
    "live": true
}

注意事项

Nginx反代优化

如果您正在使用Nginx反向代理metaso-free-api,请添加以下配置项优化流的输出效果,优化体验感。

# 关闭代理缓冲。当设置为off时,Nginx会立即将客户端请求发送到后端服务器,并立即将从后端服务器接收到的响应发送回客户端。
proxy_buffering off;
# 启用分块传输编码。分块传输编码允许服务器为动态生成的内容分块发送数据,而不需要预先知道内容的大小。
chunked_transfer_encoding on;
# 开启TCP_NOPUSH,这告诉Nginx在数据包发送到客户端之前,尽可能地发送数据。这通常在sendfile使用时配合使用,可以提高网络效率。
tcp_nopush on;
# 开启TCP_NODELAY,这告诉Nginx不延迟发送数据,立即发送小数据包。在某些情况下,这可以减少网络的延迟。
tcp_nodelay on;
# 设置保持连接的超时时间,这里设置为120秒。如果在这段时间内,客户端和服务器之间没有进一步的通信,连接将被关闭。
keepalive_timeout 120;

Token统计

由于推理侧不在metaso-free-api,因此token不可统计,将以固定数字返回。

Star History

以下是几种主流深度学习框架的功能介绍: 1.PyTorch • 动态计算图:PyTorch采用动态计算图,允许用户在运行时构建和修改计算图,这使得调试和开发更加灵活。 • 自动求导:提供了强大的自动微分机制,能够自动计算梯度,极大地简化了神经网络的训练过程。 • 易用性与灵活性:代码风格接近Python,简洁易懂,与Python数据科学栈(如NumPy)高度集成。 • 分布式训练与混合精度训练:支持多GPU和多节点的分布式训练,以及混合精度训练,可显著加速训练过程。 • 社区支持:拥有活跃的社区和丰富的资源,适合学术研究和工业级应用。 2.TensorFlow • 静态计算图:TensorFlow采用静态计算图,在训练前需要先构建完整的计算图,适合大规模分布式训练和生产级部署。 • TensorBoard可视化:提供了强大的可视化工具TensorBoard,可用于监控训练过程、分析模型性能。 • 丰富的API和工具:支持多种硬件加速,提供了从底层到高层的丰富API,满足不同层次用户的需求。 • 模型部署:通过TensorFlow Serving等工具,可以方便地将模型部署到生产环境中。 3.Keras • 高层API:Keras是一个高层神经网络API,运行在TensorFlow等框架之上,以简单易用、高度模块化著称。 • 快速构建模型:提供了Sequential和Functional API两种模型定义方式,适合快速构建和测试神经网络。 • 数据预处理:内置了多种数据预处理函数,如独热编码、序列填充等。 • 模型评估与调优:支持使用回调函数(如EarlyStopping和学习率调度器)来优化训练过程。 4.其他框架 • Caffe/Caffe2:主要用于计算机视觉任务,支持卷积神经网络(CNN),以高效的训练和推理速度著称。 • MXNet:支持灵活的模型定义和高效的分布式训练,适合大规模数据集。 • PaddlePaddle:百度开发的深度学习框架,支持多种硬件加速,提供了丰富的预训练模型和工具。 • Deeplearning4j:基于Java的深度学习框架,适合在Java生态中使用。 深度学习框架的通用功能 1. 数据预处理:大多数框架提供了数据加载、预处理(如归一化、标准化、数据增强等)的工具。 2. 模型定义:用户可以通过内置的层(如全连接层、卷积层等)快速搭建神经网络。 3. 训练与优化:支持多种优化算法(如SGD、Adam等),并提供自动求导功能。 4. 模型评估与部署:可以对模型进行评估,并通过工具将模型部署到生产环境中。 这些框架各有优势,选择时可以根据具体需求、开发习惯和项目规模来决定。以下是关于大模型搜索引擎和超级计算模板的相关信息: 大模型搜索引擎 1. 博查AI搜索 • 国内首个支持多模型的AI搜索引擎,集成了通义千问、字节云雀、月之暗面Kimi等多个顶尖AI大模型。 • 提供干净、无广告的搜索体验,支持实时信息获取和多模型切换,能够直接生成问题的答案,而非传统搜索引擎的链接列表。 • 其AI智能体深度回答功能(内测中)可提供更丰富、深入的搜索结果。 • 网址:[]()。 2. 秘塔AI搜索 • 能够深入理解用户问题,提供无广告、直达结果的搜索体验。 3. 卡奥斯智能交互引擎 • 专注于工业知识智能搜索和解决方案精准生成,融合智能检索、应用和多模态连续交互功能,以“大连接、大数据、大模型”为基础技术。 4. 360AI搜索 • 结合大模型与搜索技术,注重用户体验,通过多步推理和慢思考模式提高答案质量和准确性。 5. 知乎直答 • 利用知海图AI大模型处理内部文本数据,并整合其他网站文章,生成丰富参考答案。 6. 天工AI搜索 • 搭载天工大模型,提供智能、高效、快速的搜索体验,支持全网信息搜索、智能聚合,并可将结果整理为脑图和大纲。 7. Perplexica • 开源AI驱动搜索引擎,可使用Grok和OpenAI等模型本地运行,适用于学术研究、写作等场景。 8. MindSearch • 基于LLM的多代理框架,通过WebPlanner和WebSearcher模拟人类多步信息寻求和整合过程,能够从大规模网页中并行寻求和整合信息。 超级计算模板 • AI超级计算机 • 专为人工智能应用设计的高性能计算系统,能够处理和分析海量数据,支持复杂的机器学习和深度学习任务。 • 典型应用场景包括语言大模型、视觉大模型和多模态大模型的训练,广泛应用于自动驾驶、智能安防、医学影像等领域。 • 开源AI搜索引擎技术栈 • 一些开源AI搜索引擎(如OpenPerPlex、LangChain-SearXNG等)结合了多种技术,包括语义分块、搜索引擎集成(如SearXNG)、大模型(如Llama 3)和推理引擎(如Groq),为开发者提供了强大的技术框架。 这些工具和平台为大模型的应用和开发提供了丰富的支持,用户可以根据具体需求选择合适的搜索引擎或计算模板。在讨论如何通过编程实现更环保、低排放的生成式AI时,需要从多个方面来考虑“更好”的编程方式。这里的“更好”可以包括更高的效率、更低的能耗、更简洁的代码以及对环境影响的最小化。以下是一些具体的建议和方向: --- 1.选择合适的编程语言 不同的编程语言在性能、开发效率和资源消耗方面各有优劣。对于开发低能耗的AI应用,以下语言可能是较好的选择: Python • 优点: • 丰富的库和框架:Python是深度学习和AI领域的主流语言,拥有大量的开源库(如TensorFlow、PyTorch、Keras等),这些库经过优化,能够高效地利用硬件资源。 • 易读性和开发效率:Python语法简洁,易于理解和维护,适合快速开发和迭代。 • 社区支持:拥有庞大的开发者社区,遇到问题时更容易找到解决方案。 • 优化方向: • 使用高效的Python库(如NumPy、Pandas)进行数据处理。 • 利用JIT编译器(如Numba)加速Python代码的执行。 • 避免不必要的循环和复杂的数据结构,减少内存占用。 C++ • 优点: • 高性能:C++在执行效率上优于Python,尤其是在大规模数据处理和复杂计算任务中。 • 底层控制:能够直接操作硬件资源,适合对性能要求极高的场景。 • 优化方向: • 使用高效的算法和数据结构。 • 利用多线程和并行计算技术充分利用多核CPU。 • 结合CUDA等技术加速GPU计算。 Julia • 优点: • 高性能与易用性:Julia在性能上接近C++,同时语法简洁,类似于Python。 • 内置并行计算支持:Julia原生支持多线程和分布式计算,适合大规模并行任务。 • 优化方向: • 利用Julia的内置并行计算功能,减少计算时间。 • 使用预编译的包和库,避免运行时的性能开销。 --- 2.编程实践中的优化策略 无论选择哪种语言,以下编程实践都能帮助降低能耗和提高效率: 高效的数据处理 • 避免重复计算:缓存中间结果,避免重复执行相同的计算。 • 批量处理:将数据分批处理,减少I/O操作和内存占用。 • 数据压缩:在不影响模型性能的前提下,对数据进行压缩以减少存储和传输成本。 代码优化 • 减少不必要的循环和递归:优化算法复杂度,减少不必要的计算。 • 使用内置函数和库:内置函数通常经过优化,比自定义实现更高效。 • 内存管理:合理管理内存分配和释放,避免内存泄漏。 并行计算 • 多线程和多进程:利用多核CPU的计算能力,将任务分配到多个线程或进程中。 • GPU加速:对于深度学习任务,使用GPU加速可以显著减少计算时间和能耗。 • 分布式计算:对于大规模任务,可以使用分布式计算框架(如Apache Spark)将任务分配到多个节点上。 --- 3.开发环境和工具的选择 • 使用高效的IDE:选择支持代码优化、性能分析和调试的集成开发环境(如PyCharm、Visual Studio Code)。 • 性能分析工具:使用性能分析工具(如Python的cProfile、C++的gprof)来识别代码中的性能瓶颈。 • 代码审查:定期进行代码审查,优化算法和数据结构,减少冗余代码。 --- 4.环境友好型编程的额外建议 • 选择绿色云计算服务:使用采用可再生能源的数据中心,减少碳排放。 • 模型优化:选择更高效的模型架构,避免过度复杂的模型。例如,使用轻量级模型(如MobileNet)代替大型模型。 • 资源管理:合理规划硬件资源,避免过度配置。例如,根据任务需求动态调整GPU资源。 --- 总结 选择“更好”的编程语言和实践需要综合考虑任务需求、开发效率和环境影响。Python是目前AI领域的主流选择,适合快速开发和迭代;C++适合对性能要求极高的场景;Julia则在性能和易用性之间取得了很好的平衡。无论选择哪种语言,通过优化代码、利用并行计算和选择绿色计算资源,都可以显著降低生成式AI的碳排放,实现更环保的编程目标。
最新发布
03-10
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值