今天给大家推荐一个 “懒人神器”——AnythingLLM。有了它,把电脑里的文档(不管是 PDF、Word,还是代码文件)变成能聊天的知识库,就像把文件拖进文件夹一样轻松!
一、下载 AnythingLLM
https://anythingllm.com/desktop
(鉴于很多朋友无法下载ollama以及AnythingLLM,这里给大家整理好了安装包,扫描领取即可↓↓↓↓)
打开链接后,能看到针对 MacOs、Windows、Linux 不同系统的下载选项,根据自己的电脑系统选择对应的安装包。
二、配置 AnythingLLM
-
确保 ollama 处于开启状态,然后在 AnythingLLM 中搜索 ollama。
-
在 “LLM Preference” 设置里,会看到很多 LLM 提供商选项,这里选择 “Ollama”,它能让你在自己的电脑上本地运行 LLM 模型。
-
选择模型:在众多推荐模型里,我们选择 deepseek 模型。这里有个关键参数 “MAX Token(最大令牌数)” 需要重点关注。它主要用于控制语言模型处理文本时的输入和输出长度限制。语言模型单次处理文本的长度受硬件和算法制约,MAX Token 决定了模型单次请求能处理的输入 + 输出的 Token 总数上限,超出这个值可能会导致文本截断或报错。要注意,Token 和单词、汉字不是严格对等的,英文里 1 Token 约等于 4 个字符,中文里 1 个汉字约等于 2 - 3 个 Token 。在问答或生成内容的场景中,这个参数直接影响 AI 生成回答的最大长度。比如设置为 512,回答内容大概会被限制在 512 个 Token(约 380 个汉字或 700 个英文单词)。我们选择 deepseek - r1:7b 模型,并将 Max Tokens 设置为 4096,然后点击下一步。
-
填写自己的邮箱(可选择跳过),接着填写工作区名称,比如 “InvestGroup”。之后还能在设置里把软件语言设置为中文,操作起来更方便。
三、上传文档
设置好后,就可以往工作区上传文档了。在 AnythingLLM 界面里,点击 “Click to upload or drag and drop” 区域,支持上传文本文件、csv 文件、电子表格、音频文件等多种格式,还能提交网页链接抓取网页内容。上传完成后点击 “Save and Embed”,等待文档处理完成,大文件可能需要一些时间,耐心等待即可。
四、测试结果
文档上传完成后,就可以开始提问测试了。比如问 “介绍一下你自己”,deepseek 会根据自身设定进行回答。要是问 “什么是机会成本思维”,它会结合上传文档里的相关内容,详细介绍 机会成本思维 的概念、基本组成等。从测试结果来看,deepseek 能很好地理解文档中的内容,给出准确有用的回答。
其实,AnythingLLM 还有不少实用功能,像代码托管、接入官方 API 等,由于篇幅有限,这里就不详细介绍了,大家可以自行探索。另外,本地部署的 AI 回答精准度会受到硬件性能的影响。如果是轻量级部署,可以参考 RTX 3060 (12GB)+32GB DDR4+1TB SSD 的配置,能支持 7B 参数模型实时推理;企业级应用的话,A100 80GB*4+NVLink+Optane 持久内存的方案,可以满足千亿级 Token 知识库的毫秒级响应需求。
赶紧动手试试用 AnythingLLM 搭建个人 AI 知识库吧,让工作和学习效率直线飙升!
如何系统的去学习大模型LLM ?
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业
?”“谁的饭碗又将不保了?
”等问题热议不断。
事实上,抢你饭碗的不是AI,而是会利用AI的人。
继科大讯飞、阿里、华为
等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?
与其焦虑……
不如成为「掌握AI工具的技术人
」,毕竟AI时代,谁先尝试,谁就能占得先机!
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。
基于此,我用做产品的心态来打磨这份大模型教程,深挖痛点并持续修改了近70次后,终于把整个AI大模型的学习门槛,降到了最低!
在这个版本当中:
第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言
您只需要听我讲,跟着我做即可,为了让学习的道路变得更简单,这份大模型教程已经给大家整理并打包,现在将这份 LLM大模型资料
分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)
五、AI产品经理大模型教程
LLM大模型学习路线 ↓
阶段1:AI大模型时代的基础理解
-
目标:了解AI大模型的基本概念、发展历程和核心原理。
-
内容:
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2:AI大模型API应用开发工程
-
目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
-
内容:
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3:AI大模型应用架构实践
-
目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
-
内容:
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4:AI大模型私有化部署
-
目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
-
内容:
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料
包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓