「有问必答栏目」关于LLM,回答一个好问题(3.31-4.6)

公益性质的「赋范大模型技术社区」现已集结超3W大模型技术学习者、爱好者!干货技术帮助超400W次成长!

作为中文互联网头部大模型技术学习聚集地,除了前沿、硬核的干货内容,还有专门负责社群的同事,维护良好的学习氛围,帮助每个阶段的小伙伴都能在社群内获得自己需要的干货内容。

而社区交流,一直是「赋范大模型技术社区」不可或缺的一部分,社区内的成员技术、知识、观点的交流,有问题一起解决的学习氛围,是加速成长的秘籍。

虽然负责社群运营的小伙伴一直用心管理,但现在社群数量已经接近80个,会出现已有问题被重复回答,或是问题较多,自己的问题被遗漏的情况。

能提出一个好问题,本身就是一件非常有价值的事情!

虽然是公益性质的社区,但仍希望能尽可能的解决大家的问题,做起来会很困难,但是“为每个人提供有价值的技术赋能”是我们一直以来的企业愿景,也是「赋范大模型技术社区」建立的初衷。

在这样的前提下,我们发起了“回答一个好问题”栏目!精选往期精华问答及高频问答(不限于老师的回答),并由专人进行维护、整理和编辑,目的是帮助大家更好的学习!


Q1:AgentSDK和LangChain、LangGraph有什么区别,LangChain还要学吗?

这些都是Agent的开发框架,AgentSDK是OpenAI最新开源的,一个很方便的MultiAgent(多智能体系统)开发框架,可以借助大模型的原生能力,只通过少量的参数输入就可以快速构建Agent。而LangChain开发Agent会有些复杂,你需要先写很多很多参数,然后规定每一个执行流程。但是为什么还有LangChain、LangGraph,是因为大模型的基础能力是参差不齐的,一些能力比较弱的大模型,就需要工程化的方法进行弥补。

至于还要不要学LangChain家族,首先看你们公司的这个开发要求,如果都是使用LangChain在开发,那当然没办法还是要学LangChain的。

但是多说一句,现在开发框架还有AutoGen,CrewAI等等,如果说一定要先学什么的话,建议一定要学Function Calling,因为不管什么框架,底层逻辑基本都是Function Calling。

Q2:KTransformers部署DeepSeek V3能进行Function Calling吗?

是可以的,但是需要进行一下修改,可以看下官方的issue里的详细介绍,里面有KTransformers不熟的V3如何开启Function Calling功能。

Q3:MCP和Function Callin到底是什么区别?

有一个简单的理解,你可以把MCP看作是Function Calling的高层的封装,本质还是Function Calling。以前是外部工具和大模型进行通信,而现在通过MCP的Client和server封装,形成标准化的执行流程,以此完成大模型与外部工具之间的通信。

比如大家做了任意的server,都可以接入到MCP的Client里面去,进而降低开发难度。

Q4:所有的开源模型都能驱动MCP吗?

所有的开源模型,都可以进行MCP的搭建。MCP本身只是一个模型调用外部工具的协议,对底层模型没有要求。只要模型支持Function Calling就支持MCP。

Q5:一个Agent可以挂多少Tools?为什么要多智能体,不能一个智能体挂载多个Tools吗?

印象中最多的是128个Tools,用一个智能体挂载多个Tools也是可以的,但是第一,不同的智能体还对应不同的提示词模板,如果你使用过多的Tools的话,提示词模板的切换就会很复杂

第二是如果一个智能体挂载多个Tools,大模型该如何搭建Tools的执行链路?这时候就要进行分层处理,比如把功能相关的Tools放在一起,使用时根据情况选择先使用哪一部分,再使用哪一部分,这基本上就和,我先把任务交给一个Agent,再分发给不同Agent,然后选择关联工具进行处理,流程就一样了。

Q6:GraphRAG报错怎么办?

一般来说,第一个阶段,Index阶段构建知识图谱报错,要么是模型没有顺利运行(比如没有连上GPT模型),要么就是模型没有顺利的找到实体,导致部分表格是空表,最后无法顺利构建知识图谱~

Debug的话,首先需要看下报错的日志信息,如果是出现retry字样,大概率是没连上GPT模型,此时需要看下配置文件里面的模型名称、API-KEY和反响代理地址有没有填写正确,而如果是出现类似empty字样,则说明模型没有顺利识别实体,此时可以考虑换成更高性能的模型,比如GPT-4o来构建知识图谱,或者对数据集进行下清洗,使其表意通畅。

Q7:是否能对量化部署的DeepSeek进行再训练?

基本上是不可行的,一个1.5B的模型再次进行增量预训练,至少需要双卡A100服务器,有训练模型的算力,不如部署更大的模型。一般来说模型训练是模型推理所需算力的4-5倍。并且量化模型其实并没有想象当中性能那么差,DS的量化模型,整体性能要比蒸馏模型强很多

Q8:有无擅长图片识别和分类的LLM模型

大模型应该没有单独的专门用于图像分类的模型,多模态模型本质上都是围绕图像信息进行理解。

如果想用VLM进行图像分类,可以使用一些Agent方法或者Structured output,让模型直接输出图像的类别。在这种情况下,大模型进行图像分类的准确率,就和模型本身的多模态能力直接相关,直接选择更强的多模态模型即可。

Q9:部署好的Agent该放到Dify前端里吗?

可以的,可以使用FastAPI包装成接口,放到前端里


❓ 猜你想问:

1、为什么我的问题没有得到解答?

大模型技术社区为公益性质社区,如果你的问题没有得到解答,大概率是:

1)群内的大家都比较忙,问题被遗漏了

2)问题过于笼统,不了解具体情况是没办法提供帮助的哦

如:

提问:如何打造一个行业智能体?

建议提问方式:我是xx领域,希望解决xx问题,通过xx技术是否能实现?可以达到xx效果吗?

3)提问被判定为讨论性质的内容,群友不感兴趣也就不会进行回答哦

4)其他未知情况~

2、该如何保障回答质量与真伪?

赋范大模型技术社区为公益性质社区,非官方发布资讯无法保证真伪,群友的回答可以作为你的参考哦。而本文整理问答经过:

1)专人整理与编辑

2)大模型初筛并判定可信度

3)一线总监级技术大佬复核

也请小伙伴注意,问题的提出大都有时间、场景的局限性,可能当时的问题已经有了更好的解决方案。而最好的解决方案,一定是自己实践过哒!

3、如何更快找到相关答案?

1)群友卧虎藏龙,欢迎在社群内提问呀~

2)九天老师每周直播,除了超硬核的前沿、干货内容,还会在中场和临近结束时进行答疑,千万别错过啦!

3)QA文档会收录至大模型技术社区,借用飞书左上角的智能搜索,也能很方便找到相关答案哦~

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值