cmoaciopm的专栏

之前的文章提到通义千问API无法通过with_structured_output/json schema的方式支持结构化输出，如果就是想使用通义千问大模型做结构化输出，应该怎么办呢？有两种办法。

在文本聊天中，我们在提示词里明确写出了需要从文本中提取的属性。至此，疑惑都解开了。由此可见，虽然Langchain的存在统一了我们和大模型交互的代码实现，但各家大模型服务还是存在一定的差异的，前路漫漫啊～～按照要求添加了请求参数，修改了提示词，运行发现了新的错误（证明通义千问给出的解决方案是有效的）。随后多次运行了程序，每次运行的结果可能会有差异，总共发现了下面三种结果。这个结果也返回了我们需要的信息，而且信息通过英语返回的。从错误提示看，大模型服务端返回的信息中只有我们需要的。，但多了一个我们不需要的。

在B站学习图灵程序员-诸葛的LangChain快速入门课程之《部署FastGPT构建本地应用》。在我学习课程跟着老师实践的过程中，踩了一些坑。这篇文章以问答的形式记录一下学习中的一些问题，主要面向的读者是，在学习同样的课程的和部署FastGPT遇到各种问题的同学。

这个使用案例说明了在本地电脑运行大模型是可以助力日常工作的。因为数据不需要上传到第三方服务器，我们完全无需担心本地数据、隐私的安全性。但本地电脑的算力毕竟有限，这套方案能否高质量的助力工作还需要进一步的验证。后续我也会继续深度体验这个方案，期待能有更新的发现。

我就这样让deepseek肆意的跑了20多分钟，最终在屏幕上得到了四五个汉字输出，看起来deepseek还在努力的工作，但我已经无法忍受了。通过进一步的调研，我了解到不同的大模型对硬件资源（显存、内存、CPU）的需求是不同的。不同的模型有不同的特性，有些模型还会依赖特定的CPU，比如AMD的。用电脑计算器是可以瞬间得到正确答案的，但deepseek好像还是把问题想复杂了，在苦苦等待N分钟后，电脑死机了。同样的问题给到deepseek，这一次很快得到了deepseek的答复。选择合适的大模型也是有学问的呢。