程序员ken的博客

本文解释了LLM(大语言模型)以token而非单词为基本处理单元的技术细节。分词器将输入文本拆分为token，生僻词可能被拆为多个token，这能降低字典规模并提高效率。例如"lollipop"被拆为3个token，导致模型难以正确反转字母顺序。中英文token长度不同，英文约4字符/0.75词，中文约1-0.5词。需注意模型的总token限制(如ChatGPT3.5-turbo为4096)，输入Prompt越长，输出上限越低。开发者应关注分词方式对模型理解的影响。

本文介绍了如何利用大型语言模型快速构建定制化聊天机器人。重点展示了上下文对话的实现方法，通过角色划分（system/user/assistant）和消息累积来维护对话状态。文章提供了一个订餐机器人实例，演示了完整的对话流程，并展示了如何将对话内容转化为结构化JSON数据。技术实现上使用Python的Panel库构建Web界面，通过OpenAI API获取模型响应。示例代码展示了消息收集、上下文维护和JSON摘要生成等关键功能，为开发者提供了构建领域特定聊天机器人的实用参考方案。

如何去使用 Prompt，以充分发挥 LLM 的性能？首先我们需要知道设计 Prompt 的原则，它们是每一个开发者设计 Prompt 所必须知道的基础概念。本章讨论了设计高效 Prompt 的两个关键原则：编写清晰、具体的指令和给予模型充足思考时间。掌握这两点，对创建可靠的语言模型交互尤为重要。首先，Prompt 需要清晰明确地表达需求，提供充足上下文，使语言模型准确理解我们的意图，就像向一个外星人详细解释人类世界一样。过于简略的 Prompt 往往使模型难以把握所要完成的具体任务。

本文详细介绍了搭建Python开发环境的完整步骤： 首先安装Python 3.9.13，建议从官网下载对应版本； 推荐安装Anaconda或Miniconda（性能较差的电脑建议后者），并配置环境变量； 设置conda清华镜像源以加速下载； 创建名为chatgpt的Python 3.9虚拟环境并激活； 安装核心库如python-dotenv、openai、langchain等； 最后安装VSCode作为开发工具，并提供了Python相关配置建议。