reekyli的专栏

稀疏层相对于密集层的优势在处理高维数据时最为明显，因为高维数据的模式和依赖关系通常很复杂且呈非线性：例如，在需要模型处理长文本序列的 NLP 任务中，每个单词通常仅与该序列中的一小部分其他单词相关。函数：对于每个专家，路由器会根据每个示例预测该专家产生给定输入的最佳输出的概率值（基于该专家与当前参数的连接的权重）；尽管在推理过程中仅使用参数的子集，但模型的所有参数都必须加载到内存中，这意味着 SMoE 在大多数情况下享有的计算效率并不适用于其 RAM/VRAM 要求。专家的输出（它预测的输出）。

随着开源 LLM 空间的发展，越来越多的模型变得专业化，“代码”LLM 变得非常流行。这些 LLM 旨在比其 “常识” 对应物更小，但旨在超越更大的通用模型的编码性能。这些模型以极低的成本提供大型模型的功能，进一步使本地 LLM 空间民主化。特别是，在较小的编码 LLM 领域中，有三个模型在竞争中脱颖而出：Codestral 22B、DeepSeek Coder V2 Lite 14B 和 Qwen 2.5 Coder 7B。于 5 月 29 日发布，这是 Mistral 发布的第一款特定代码模型。

您最终会复制聊天的建议并手动应用它，而 Cursor 会向您显示清晰的差异，并让您一键应用更改。上下文处理因工具而异。Aider 将文件显式添加到会话的方法是最直接的，但需要更多的设置。要进行更精细的控制，您可以使用 Ctrl/Cmd+→ 逐字接受建议，这在建议中只有一部分与您想要的内容匹配时非常有用。Cursor 的一个缺点似乎是，道听途说，它对所有查询都使用了大量的上下文，因此会消耗大量精力，而且，如果不使用本地模型，最终会赚钱（比如说像 ChatGPT 这样流行的 OpenAI 模型）。

大模型火了之后，有非常多的LLM 代码生成，编辑，和普通对话的开源vim/neovim插件，文末列了一下github上几乎所有的了。但是，并不是各个都好用。其实star多的就那么几个，为什么呢,从aider， cursor这些火的软件大概可以看出端倪。这两个软件都利用了AST来indexing或者map codebase。这也是ast重要性的体现。下面是aider的支持的语言列表，对verilog默认是不支持的。

通过分步演示，我们展示了在主要操作系统上安装 Ollama 的简易性以及集成和运行多功能 DeepSeek Coder 的简易性，涵盖各种模型大小以适应各种任务。DeepSeek Coder 的模型在由 87% 的代码和 13% 的自然语言组成的庞大数据集上进行训练，能够熟练理解和生成各种编程语言和任务的代码。这是掌握大型语言模型 (LLM) 在设备上的本地操作的良好开端。在此基础上，让我们探索如何通过 Ollama 集成和使用 DeepSeek Coder，直接在您的设备上利用 LLM 的强大功能。

因为tree-sitter我在虚拟机运行了，所以这里演示了修改另外一个二进制程序deno。，程序运行时的OS系统和程序编译时的OS系统不同，有可能导致运行时没有办法找到兼容的库。也可以下载tree-sitter的源代码重新编译，但是也不是大家对编译流程都轻车熟路的。有不少解决办法，比如升级OS系统，比如重新从源代码编译（使用可以找到库），后者居多。没办法，可以换到更新版本的OS解决，但是往往要装虚拟机，和本来的工作环境脱离了，算是。GLIBC2.28下载地址（编译好的，不是源码）

如果您要求 GPT“将 Foo 类中的所有打印语句切换为使用 BarLog 日志系统”，它需要查看和修改 Foo 类中的代码，但它还需要了解如何使用项目的 BarLog 子系统。对于上面的示例，您可以发送包含 Foo 类的文件和包含 BarLog 日志子系统的文件。这种方法效果很好，但未来工作的一个关键部分是利用 GPT 和 tree-sitter 的功能来自动识别代码的哪些部分需要更改。Aider 使用所有这些定义和参考来确定存储库中最重要的标识符，并生成仅显示代码库中的关键行的存储库图。

在几个月前OpenAI o1刚刚发布时，我用通用模型的方式跟o1对话，写了一堆的结构化提示词，得到了极差的效果，那时候我一度觉得这玩意是个垃圾。有一个不得不承认的事实是，我是一个很普通的普通人，而像我一样的很多普通人们，现在大概率是不如AI博学和聪明的。而后面，我才发现，其实是我自己的思维惯性，这玩意跟4o不一样，这不是一个很傻的聊天模型。在此之前，提示词都非常重要，但是，DeepSeek R1的提示词技巧，就是没有技巧。所以，不如说出你的目标，把他当作一个很牛逼的员工，让他，放手去做。

以下是用tree-sitter基于tree-sitter-systemverilog提取出的Verilog的语法树。

这些插件使用大型语言模型，并在 2023 年 1 月 1 日之后提交。为了优化以获得最大新鲜度，插件按上次提交日期的顺序列出。这些插件的功能也几乎相同，也许更重要的是比较 (1) 订阅费用是多少，以及 (2) 输出质量。以丰富的配置选项脱颖而出，并且还包括用于编写和编辑代码的命令（即与上面的部分重叠）。利用vim-ollama这个vim插件，可以在vim内和本地大模型聊天。实际各个插件大同小异，核心的还是大模型本身，运作模式，对代码的处理。，它使用托管在 Hugging Face 上的免费推理端点。

这里的关键是库的可组合性设计，允许您根据需要将不同的组件组合在一起，从而使复杂应用程序的实现更加模块化，从而更易于调试、维护和改进它们。由于提供了许多功能和模块，您可能很难理解 LangChain 提供的所有内容 — 但幸运的是，有很多很棒的文章和教程，可以指导您从使用 LangChain 的第一步到高级项目。在本文中，我将说明 LangChain 背后最重要的概念，并探索一些实际示例，以展示如何利用 LangChain 创建应用程序来回答有关您自己的文档的问题。此步骤取决于您希望使用的 LLM API。