hugo_lei的博客

GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。在语义、数学、推理、代码和知识等多方面的数据集测评中，GLM-4-9B及其人类偏好对齐的版本GLM-4-9B-Chat均表现出超越 Llama-3-8B 的卓越性能。

Open WebUI是一个可扩展、功能丰富、用户友好的自托管WebUI，旨在完全离线操作。它支持各种LLM运行程序，包括Ollama和OpenAI兼容的API。

在Mac M1 16G内存环境中，部署并使用Llama3 8B

Native RAG（基础RAG）体现了RAG开发范式的骨架，也即三段论Indexing-Retrieval-Generation。Advanced RAG聚焦在检索增强，增加了Pre-Retrieval预检索和Post-Retrieval后检索阶段。

RAG：Retrieval-Augmented Generation 检索增强生成。RAG通过结合LLMs的内在知识和外部数据库的非参数化数据，提高了模型在知识密集型任务中的准确性和可信度。。RAG的发展经历了三个主要阶段：初级（Native RAG）、高级（Advanced RAG）和模块化RAG（Modular RAG）。

LangChain中Tool的不同定义方式，对prompt的影响

本文搭建了一个完整的LangChain的Agent，调用本地启动的ChatGLM3-6B的HTTP server。为后续的RAG做好了准备。

ChatGLM3-6B兼容Langchain的Function Call的一步一步的详细转换过程记录

ChatGLM3-6B适配LangChain的Function Call.

Chain是静态的是提前定义好的执行流程，执行完step1然后执行step2.Agent是动态的，Agent在执行时LLM可以自行决定使用合适的step（tool）。

独立部署ChatGLM3-6B并提供HTTP API能力。自定义LLM封装对ChatGLM3-6B的访问。创建一个简单的Agent来使用自定义的LLM。

想基于ChatGLM3-6B用LangChain做LLM应用，需要先了解下LangChain中对LLM的封装。本文以一个hello world的封装来示例。

BGE embedding系列模型是由智源研究院研发的中文版文本表示模型。可将任意文本映射为低维稠密向量，以用于检索、分类、聚类或语义匹配等任务，并可支持为大模型调用外部知识。

理解LLM，就要理解Transformer，但其实最基础的还是要从词的embedding讲起。毕竟计算机能处理的只有数字，所以万事开头的第一步就是将要处理的任务转换为数字。

Prompt flow提供了一套开发工具，并通过实验来构建高质量的LLM应用程序，而不是一套框架（LangChain）

部署ChatGLM3-6B并对外提供HTTP server能力

RuntimeError: nvrtc: error: failed to open nvrtc-builtins64_121.dll. Make sure that nvrtc-builtins64_121.dll is installed correctly.

在本地搭建了Ray的单节点服务，提交任务后，Ray报错提示空间不够报错信息如下：(raylet) [2023-03-24 11:06:38,311 E 821713 821740] (raylet) file_system_monitor.cc:105:/tmp/ray/session_2023-03-24_11-03-06_248168_820779 is over 95% full,available space: 5726846976; capacity: 1006449913856.Object c

在LLM的RAG场景下，使用PostgreSQL+pgvector插件，作为向量数据的管理后端，简单高效。

使用streamlit快速开发LLM demo应用。

本文介绍了在ChatGLM3-6B中使用LangChain的案例。

本文介绍了如何在ChatGLM3-6B中使用自定义函数，来扩展大模型的能力。

Streamlit提供了一种非常便捷且高效的方式，让后端开发也能轻松的画出来简单的web页面。特别适合LLM这种页面比较简单的场景。

LLM大语言模型工程化，在本地搭建一套开源的LLM，方便后续的Agent等特性的研究。

在上一篇文章中介绍了，使用Apache Tika从不同格式的文件里提取文本信息。本篇文章将介绍，如何将提取出的文本信息转换为vector，以便后续基于vector做相似性检索。

Apache Tika是一个内容分析工具包。该工具包可以从一千多种不同的文件类型（如PPT、XLS和PDF）中检测并提取元数据和文本。所有这些文件类型都可以通过同一个接口进行解析，这使得Tika在搜索引擎索引、内容分析、翻译等方面非常有用。