penriver的博客

LLM Agent 是一个基于大型语言模型的智能代理，能够执行复杂的任务。它通常结合了多种工具和API，以完成特定的目标。LLM Agent 可以根据上下文动态调整其行为，并且能够处理多步骤的任务。

如今的大模型已经能够满足95%用户的需求，涵盖信息抽取、方案设计、表格生成、简单代码编写、简单问答、简单服务调用等领域，这95%的需求大多是简单任务，对模型的能力要求不高。因为大多数的用户日常并不需要模型具备复杂的逻辑推理能力。剩下5%涉及复杂逻辑推理的需求，隐藏着AGI的技术瓶颈，代表着以o1为典型的新技术范式，但需要投入天价的算力本文回顾2024年LLM的发展记录及针对2025年LLM发展方向的展望。

本文介绍如何构建一个提供nlp服务的镜像，功能如下：基于hanlp 2.x、jionlp的基础采用fastapi封装NLP的相关服务

如何下载huggingface或modelscope上的大模型或数据集

在Hugging Face的transformers库中，pipeline是一个高级API，它提供了一种简便的方式来使用预训练模型进行各种NLP任务，比如情感分析、文本生成、翻译、问答等。通过pipeline，你可以在几行代码内实现复杂的NLP任务。pipeline会自动加载用于指定任务的默认模型和tokenizer，如果需要，用户也可以指定使用特定的模型和tokenizer在创建pipeline时，除了可以指定任务类型和模型外，还可以设置其他参数，详见本文

NLP专业术语及工具【hanlp、JioNLP】

Gradio每个组件支持的事件，用于自查

在使用基于检索的生成模型（RAG）处理长文本数据时，合理的文本切割策略是提高模型性能和效率的关键。本文讲解文本切割相关的概念及技术要点。目前LLM模型进化的方向是增加上下文窗口的长度，主流LLM支持的上下文窗口长度越来越大，并且随着Infini-Transformer架构的出现，那么长上下文窗口是否会取代RAG？

LLM-大模型演化分支树、GPT派发展阶段及训练流程图、Infini-Transformer说明

ChatGLM-6B-INT4 是 ChatGLM-6B 量化后的模型权重。具体的，ChatGLM-6B-INT4 对 ChatGLM-6B 中的 28 个 GLM Block 进行了 INT4 量化，没有对 Embedding 和 LM Head 进行量化。量化后的模型理论上 6G 显存（使用 CPU 即内存）即可推理，具有在嵌入式设备（如树莓派）上运行的可能。在 CPU 上运行时，会根据硬件自动编译 CPU Kernel ，请确保已安装 GCC 和 OpenMP （Linux一般已安装，对于Wind

Milvus 是一款专为大规模向量相似度搜索而设计的开源向量数据库。它旨在高效、快速地处理高维向量数据，并支持实时、近似最近邻（Approximate Nearest Neighbor, ANN）检索，适用于各种涉及向量搜索的应用场景，如图像识别、语音识别、推荐系统、自然语言处理（NLP）等。本文介绍使用Milvus作为向量数据库时必须知道的基本概念

将文本向量化是自然语言处理（NLP）中的一项关键步骤，其主要目的是将原本难以直接被计算机理解的自然语言文本转换成数值形式的向量，以便于后续的机器学习算法和深度学习模型进行处理、分析和建模本文介绍如何使用SentenceTransformer将文本向量化

打造Private GPT需要知道的一些概念及术语

一种用于`指导`人工智能（如聊天机器人或图像生成工具）`生成特定内容`的文字。**提示词**的设计旨在以一种`高效`、`精确`的方式向模型传达用户的`意图`或所需的`任务类型`，从而使模型想你所想。有关如何写好提示词，请学习[面向开发者的大模型手册 - LLM Cookbook](https://github.com/datawhalechina/llm-cookbook)，设计高效 Prompt 的两个关键原则：**编写清晰、具体的指令**和**给予模型充足思考时间**

Milvus 向量数据库：如何基于docker-compose在本地快速搭建测试环境

Ollama 让你快速的在本地部署、启动并执行大语言模型Ollama makes it easy to get up and running with large language models locally.Get up and running with Llama 2, Mistral, Gemma, and other large language models.

Sora改变AI认知方式，开启走向【世界模拟器】的史诗级的漫漫征途，才是未来暴风眼，真正的重点。但Sora并没有理解整个世界和诸多物理细节，常识及定律，而是根据GPT语义解释能力、丰富的联想和丰富度，基于海量的视频库，抄写视频片段并猜视频下一帧，并使用Diffusion、GAN（对抗式生成网络技术）将多个视频片段混合在一起，产生稳定且连续的短视频。

大模型的训练，大规模的语料是很重要的大型语言模型在许多自然语言处理任务上取得了显著进展，研究人员正在转向越来越大的文本语料库进行训练大多数基于Transformer的大型语言模型 (LLM) 都依赖于英文维基百科和Common Crawl、C4、Github的4个大型数据集。这几个数据集是最常用的，基本上大部分大模型训练过程都会使用到，其中CommonCrawl的数据集比较大，而wiki Pedia的数据集比较规整相对来说比较少

在自然语言处理领域，大型语言模型（LLM）在自然语言处理领域的应用越来越广泛。然而，随着模型规模的增大，计算和存储资源的需求也急剧增加。为了降低计算和存储开销，同时保持模型的性能，LLM大模型的量化技术应运而生本文记录针对量化技术原理的学习

在 LLM 中，token代表模型可以理解和生成的最小意义单位，是 LLM 进行处理的最小单元。根据所使用的特定标记化【Tokenization】方案，token可以表示单词、单词的一部分，甚至只表示字符。采用的方案由模型的类型和大小决定token被赋予数值或标识符，并按序列或向量排列，并被输入或从模型中输出，是模型的语言构件。模型理解这些token之间的统计关系，并擅长做token的接龙token化是将输入和输出文本分割成可以由LLM AI模型处理的较小单元的过程。

**具身智能**作为人工智能发展的一个重要分支，正在迅速崭露头角，成为科技界和大众关注的热门话题，同时在各个领域中展现出巨大的潜力和吸引力**具身智能是由“本体”和“智能体”耦合而成且能够在复杂环境中执行任务的智能系统**。本文讲解具身智能（Embodied AI）的概念、核心要素、难点及突破性进展

LLM ReAct: 将推理和行为相结合的通用范式 学习记录

Milvus的目标是：store, index, and manage massive embedding vectors generated by deep neural networks and other machine learning (ML) models.Milvus 向量数据库专为向量查询与检索设计，能够为万亿级向量数据建立索引。与现有的关系数据库主要按照预定义的模式处理结构化数据不同，Milvus采用自底向上设计，以处理从非结构化数据转换而来的Embedding向量。

DB-GPT是一个实验性的开源项目，它使用本地化的GPT大型模型与数据和环境进行交互。使用此解决方案，没有数据泄露的风险，数据是100%私密和安全的。DB-GPT使用FastChat创建了一个庞大的模型操作系统，并提供了一个由Vicuna驱动的大型语言模型。此外，还提供了私有领域知识库问答功能、对其他插件的支持、支持Auto-GPT插件。DB-GPT愿景是使围绕数据库和llm构建应用程序变得更容易、更方便。

你想知道ChatGPT针对JAVA技术趋势等问题的答案不？今天终于试了一下最近非常火的ChatGPT，针对JAVA技术趋势等问题与ChatGPT进行了交流，感觉还挺好玩的，如同和一个人正常交流一样，问题的答案虽然不是很精准，但还算是正确的。

OCR文字识别百度文字识别OCR提供多场景、多语种、高精度的文字检测与识别服务，多项ICDAR指标居世界第一。广泛适用于远程身份认证、文档电子化、金融保险、法律政务、财税报销、快递物流、交通出行、教育培训等场景，让应用看图识字，提升输入效率，优化用户体验，为企业降本增效。如何调用创建应用在百度智能云 控制台 创建一个应用每个应用都有产生独有的AppID、API Key、Secret Key安装baidu-aippip install baidu-aip -i https://pypi.tun