yinjl123456的博客

LM Studio 是一款功能强大、易于使用的桌面应用程序，用于在本地机器上实验和评估大型语言模型（LLMs）。

llama.cpp是一个开源项目,官方地址：https://github.com/ggerganov/llama.cpp，使用纯 C/C++推理 Meta 的LLaMA模型,专门为在本地CPU上部署量化模型而设计。它提供了一种简单而高效的方法，将训练好的量化模型转换为可在CPU上运行的低配推理版本,可加快推理速度并减少内存使用。

与意图标签类似，以txt格式给出。复制data/SMP2019/extract_labels.py放入data/20241031目录,然后运行extract_labels.py程序，会生成意图标签intent_labels.txt文件和槽位标签slot_labels.txt文件。复制data/SMP2019/split_data.py放入data/20241031目录,然后运行，会将20241031的所有数据拆分成一个训练集split_train.json和一个测试集split_test.json。

##　意图识别模型使用 基于BERT的对话意图和槽位联合识别 CPU运行BERT模型-亲测成功我们在开发AI-Agent智能体时，通常会使用提示词工程设置场景的带入，在实际项目中会有很多场景，如果所有提示词都放一起就会超过Token限制，则不得不拆分很多场景的提示词。很多场景下，用户就必须要选择一个场景进入聊天，这样很不智能，意图识别用来做前置处理，判断用户输入的意图，然后帮用户选择场景。####　意图识别：理解用户需求的第一步在问答对话中，准确理解用户的意图是构建有效回答的关键。意图识别，即。

官方地址：https://redis.io/docs/latest/operate/oss_and_stack/install/install-stack/docker/向量检索（Vector Search）的核心原理是通过将文本或数据表示为高维向量，并在查询时根据向量的相似度进行搜索。在检索时，查询文本被向量化，然后与 Redis 中存储的向量进行相似度比较，找到相似度最高的向量（即相关的文档）。检索的核心是将文本或数据转换成向量，在高维向量空间中查找与查询最相似的向量。需要安装Redis Stack。

Embedding模型是将文本数据（如词汇、短语或句子）转换为数值向量的工具，这些向量捕捉了文本的语义信息，可用于各种自然语言处理（NLP）任务。####　工作原理Embedding模型将文本映射到高维空间中的点，使语义相似的文本在这个空间中距离较近。例如，"猫"和"狗"的向量可能会比"猫"和"汽车"的向量更接近。####　优点可以创建自己的或公司的私有知识库高效的相似性搜索：专为近似最近邻搜索（ANN）优化，能够在海量数据中快速找到相似项，适用于推荐系统、图像和文本搜索等应用。

使用流式的方式调用时可能会超时报错：Resolved [org.springframework.web.context.request.async.AsyncRequestTimeoutException]其他配置请看官网说明：https://docs.spring.io/spring-ai/reference/api/chat/ollama-chat.html。jdk17+ 这里自行安装，我安装的jdk21。配置ollama大模型调用api地址。调用Ollama的API对话。设置超时时间为300秒。

特性Spring AI功能成熟度功能全面，适合大规模AI应用仍在发展，功能待完善集成能力支持多种LLM和嵌入存储，适合多样化场景集成到Spring项目中，扩展性强社区支持社区活跃，反馈迅速项目正在成长，API变更较大兼容性Java8 +优势类似 LangChain，功能更丰富的 LLM 工具链利用 Spring 的注解、配置、自动化特性如果你的项目基于 Spring Boot，且希望利用 Spring 框架的生态，Spring AI 会是更直接的选择。

Ollama提供命令行的方式使用，还提供了API接口调用的方式，但是没有界面操作那么直观，那么有人就基于ollama提供的接口开发了一套页面，页面的风格和chatgpt和类似；参考链接：https://blog.youkuaiyun.com/AAI666666/article/details/136444519。如何比页面运行起来，并调用大模型问答。给大模型提问，本地的CPU跑也不慢。界面风格很简单，如下图。

Ollama是一个轻量级、可扩展的开源框架，旨在简化在本地机器上构建、部署和运行大型语言模型（LLM）的过程。以下是Ollama特点：简化部署：Ollama通过Docker容器技术，大大简化了LLM的部署过程。用户无需具备复杂的系统配置和模型管理经验，即可轻松地在本地运行LLM。支持多种模型：Ollama支持多种大型语言模型，如Llama 2、Code Llama、Mistral、Gemma等，并允许用户根据特定需求定制和创建自己的模型。