大数据，大模型，服务器，技术、架构，方案

最近，Ollama 在其 0.5+版本中推出了关键更新，引入了与 OpenAI 相类似的结构化输出（Structured Outputs）特性。这项新功能允许开发者利用 JSON schema 来明确指定和限制模型的输出格式，确保了输出内容的格式一致性与预期性。目前，此功能已全面集成到 Ollama 的 Python 和 JavaScript 客户端库中，为开发者提供了更强大的工具来控制模型的响应格式。OpenAI 在其模型的迭代中特别关注了这一问题，并做了相应的优化。天下苦格式幻觉久矣！

问答提取（QA Extract）核心机制包括问题理解、信息检索和答案抽取。主要技术路线有抽取式 QA、多选式 QA、生成式 QA 和基于知识图谱的 QA。最新技术框架包括生成-检索框架、抽取式问答系统、开放式和封闭式生成问答系统以及基于深度学习的技术。在问答提取中，最好是有效利用知识图谱。抽取式 QA 和生成式 QA 各有优缺点，前者准确性高、效率高，但局限性大；后者灵活性强、适应性强，但准确性和资源消耗是挑战。

问答提取（Question Answering Extraction, QA Extraction）是从非结构化文本中自动识别并抽取问题及其对应答案的技术。随着互联网信息的爆炸式增长，如何快速、准确地从大量文档中获取所需信息成为了关键挑战，尤其是在当前大模型训练以及知识库构建的浪潮下。传统的搜索方法往往返回整篇文档或段落，用户需要进一步筛选才能找到确切答案。而问答提取技术旨在直接提供精准的答案，极大提高了知识构建检索的效率。问答提取的最新技术主要依赖于预训练语言模型（如 BERT、Longformer）和检

在人工智能的浪潮中，RAG（检索增强生成）和大语言模型（LLM）无疑是两个耀眼的明星。它们在工业工程、学术研究、落地案例与价值、未来展望与思考等方面，引发了许多深刻的讨论和思考，以下总结。

在探寻答案的过程中，它始终保持自省，以理性之光审视每一个假设，在不同的思维维度中穿行，追寻更深层的真理。QwQ 理解了 985 是什么，但没有完全抓住问题的焦点——焦点是 750 分肯定够考上 985 大学了，而且能考 750 都会被抓去不正常人类研究中心做研究了，而不是回答如何才能考上。在假设的情况下，今天周五，昨天是周四，真实情况是：明天是周四，所以今天是周三。将5L瓶子的水装满，倒入装有2L水的3L瓶子当中，5L瓶子剩4L水。模型回答很长，无法得出结论，陷入了死循环，我终止了回答。

`ocrmypdf` 是一个开源的命令行工具和 Python 库，它可以帮助你给 PDF 文件添加光学字符识别（OCR）功能。查看识别后的 PDF 文档：**效果相当出色，文本可以选取复制，图片和表格全部都有保留。**

代码很简洁（但是解析文件时会打印一些进度条影响观感），保留了标题级别等信息，表格没有恢复为完美的 markdown 的表格语法，表格识别的效果整体上与上面的库差不多。一般来说，不进行复杂的布局检测和特殊处理的话，效果不会差异很大，实际的使用效果需要搭配 LLM 进行验证，或许阅读友好的格式对 LLM 来说不一定是最合适的。处理 PDF 文件时需要使用专门的库来提取文本内容，常用的库有 PyPDF 2 和 pdfplumber。效果一言难尽，首先是都有的硬换行问题，其次就是表格乱换行，无法阅读。

随着大模型上下文窗口扩大到100K-200K Token（开源）或者200万-1000万字（商业），不少人开始质疑检索增强生成（RAG）是否已经过时？LangChain团队的最新技术报告探讨了“RAG是否真的已经死亡”的问题。RAG技术的现状和未来趋势：尽管有观点认为简单的RAG系统可能会消失，但定制化的RAG仍然具有存在的必要性和潜力。LangChain和其他研究机构正在不断优化和改进RAG技术，以提高其检索效率和生成质量。技术挑战与创新。

本文说明本地向量嵌入模型+本地 Ollama 大模型 + Chroma 向量库组合的运行流程。LlamaIndex和LangChain是构建LLM应用程序的两个框架。LlamaIndex专注于RAG用例，LangChain 则有更广泛的应用。从开发层面看，如果是和RAG相关的用例，LlamaIndex是首选（犹如当年 Spark 对 MapReduce 的优势）。

基于前面实现 RAG demo 进行可用性调整，满足更多定制化需求。- 索引数据的持久化：默认情况下，向量索引数据全部保存在内存当中，可以把这些数据存储到硬盘上避免丢失；- 打印查询和事件日志：用于研发阶段的观察和分析，以及 debug；- 嵌入模型支持的参数：设置并发度等，机器资源充足的话加快嵌入的速度；- 大模型支持哪些参数：怎么修改 Ollama 地址或端口、模型温度等等；- 分块或者检索：有什么直接可用的优化方式吗？本文将逐个说明上述需求的实现方式，最后提供完整的代码。

本文展示了 Llamaindex + Chunk + Local Embed +Ollama + RAG 的全流程代码。这里设置了 Ollama 作为语言模型，并指定了其 API 的基础 URL、使用的模型名称以及请求超时时间。这里查询的是关于“dify 的开源协议”的信息。从指定目录中读取文档，并使用设置好的嵌入模型和分词器将这些文档转换为向量存储索引。嵌入模型，用于将文本转换为向量表示。