oscar999的专栏

本篇实战演示向量搜索的实现和示例。

在AI　开发的时候很多时候会从Hugging Face下载模型和数据集，但是直接访问会提升速度慢或者无法下载，解决方法就是使用Hugging Face 的中国镜像。镜像站地址为：。这个镜像由国内开发者维护，支持模型、数据集、库文件的加速下载。datasets首先安装依赖，然后设置环境变量。

本篇演示在本地机器下载和加载大模型并获取AI产生的内容。简单起见，使用的大模型是Qwen2.5-0.5B-Instruct，整个模型的所有文件不到1G。Qwen2.5-0.5B-Instruct 是阿里巴巴云 QWen 团队基于Transformer 架构开发的轻量级指令调优语言模型，专为资源有限场景设计。环境准备。

MCP Inspector 工具测试服务器。包括README 和相关文档。它需要与哪些外部系统交互。连接到其他的MCP客户端。服务器将暴露哪些资源。

MCP让实现自定义传输变得简单。任何传输实现只需要符合Transport接口即可：可以实现自定义传输用于：自定义网络协议专用通信通道与现有系统集成性能优化TypeScriptonclose?onerror?onmessage?

TensorFlow 是由 Google 开发的开源机器学习框架，广泛用于深度学习、数值计算和数据处理。其核心基于（节点表示操作，边表示多维数据数组“张量”），支持灵活部署（CPU/GPU/TPU、移动设备、浏览器等）。使用pip安装过程界面如下：安装完成的界面如下：tf.print()

CUDA（Compute Unified Device Architecture）是NVIDIA推出的并行计算平台和编程模型，允许开发者利用GPU的强大计算能力进行通用计算。

蒸馏模型（Distilled Model）是一种通过知识蒸馏（Knowledge Distillation）技术训练得到的轻量级模型，其核心思想是将一个复杂的大模型（称为教师模型）的知识“迁移”到一个更小、更高效的模型（称为学生模型）中。这种方法可以在保持较高性能的同时，显著减少模型的参数量和计算资源需求。核心原理教师模型（Teacher Model）教师模型通常是一个参数量大、性能强的复杂模型（例如深度神经网络），但计算成本高，难以部署在资源受限的环境（如移动端）。

Model Context Protocol， 模型上下文协议，是一种开放协议，用于标准化应用程序向大型语言模型（LLM）提供上下文的方式。可以将 MCP 视为 AI 应用的 USB-C 接口：正如 USB-C 为设备连接各种外设和配件提供了标准化方式，MCP 也为 AI 模型连接不同数据源和工具提供了统一标准。

LanceDB可以以多种方式运行可以嵌入到现有后端（如您的 Django、Flask、Node.js 或 FastAPI 应用程序）中直接从如 Jupyter 笔记本等客户端应用程序中用于分析工作负载部署为远程无服务器数据库。

Transformers 是由 Hugging Face 团队开发的开源 库，专注于提供基于 Transformer 架构 的预训练模型和工具。它简化了自然语言处理（NLP）任务的实现流程，支持文本生成、翻译、分类、问答等场景，并兼容 PyTorch、TensorFlow 等深度学习框架。Transformers 有Python 和 NodeJS 两个版本。如果Hugging Face无法访问Python 版本可以使用ModelScope提供的库NodeJS。

MiniLM 是什么？MiniLM 是微软研究院开发的一种轻量级的语言模型，旨在以较小的参数量和计算成本实现与大型语言模型（如 BERT）相当的性能。它是基于 Transformer 架构的预训练模型，通过深度自注意力蒸馏（Deep Self-Attention Distillation）等技术进行压缩和优化，使其能够在资源受限的环境下高效运行。主要特点轻量级：MiniLM 显著减少了模型的参数量和计算成本，使其能够在移动设备、嵌入式系统等资源受限的环境下运行。高性能。

Karate 作为英文单词翻译过来的意思是：空手道，不过这里的Karate 和日本无关，和李小龙也没有关系， 而是一个API的测试框架。Karate框架遵循Cucumber风格的编程方式，这种方式遵循行为驱动开发（BDD）的方法。非编程人员也能轻松理解其语法。这个框架是唯一一个将API自动化测试和性能测试结合成一个独立工具的API测试工具。Karate是一个BDD（行为驱动开发）测试框架，而不是TDD（测试驱动开发）。它被设计为对非程序员友好。

简单来说， Jupyter Notebook 的作用就是你不需要在IDE编写代码和运行， 而可以直接在网页上编写代码并运行， 这个网页除了代码之外，还可以记录一些其他的文字，类似于一个包含文字和代码的笔记，但是这些代码是可以直接运行的。），允许用户在一个基于浏览器的界面中编写代码、运行代码、可视化结果，并添加富文本（如 Markdown）进行说明，形成可重复、可分享的文档。Jupyter 是数据科学家的“瑞士军刀”，将代码、文档和可视化整合在一个界面中，极大提升工作效率和可复现性！安装需要等待一段时间，

LanceDB 是一个开源的向量搜索数据库，具备持久化存储功能，极大地简化了嵌入向量的检索、过滤和管理。安装完成后，你可以在项目中引入 LanceDB 并使用其 API 进行向量存储、查询和管理。第二个参数是一个数组，表示要插入的初始数据。LanceDB 的核心是用 Rust 🦀 编写的，并基于 Lance 构建。如果路径不存在，LanceDB 会自动创建。变量中，通常是一个包含相似向量数据的数组。变量中，通常是一个符合条件的数据数组。

如果需要使用DeepSeek 做一些批量或进阶的事情，则需要使用调用API的方式。这里还需要加上最近发布的DeepSeek-R1 模型(2025/01/20 发布)以上两种方式注册账号就可以，使用是免费的。

最佳性价比次佳性价比预算有限: GPT-3.5 Turbo 和 Gemini Pro高性能需求: GPT-4o 和 GPT-4 Turbo顶级性能: Claude 3 Opus 和 GPT-4开源模型（如 LLaMA 2 和 Mistral）在价格上具有绝对优势，但需要自行部署和维护，适合有技术能力的团队。

PyTorch （Python torch）是由 Facebook AI 研究团队开发的开源机器学习库，广泛应用于深度学习研究和生产。它以动态计算图和易用性著称，支持 GPU 加速计算，并提供丰富的工具和模块。创建需要梯度的张量x。定义函数y = x * 2和。通过计算z对x的梯度。根据链式法则，梯度计算结果为。PyTorch 的自动微分机制使得梯度计算变得非常简单，尤其是在深度学习模型中，这种机制可以自动计算损失函数对模型参数的梯度，从而支持梯度下降等优化算法。torch。

是指对模型进行存储、版本管理和相关操作的模型服务，用户上传和共享的模型将存储至模型库中，同时用户也可在Model hub中创建属于自己的模型存储库，并沿用平台提供的模型库管理功能进行模型管理。可以创建和管理自己的模型库，利用界面或开发环境来便捷地上传、下载相关模型文件，并从 Model Hub中获取有用的模型和数据集元数据。完成创建后，平台将为分配一个存储地址，可通过页面或者git的方式将文件添加至该模型库中，也可通过页面上传相关的模型文件。，旨在为开发者、研究者和企业提供丰富的预训练模型和工具。

张量（Tensor）是数学和物理学中的一个重要概念，广泛应用于线性代数、微分几何、物理学和机器学习等领域。简单来说，张量是多维数组的推广，能够表示标量、向量、矩阵以及更高维的数据结构。张量作为一种强大的数学工具，广泛应用于多个领域。它不仅能够高效地表示和处理高维数据，还能够描述复杂的物理现象和几何结构。在深度学习中，张量更是模型构建和优化的基础，推动了人工智能技术的快速发展。

Anaconda 是数据科学和 AI 领域的工具，通过集成常用库和工具，简化了环境管理和包安装，特别适合初学者和需要快速上手的开发者。这里下载Windows 的安装版本，下载的文件名为： Anaconda3-2024.10-1-Windows-x86_64.exe。Anaconda的官方介绍是： 人工智能的操作系统，用于获取、构建和部署数据科学与人工智能项目，一句话：Anaconda 是Python 库和环境便捷管理的平台。安装完成的启动的画面如下，提示注册和登录。直接点击运行安装程序，按提示完成安装。

工具适用场景优点缺点venv轻量级项目Python 内置，无需安装功能有限，仅支持 Python 包virtualenv兼容 Python 2 和 3 的项目功能丰富，支持 Python 2需要额外安装conda数据科学、机器学习项目支持 Python 和非 Python 依赖需要安装 Anaconda 或 Minicondapipenv依赖管理复杂的项目自动管理虚拟环境和依赖需要额外安装poetry现代化项目，需要打包和依赖管理支持依赖管理和打包需要额外安装。

DeepSeek 大模型在蛇年前夕突然大火，在蛇年春节持续发酵，随时随地，各个年龄段都在讨论这个话题。Web站点，手机App的下载和使用也出现暴增，DeepSeek 一度关闭了注册功能，甚至国外的很多黑客都来攻击DeepSeek 的网站。从来这么敬仰和自豪的来试用一个模型，曾经 ChatGPT横空出世的时候，因为需要国外的手机才能注册，特定买了一个虚拟号才能进行试用，虽然后来百度的文心一言，阿里的同义千问出现，但是相比ChatGPT，还是略逊一筹。

Qwen2.5-Coder是阿里云通义大模型团队推出的专门针对代码的大型语言模型系列。

此外，Roslyn还提供了一种新的语法解析器和语义分析器，能够更快速地解析和分析代码，提高了代码分析的效率。Roslyn API是微软开源的.NET编译器平台提供的一套丰富的代码分析和编译API，它支持C#和Visual Basic语言。它的出现不仅提高了开发效率和质量，还为开发者带来了更多的创新可能性。Roslyn是微软公司开源的.NET编译器，它提供了丰富的代码分析API，并支持C#和Visual Basic代码的编译。是代码的抽象语法树（AST）的表示，它包含了代码的结构化信息。

定义：OpenRewrite 是一个用于源代码的自动重构工具，它通过提供一套自动化的解决方案，帮助开发人员改善代码的可读性、可维护性和性能。目的：OpenRewrite 的主要目的是减少手动修改代码的工作量，并确保代码的一致性和质量。应用场景：OpenRewrite 的主要用途包括但不限于自动化代码重构、框架迁移、安全漏洞修复以及代码技术债务的消除等。

一、概述ChatGPT 3.5是OpenAI在ChatGPT系列基础上进行改进的一款AI模型，它在自然语言处理方面展现出了非常强大的能力，能够进行对话、阅读、生成文本等多种任务。二、主要特点模型规模与参数：ChatGPT 3.5的预训练模型包含了1750亿个参数，是目前最大的自然语言处理模型之一。多语言支持：该模型可以处理多种语言，包括英语、西班牙语、德语、法语、意大利语、荷兰语、俄语、韩语、日语、阿拉伯语和中文等。自适应回复。

ChatGPT是由OpenAI开发的人工智能语言模型，它们都是基于Transformer神经网络架构的自然语言处理工具。ChatGPTChatGPT于2022年11月30日发布，是一个人工智能技术驱动的自然语言处理工具。它能够基于在预训练阶段所见的模式和统计规律，来生成回答，还能根据聊天的上下文进行互动，真正像人类一样来聊天交流。ChatGPT不仅可以用于聊天，还能完成撰写论文、邮件、脚本、文案、翻译、代码等任务。

Gremlify 提供了一个用户友好的界面，使开发者能够轻松地构建、测试和优化他们的 Gremlin 查询。Gremlin Query Language 的基本用法主要包括构建图遍历的查询语句，这些语句由一系列的步骤组成，用于从图形中检索数据和修改数据。总的来说，Gremlify 是一个强大的工具，可以简化图数据库查询的构建、测试和优化过程，提高开发者的效率和代码质量。是查询所有的顶点， 上面的顶点有5个，每个顶点有 id 和 label 两个属性。会获取所有顶点指向的出边对应的顶点。

例如，在社交网络中，Gremlin 可以用于查询和分析用户之间的关系，如查找两个人之间的最短路径或共同好友。TinkerPop是一个Apache项目，它为图数据库提供了一个通用的图处理框架，而TinkerGraph则是这个框架中的一个重要组件，作为内存数据库存在，用于在内存中存储和操作图形数据。Gremlin Console、Gremlin Server和gremlin-driver是Apache TinkerPop框架中的三个关键组件，它们各自具有不同的功能，并协同工作以提供图数据库的查询和操作能力。

Java Parser是一个用于解析和分析Java源代码的开源工具。它提供了一个API接口，使开发人员能够读取和修改Java源代码的结构。Java Parser可以帮助开发人员进行一些有用的任务，其主要的作用包括三个方面：解析Java源代码：它可以将Java源代码转换为一个抽象语法树（Abstract Syntax Tree, AST），每个节点代表源代码中的一个结构，例如类、方法、变量等。遍历和修改AST：开发人员可以使用Java Parser遍历AST，并对AST节点进行修改。

文章目录MNIST是什么？MNIST的组成MNIST存储方式使用Keras编码TensorFlow是流行的AI框架之一, 那么使用TensorFlow究竟能达成哪些人工智能的工作呢? 官方曾经提供了一个经典的演示示例，就是使用该框架实现对手写的阿拉伯数字图片的识别，该项目称为MNIST。这里的“经典”有两层意思：MNIST是最典型也是最早的演示示例， 通俗易懂，具有代表性经典也代表了过时，...

本地安装环境及要求TesnorFlow 2.X 版本在Windows系统下，需要Windows 7以上的版本，官方的要求如下：除了操作系统， TesnorFlow支持的Python版本是 3.5到3.7。机器最好有GPU，在控制面版中查看NVDIA等控制面板页面如下:基于以上， 本地环境如下：操作系统： Win 10， 64位Python： python-3.7.3-amd64...

TensorBoard是什么TensorBoard：Tensorflow自带的可视化工具，TensorBoard 来展现 TensorFlow 图像，绘制图像生成的定量指标图以及附加数据关于如何在Windows中安装TensorFlow可以参见：TensorFlow windows安装TensorBoard显示尝试接下来就尝试显示一个可视化的图出来第一步： 写代码打开python IDLE , 新

官方安装介绍https://www.tensorflow.org/install/install_windowsTensorFlow有两种安装版本1. CUP Only如果操作系统没有 NVIDIA® GPU ， 需安装此版本。此版安装比较容易快速， 所以即使是有NVIDIA GPU, 也可以安装这个版本。2. GPU Support此版本运行TensorFlow的程序会比较快，如果系统有NVID...

AI, ML 与 DLAI - Artificial Intelligence,人工智能,它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。ML - Machine Learning,机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识