- 博客(111)
- 收藏
- 关注
RSS订阅原创 DeepResearch产品形态与发展研究报告
DeepResearch是一种AI驱动的智能研究工具，旨在解决复杂、知识密集型的研究任务。多步骤推理：基于高级推理模型（如OpenAI的o3或DeepSeek的R1），能够自主规划研究路径并调整方向。自动化搜索与整合：通过联网搜索，快速收集并分析海量在线数据，包括学术文献、行业报告、新闻资讯等。报告生成：将分散信息整合为结构化、专业化的研究报告，适用于学术研究、行业分析、投资决策等场景。个性化适配：根据用户输入的提示词或需求，提供定制化输出。
2025-03-06 09:38:58
1077
1
原创 LlamaIndex 应用完整指南
创建工具tools = [description="搜索文档内容"# 创建代理# 执行任务response = agent.chat("分析文档中的关键信息")
2025-03-04 16:46:36
1416
18
原创 DeepSeek 全面分析报告
DeepSeek 是一款由中国人工智能初创公司 DeepSeek 开发的大型语言模型 (LLM)，于 2025 年 1 月发布，迅速成为全球人工智能领域的一匹黑马。DeepSeek 不仅在性能上可与 OpenAI、Google 等巨头的模型相媲美，而且其训练成本和运行效率都显著优于竞争对手，引发了业界和市场的广泛关注。本报告将对 DeepSeek 进行全面分析，涵盖其公司概况、产品服务、技术优势、竞争格局、商业模式、财务状况以及未来发展前景等方面。
2025-02-22 11:06:14
2660
25
原创 GroK 3研究报告
当前，最强的大模型是。GroK 3 是目前最强的大模型，基于 Transformer 架构，结合混合模型技术，在长上下文和多模态任务中表现优异。混合模型如 Jamba（GroK 3 的基础）结合了 Transformer 和 SSM 的优势，特别是在长上下文任务中表现出色，适合企业级应用 (本报告将详细探讨 GroK 3 的架构、性能和与其他模型的比较，并分析其在行业中的应用。GroK 3 基于 Transformer 架构，结合了混合模型技术，特别是状态空间模型（SSM）的创新。
2025-02-20 14:09:35
1669
原创 指针生成网络（PGN）详细指南（引入）
在每个时间步，解码器首先将上一步的输出通过一个嵌入层和dropout层，然后用注意力层计算当前隐藏状态对编码器输出的注意力权重。在实现上，注意力机制会为编码器的每个时间步的输出分配一个权重，然后基于这些权重计算一个上下文向量（Context Vector），作为解码器的附加输入。权重的计算通常基于解码器当前的隐藏状态和编码器各时间步的输出。在每个时间步,解码器根据上一步的输出、当前的隐藏状态和编码器的输出计算注意力权重,然后将注意力权重与编码器输出加权求和,得到一个上下文向量。
2025-01-23 10:38:28
1111
20
原创 Flash Attention V3使用
Flash Attention 是一种针对 Transformer 模型中注意力机制的优化实现，旨在提高计算效率和内存利用率。随着大模型的普及，Flash Attention V3 在 H100 GPU 上实现了显著的性能提升，相比于前一版本，V3 通过异步化计算、优化数据传输和引入低精度计算等技术，进一步加速了注意力计算。
2025-01-03 21:39:44
2037
37
原创 训练基于Transformer的翻译任务模型
💥机器翻译是自然语言处理领域中的一个重要任务，它致力于将一种自然语言自动翻译成另一种自然语言。近年来，随着深度学习的发展，神经机器翻译（NMT）取得了显著进展，其中Transformer模型因其强大的表征能力和并行计算能力，成为机器翻译的主流模型。🤗构建一个基于Transformer的德语到英语翻译系统。通过训练Transformer模型，使其能够将输入的德语句子翻译成对应的英语句子。项目使用WMT14数据集进行训练，并在验证集上评估模型性能。
2024-12-30 13:19:32
1596
11
原创 LangChain大模型应用开发
💥我们使用 LangChain 构建的许多应用程序将包含多个步骤，其中包含多次调用 LLM 调用。随着这些应用程序变得越来越复杂，能够检查我们的链条或代理内部到底发生了什么变得至关重要。最好的方法是使用langSmith 来查看。我们使用LangChain的文档加载器、嵌入、向量库来从其他来源检索数据，与大模型工作集成，这对于获取数据作为模型推理的一部分进行推理的应用程序非常重要，例如检索增强生成或RAG。这样，我们只需传入一个问题即可检索相关信息，而无需了解文档中使用的任何特定关键术语。
2024-12-03 23:05:57
1362
57
原创 详细介绍Transformer！
Multi-head Attention和单一head的Attention唯一的区别就在于, 其对特征张量的最后一个维度进行了分割, 一般是对词嵌入的embedding_dim=512进行切割成head=8, 这样每一个head的嵌入维度就是512/8=64, 后续的Attention计算公式完全一致, 只不过是在64这个维度上进行一系列的矩阵运算。多个头进行attention计算最后再综合起来，类似于CNN中采用多个卷积核的作用，不同的卷积核提取不同的特征， 关注不同的部分，最后再进行融合。
2024-11-14 14:58:44
1458
64
原创 LLaMA-Factory全流程训练模型
我们在 LLaMA-Factory/examples下创建 train.yaml 文件，这是微调训练模型的配置文件。整个训练数据集被模型完整遍历的次数，一个 epoch 包含多个批次（batch）。模型参数梯度的范数，反映梯度的大小，用于监控梯度爆炸或梯度消失的问题。: 训练过程中总共计算的浮点运算次数（2906404 亿次浮点运算）。: 每秒处理的批次数（5.277 个批次/秒）。: 训练的总轮次（3.0 个 epoch）。: 训练过程中的平均损失值（1.0846）。随后会生成一些指引，默认安装就行。
2024-11-11 23:35:18
5526
53
原创 词嵌入方法（Word Embedding）
首先, 如果所有参与训练的token被100%的[MASK], 那么在fine-tunning的时候所有单词都是已知的, 不存在[MASK], 那么模型就只能根据其他token的信息和语序结构来预测当前词, 而无法利用到这个词本身的信息, 因为它们从未出现在训练过程中, 等于模型从未接触到它们的信息, 等于整个语义空间损失了部分信息. 采用80%的概率下应用[MASK], 既可以让模型去学着预测这些单词, 又以20%的概率保留了语义信息展示给模型.：指定上下文窗口的大小为 5。
2024-11-06 15:37:59
2197
64
原创 vLLM推理部署Qwen2.5
借助vLLM，构建一个与OpenAI API兼容的API服务十分简便，该服务可以作为实现OpenAI API协议的服务器进行部署。适用于大批量Prompt输入，并对推理速度要求高的场景，吞吐量比HuggingFace Transformers高10多倍。它旨在提供高性能、低延迟的推理服务，并支持多种硬件加速器，如 GPU 和 CPU。现在的Ubuntu是最简单配置的，如果使用wget等命令，需要使用apt-get下载再使用。这是一款流行的文本生成Web界面工具，拥有多个交互界面，并支持多种模型后端。
2024-10-28 15:49:07
5728
53
原创 Chroma 向量数据入门
Chroma 使知识、事实和技能可插入 LLM，从而可以轻松构建 LLM 应用程序。。Chroma 使知识、事实和技能可插入 LLM，从而可以轻松构建 LLM 应用程序。Chroma是一个文档检索系统，它存储了一组文档以及它们相应的嵌入向量。当接收到嵌入向量后，Chroma会根据其内部的索引结构快速查找最相关的文档。
2024-09-26 16:38:10
1904
74
原创 Sentence Transformers 教程！
Sentence Transformers专注于句子和文本嵌入，支持超过100种语言。利用深度学习技术，特别是Transformer架构的优势，将文本转换为高维向量空间中的点，使得相似的文本在几何意义上更接近。
2024-09-23 17:22:22
4049
80
原创 Faiss向量数据库
Faiss（Facebook AI Similarity Search）向量数据库是由Facebook AI研究院开发的一种高效相似性搜索和聚类的库。Faiss不仅支持在高维空间中进行高效的相似性搜索，还能够在处理大规模数据集时展现出卓越的性能，尤其适用于图像检索、文本搜索、推荐系统和语音处理等多种应用场景。
2024-09-03 15:37:51
6800
113
原创 LLaMA Factory微调Llama3模型
是一款开源低代码大模型微调框架，集成了业界最广泛使用的微调技术，支持通过Web UI界面零代码微调大模型，目前已经成为开源社区内最受欢迎的微调框架。
2024-08-26 11:16:11
3648
98
原创 ChatGLM-6B微调推理实战
ChatGLM-6B是一个由清华大学和智谱AI联合研发的开源对话语言模型，它基于General Language Model（GLM）架构，具有62亿参数，并支持中英双语问答。结合模型量化技术，用户可以在消费级的显卡上进行本地部署。在INT4量化级别下，最低只需6GB显存即可运行。使用 pip 安装依赖：`pip install -r requirements.txt`，其中 `transformers` 库版本推荐为 `4.27.1`，但理论上不低于 `4.23.1` 即可。
2024-08-22 21:12:26
1279
76
原创 如何为本地python共享文件网页配置公网地址实现跨网络远程访问
本文主要介绍如何在Windows系统电脑上使用python这样的简单程序语言，在自己的电脑上搭建一个共享文件服务器，并通过cpolar创建的公网地址，打造一个可以随时随地远程访问的私人云盘。数据共享作为和连接作为互联网的基础应用，不仅在商业和办公场景有广泛的应用，对于个人用户也有很强的实用意义。也正因如此，大量数据共享软件被开发出来，云存储的概念也被重复炒作。对于爱好折腾的笔者来说，用最简单的工具找寻私人共享和存储解决方案，也是件很有趣的事。
2024-08-08 21:54:42
1392
91
原创 Langchain--如何使用大模型 2.0
我们除了可以使用Langchain进行模型对话、提示词创作、嵌入模型，还可以使用其他的组件对大模型封装使用，打造我们自己的大模型。
2024-07-29 21:54:40
2158
27
原创 LangChain--如何使用大模型
LangChain是一个用于构建和管理语言模型链的开源框架，旨在帮助开发者更高效地构建和部署复杂的自然语言处理（NLP）应用。LangChain自身并不开发LLMs，它的核心理念是为各种LLMs实现通用的接口，把LLMs相关的组件“链接”在一起，简化LLMs应用的开发难度。
2024-07-28 11:38:12
3186
26
原创 MySQL数据库安装使用
Key-Value结构存储： Key-value数据库是一种以键值对存储数据的一种数据库，类似Java中的map。结构化查询语言(Structured Query Language)简称SQL，是关系型数据库管理系统都需要遵循的规范，是数据库认识的语句。找到系统变量中的path变量，点击编辑，选择新建，将刚才的赋值的mysql文件的地址粘贴到文本框中，点击确定，完成环境变量配置。MySQL是一个关系型数据库管理系统，目前属于 Oracle 旗下产品，MySQL 是最流行的关系型数据库管理系统中的一个。
2024-07-24 10:53:07
1387
27
原创 【深度学习入门篇 ⑪】自注意力机制
将Query和Key分别计算相似性，然后经过softmax得到相似性概率权重，即注意力，再乘以Value，最后相加即可得到包含注意力的输出。：无论是源文本嵌入还是目标文本嵌入，都是为了将文本中词汇的数字表示转变为向量表示, 希望在这样的高维空间捕捉词汇间的关系。① 查询向量（Query向量）：被用来和其它单词的键向量相乘，从而得到其它词相对于当前词的注意力得分。② 键向量（Key向量）：序列中每个单词的标签，是我们搜索相关单词时用来匹配的对象。3个人工定义的重要概念，查询向量，键向量，值向量。
2024-07-23 09:32:09
1364
25
原创 Linux系统编程基础
借助虚拟化技术，我们可以在系统中，通过软件：模拟计算机硬件，并给虚拟硬件安装真实的操作系统。这样，就可以在电脑中，虚拟出一个完整的电脑，以供我们学习Linux系统。
2024-07-22 09:22:29
1126
17
原创 FastAPI入门
FastAPI是一个现代、快速的Python Web框架，用于快速构建API。它基于 Pydantic 和 Starlette，使得代码更加简洁且易于绶护。关键特性:快速：可与 NodeJS 和 Go 并肩的极高性能（归功于 Starlette 和 Pydantic）。最快的 Python web 框架之一。高效编码：提高功能开发速度约 200％ 至 300％。更少 bug：减少约 40％ 的人为（开发者）导致错误。智能：极佳的编辑器支持。处处皆可自动补全，减少调试时间。简单。
2024-07-21 14:03:57
1356
12
原创 网络编程中的TCP和UDP
TCP( Transmission control protocol )即传输控制协议，是一种面向连接、可靠的数据传输协议，它是为了在不可靠的互联网上提供可靠的端到端字节流而专门设计的一个传输协议。面向连接：数据传输之前客户端和服务器端必须建立连接可靠的：数据传输是有序的 要对数据进行校验Socket的英文原义是“孔”或“插座”，网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket。
2024-07-21 08:25:44
1492
16
原创 【深度学习入门篇 ⑩】Seq2Seq模型：语言翻译
今天我们进入 Seq2Seq 的领域，了解这种更为复杂且功能强大的模型，它不仅能理解词汇(Word2Vec)，还能把这些词汇串联成完整的句子。
2024-07-20 18:33:31
1264
18
原创 【深度学习入门篇 ⑦】PyTorch池化层
池化层 (Pooling) 降低维度，缩减模型大小，提高计算速度. 即: 主要对卷积层学习到的特征图进行下采样（SubSampling）处理。
2024-07-16 21:23:18
1296
20
原创 【深度学习入门篇 ⑥】PyTorch搭建卷积神经网络
卷积神经网络是深度学习在计算机视觉领域的突破性成果，在计算机视觉领域，往往我们输入的图像都很大，使用全连接网络的话，计算的代价较高；另外图像也很难保留原有的特征，导致图像处理的准确率不高。卷积神经网络（CNN）是含有卷积层的神经网络，卷积层的作用就是用来自动学习、提取图像的特征。CNN网络主要有三部分构成：卷积层、池化层和全连接层构成，其中卷积层负责提取图像中的局部特征；池化层用来大幅降低参数量级(降维)；全连接层类似人工神经网络的部分，用来输出想要的结果。
2024-07-15 12:09:02
1061
26
原创 Vue组件化编程
使用Vue.extend(options)创建，其中options和new Vue(options)时传入的那个options几乎一。
2024-07-14 11:27:59
1017
12
原创 【深度学习入门篇 ④ 】Pytorch实现手写数字识别
通过前面的学习，我们已经掌握了PyTorch API的基本使用，今天我们使用PyTorch实现手写数字识别案例！通过前面的内容可知，调用MNIST返回的结果中图形数据是一个Image对象,需要对其进行处理，为了进行数据的处理，接下来学习的方法~是PyTorch中用于图像预处理和增强的一个重要模块，它提供了多种对的方法，如裁剪、旋转、缩放、归一化等。这些方法可以单独使用，也可以通过类组合起来，形成复杂的预处理流程。
2024-07-11 09:41:13
1851
12
原创 【深度学习入门篇 ②】Pytorch完成线性回归！
🍊。上一部分我们自己通过torch的方法完成反向传播和参数更新，在Pytorch中预设了一些更加灵活简单的对象，让我们来构造模型、定义损失，优化损失等；那么接下来，我们一起来了解一下其中常用的API！nn.Module是 PyTorch 框架中用于构建所有神经网络模型的基类。在 PyTorch 中，几乎所有的神经网络模块（如层、卷积层、池化层、全连接层等）都继承自nn.Module。这个类提供了构建复杂网络所需的基本功能，如参数管理、模块嵌套、模型的前向传播等。__init__需要调用super。
2024-07-10 10:35:36
1258
9
原创 【深度学习入门篇①】手动完成线性回归！
🍊。大家好！今天我们将一起踏上一场探索深度学习的奇妙之旅，而我们的起点，就是线性回归这一经典而基础的算法。我将带大家从零开始，手动实现线性回归！
2024-07-10 09:34:44
1176
9
原创 易编橙：一个帮助编程小伙伴少走弯路的终身成长社群！
大家好，我是小森( ﹡ˆoˆ﹡ )，今天这篇博客的就是想告诉大家，我以星球嘉宾和社群共创官的身份加入易编橙·终身成长社群了。所以，我摊牌了嗨，大家好，我是小森( ﹡ˆoˆ﹡ )！易编橙·终身成长社群创始团队嘉宾橙似锦计划领衔成员阿里云专家博主腾讯云内容共创官优快云人工智能领域优质创作者。
2024-07-09 16:40:44
1739
23
原创 Vue框架引入
1.1.vue是什么?Vue官网英文官网: https://vuejs.org/中文官网: https://cn.vuejs.org/vue是一套构建用户界面的渐进式javascript框架构建用户界面:将我们手里拿到的数据通过某种办法变成用户可以看见的界面前端工程师的职责:就是在合适的时候发出合适的请求,然后将数据展现在合适位置vue关注的就是你把数据给我,我怎么把它变成界面渐进式:vue可以自底向上逐层的应用。
2024-07-08 19:33:43
1389
30
原创 【机器学习】连续字段的特征变换
除了离散变量的重编码外，有的时候我们也需要对连续变量进行转化，以提升模型表现或模型训练效率。在之前的内容中我们曾介绍了关于连续变量标准化和归一化的相关内容，对连续变量而言，标准化可以消除量纲影响并且加快梯度下降的迭代效率，而归一化则能够对每条数据进行进行范数单位化处理，我们可以通过下面的内容进行标准化和归一化相关内容回顾。
2024-07-05 09:57:46
1392
31
机器学习中的梯度下降算法
2024-05-28
虚拟机开不了机怎么解决呀
2023-09-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人