- 博客(54)
- 收藏
- 关注
RSS订阅原创 acrobat 打不开office
acrobat支持的文件类型没有doc,docx，主要原因是注册表被修改了，重新安装一遍office即可或自己修改注册表。有wps的把wps卸载了，wps会改注册表。
2025-03-05 12:37:48
160
原创 浦语提示词工程实践
CO-STAR，参考：https://aiadvisoryboards.wordpress.com/2024/01/30/co-star-framework/CRISPE，参考：https://github.com/mattnigh/ChatGPT3-Free-Prompt-List。
2024-08-09 15:25:11
441
原创 昇思第24天
扩散模型（Diffusion Models）笔记1. 概述定义：扩散模型是一种生成模型，通过逐步去噪的方式生成数据。应用：在无条件和有条件的图像、音频、视频生成领域取得了显著成果。2. 背景与历史起源：最初在2015年提出（Sohl-Dickstein et al.）。改进：2019年和2020年，斯坦福大学和Google Brain分别对方法进行了改进。3. 主要模型和成果OpenAI：GLIDE和DALL-E 2海德堡大学：潜在扩散模型Google Brain：图像生成模型
2024-07-19 23:59:21
148
原创 昇思23天
prompt = '你好'prompt：这是给模型的输入提示，这里是一个简单的中文问候语 “你好”。history：这是一个空列表，用来存储对话的历史记录。在对话系统中，历史记录用于保持对话的上下文。
2024-07-18 20:08:34
419
原创 昇思22天
模型简介: CycleGAN 来自于论文 Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks。该模型允许在没有配对示例的情况下将图像从一个域转换到另一个域，与 Pix2Pix 不同，Pix2Pix 需要成对的训练数据。模型结构: CycleGAN 由两个对称的 GAN 网络组成，通过生成器和判别器的相互作用实现图像风格的转换。生成器将苹果图像转换为橘子图像，而判别器判断图像的真实性。
2024-07-18 00:44:23
483
原创 昇思21天
读取数据集时指定训练集和测试集，首先对整个数据集进行归一化，修改图像频道等预处理操作。MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络，相比于传统的卷积神经网络，MobileNet网络使用深度可分离卷积（Depthwise Separable Convolution）的思想在准确率小幅度降低的前提下，大大减小了模型参数与运算量。随着训练步数的增加，模型逐渐趋于收敛，对权重参数的更新幅度应该逐渐降低，以减小模型训练后期的抖动。
2024-07-16 23:04:11
426
原创 昇思20天
K近邻算法（K-Nearest-Neighbor, KNN）是一种用于分类和回归的非参数统计方法，最初由 Cover和Hart于1968年提出(Cover等人,1967)，是机器学习最基础的算法之一。它正是基于以上思想：要确定一个样本的类别，可以计算它与所有训练样本的距离，然后找出和该样本最接近的k个样本，统计出这些样本的类别并进行投票，票数最多的那个类就是分类的结果。（1）在训练样本集中找出距离待测样本x_test最近的k个样本，并保存至集合N中；：找出k个最近的样本，通过多数表决确定类别。
2024-07-15 21:14:48
622
原创 昇思第19天
总体而言，BERT不仅因其深入挖掘文本双向上下文信息的能力而被广泛使用，还因其在多种复杂NLP任务中展示的卓越性能而受到推崇。在对话情绪识别这一具体应用中，BERT能够有效地从复杂的对话数据中识别并分类人类情绪，提供深度的情绪分析工具。
2024-07-14 22:31:43
257
原创 昇思18天
文本解码原理——以MindNLP为例自回归语言模型概述：通过前文预测下一个单词，生成整个文本序列。公式：一个文本序列的概率可以分解为每个词基于其上文的条件概率的乘积。Greedy Search（贪心搜索）定义：在每个时间步选择概率最高的词作为当前输出词。缺点：可能错过隐藏在低概率词后面的高概率词。Beam Search（束搜索）定义：保留多个（𝑘个）最有可能的部分序列，并在每一步扩展这些序列。优点：能够找到比贪心搜索更优的序列。复杂度：计算成本较高。Sampling（采样）定义：基
2024-07-13 21:59:44
109
原创 昇思17天
使用Vision Transformer (ViT)模型进行图像分类任务。ViT模型结构：将输入图像切分为固定大小的patches，并通过线性变换映射到高维空间。：为每个输入图像添加一个特殊的分类标记。位置嵌入 (Positional Embedding)：加入位置信息，以保持输入图像的空间结构。：由多层Multi-Head Attention和Feed Forward Neural Network组成，进行特征提取和信息融合。分类头 (Classification Head)
2024-07-12 22:14:16
268
原创 昇思第16天
SSD (Single Shot MultiBox Detector) 是 Wei Liu 在 ECCV 2016 上提出的一种目标检测算法。使用 Nvidia Titan X 在 VOC 2007 测试集上，SSD 对于输入尺寸 300x300 的网络，达到 74.3% mAP 和 59 FPS；对于 512x512 的网络，达到 76.9% mAP，超越当时最强的 Faster RCNN (73.2% mAP)。Two-stage 方法。
2024-07-11 23:32:23
299
原创 昇思14天
ResNet50是一种用于图像分类的深度卷积神经网络。图像分类是计算机视觉的基本应用，属于有监督学习范畴。ResNet50通过引入残差结构，解决了深层网络中的退化问题，使得可以训练非常深的网络。
2024-07-09 23:23:17
210
原创 昇思13天
在实际应用场景中，由于训练数据集不足，很少有人会从头开始训练整个网络。普遍做法是使用在大数据集上预训练得到的模型，然后将该模型的权重参数用于特定任务中。本章使用迁移学习方法对ImageNet数据集中的狼和狗图像进行分类。
2024-07-08 23:02:52
434
原创 昇思12天
FCN的创新点：引入全卷积层，实现了端到端的图像分割。技术优势：可以接受任意大小的输入图像，提高了计算效率。应用广泛：在多个AI领域，如自动驾驶、医学影像等方面有重要应用。不足之处：精细度有待提高，需进一步考虑像素间关系和空间一致性。
2024-07-07 22:02:04
327
原创 昇思11天
（Bidirectional Encoder Representations from Transformers）是由Google于2018年开发并发布的一种新型语言模型。BERT在许多自然语言处理（NLP）任务中发挥着重要作用，例如问答、命名实体识别、自然语言推理和文本分类。BERT基于Transformer中的Encoder，并采用了双向的结构，因此掌握Transformer的Encoder结构是理解BERT的基础。
2024-07-07 01:58:30
287
原创 昇思第10天
通过加载器加载的IMDB数据集进行了分词处理，但不满足构造训练数据的需要，因此要对其进行额外的预处理。最后将RNN连接至一个全连接层，即nn.Dense，将特征转化为与分类数量相同的size.2.加载预训练词向量:预训练词向量是对输入单词的数值化表示，通过nn.Embedding层，采用查表的方式，输入单词对应词表中的index，获得对应的表达向量。5.预测Positive或Negative的二分类问题，选择nn.BCEWithLogitsLoss(二分类交叉熵损失函数)。1.加载IMDB数据集。
2024-07-06 00:57:48
332
原创 昇思第9天
序列标注：对序列进行标注，实际上是对序列中每个Token进行标签预测，可以直接视作简单的多分类问题。但是序列标注不仅仅需要对单个Token进行分类预测，同时相邻Token直接有关联关系，需要引入一种能够学习到此种关联关系的算法来保证预测结果的正确性。
2024-07-04 23:37:41
223
原创 昇思第8天
保存模型使用save_checkpoint接口，传入网络和指定的保存路径要加载模型权重，需要先创建相同模型的实例，然后使用load_checkpoint和load_param_into_net方法加载参数。
2024-07-03 16:49:35
282
原创 昇思第6天
神经网络的训练主要使用反向传播算法，模型预测值（logits）与正确标签（label）送入损失函数（loss function）获得loss，然后进行反向传播计算，求得梯度（gradients），最终更新至模型参数（parameters）。自动微分能够计算可导函数在某点处的导数值，是反向传播算法的一般化。自动微分主要解决的问题是将一个复杂的数学运算分解为一系列简单的基本运算，该功能对用户屏蔽了大量的求导细节和过程，大大降低了框架的使用门槛。
2024-07-01 21:59:37
471
原创 昇思第5天
当我们定义神经网络时，可以继承nn.Cell类，在__init__方法中进行子Cell的实例化和状态管理，在construct方法中实现Tensor操作。Network 类继承自 nn.Cell，这是 MindSpore 框架中的基类，类似于 PyTorch 的 nn.Module。
2024-06-30 15:55:31
344
原创 昇思第4天
通常情况下，直接加载的原始数据并不能直接送入神经网络进行训练，此时我们需要对其进行数据预处理。MindSpore提供不同种类的数据变换（Transforms），配合数据处理Pipeline来实现数据预处理。所有的Transforms均可通过map方法传入，实现对指定数据列的处理。
2024-06-29 20:53:02
446
1
原创 昇思第3天
可随机访问数据集是实现了__getitem__和__len__方法的数据集，表示可以通过索引/键直接访问对应位置的数据样本。可迭代的数据集是实现了__iter__和__next__方法的数据集，表示可以通过迭代的方式逐步获取数据样本。这种类型的数据集特别适用于随机访问成本太高或者不可行的情况。生成器生成器也属于可迭代的数据集类型，其直接依赖Python的生成器类型generator返回数据，直至生成器抛出StopIteration异常。
2024-06-28 21:00:49
128
原创 昇思第2天
张量（Tensor）是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在n维空间内，有nr个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。r称为该张量的秩或阶（与矩阵的秩和阶均无关系）。张量是一种特殊的数据结构，与数组和矩阵非常相似。张量（）是MindSpore网络运算中的基本数据结构init。
2024-06-27 23:29:14
320
原创 昇思第1天
正向计算：模型预测结果（logits），并与正确标签（label）求预测损失（loss）。反向传播：利用自动微分机制，自动求模型参数（parameters）对于loss的梯度（gradients）。参数优化：将梯度更新到参数上。
2024-06-26 21:23:51
972
原创 OpenCompass 大模型评测实战
partitioners对数据、模型进行切片划分成单个任务tasks,每个task在runners进行执行，具体执行的逻辑体现在openicl，最后在summarlzers进行总结评分。客观评测：针对具有标准答案的客观问题，通过使用定量指标比较模型的输出与标准答案的差异，并根据结果衡量模型的性能。主观评测（人类评价价/模型评测）：借助受试者的主观判断对具有对话能力的大语言模型进行能力评测。
2024-04-22 23:18:25
278
原创 Lagent & AgentLego 智能体应用搭建
要先把internlm2_weather_web_demo.py复制到自己的agent路径下.在运行。
2024-04-20 19:15:35
575
原创 XTuner 微调 LLM：1.8B、多模态、Agent
这类似于之前提到的lora微调方案，两者都是在已有的大语言模型基础上，用新数据训练出一个新的小型模型。而Finetune阶段则是在显卡中使用高质量图像加复杂对话文本的数据对模型进行进一步训练，类似于指令微调，最终得到具有视觉识别能力的模型。增量预训练的使用场景是在已有基础模型上，增加新的领域知识训练数据，如文章、书籍或代码等，无需问答对标注。训练阶段，利用文本问答数据和图像向量作为输入，输出文本回答，从而训练出一个能够处理图像的模型（image projector）。需要先进入仓库，才能标记大文件。
2024-04-20 15:55:46
963
原创 LMDeploy 量化部署 LLM-VLM 实践
LMDeploy 由MMDeploy和MMRazor团队联合开发,是涵盖了 LLM任务的全套轻量化、部署和服务解决方案。核心功能包括高效推理、可靠量化、便捷服务和有状态推理。· 高效的推理:LMDeploy开发了Continuous Batch,Blocked K/V Cache,动态拆分和融合,张量并行,高效的计算kernel等重要特性。InternLM2推理性能是vLLM的1.8倍。· 可靠的量化:LMDeploy支持权重量化和k/v量化。4bit模型推理效率是FP16下的2.4倍。
2024-04-16 23:23:05
999
原创 茴香豆：搭建你的 RAG 智能助理
检索增强生成（Retrieval-Augmented Generation, RAG）是一种旨在通过在推理过程中使语言模型能够访问和利用外部知识源来提升其能力的方法。微调(fine-tuning)通过对特定领域数据集进行广泛的训练来调整整个模型。RAG 索引+检索+生成向量数据库：文本化向量、相似度检索NavieRag基础的三个步骤AdvancedRag在用户问句进行路由扩展、检索到的信息进行重排序等。ModularRag:模块化Rag基础功能和各种优化。
2024-04-14 00:54:05
478
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人