- 博客(16)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 DEEPSEEK技术要点
DeepSeek-R1-Zero 是一个完全通过强化学习训练的模型，没有使用监督学习作为预训练步骤。以往的研究工作大多依赖于大量的监督数据来提升模型性能。在本研究中展示了即使不依赖监督微调（SFT）作为预训练步骤，通过大规模强化学习（RL）也能显著提升推理能力。此外，我们还展示了通过引入可以进一步提升性能。在接下来的章节中，将按顺序介绍：（1）DeepSeek-R1-Zero，它直接在基础模型上应用 RL，不依赖任何监督微调数据；
2025-02-08 16:36:35
990
原创 视频风格化技术原理及现状
在整个调研过程中，相关论文中各方案的对比都是比较欠缺的，反映一个基本事实，客观评估生成效果是困难的，现有的评估方法主要是如Frechet视频距离和Inception Score（IS），主要强调生成的视频和真实视频分布之间的差异，难以准确反映视频生成的综合质量。的提出激发了更多的工作。传统的扩散模型（Diffusion Model）的训练过程是通过多个步骤逐渐向图片增加噪点，直到图片变成完全无结构的噪点图片，然后在生成图片的时候，基于一张完全噪点的图片，逐步减少噪点，直到还原出一张清晰的图片。
2024-07-29 15:13:07
2171
1
原创 LLM与通用智能体的思考与归纳
时间范围，大致在深度学习引入NLP领域（2013年左右），到GPT 3.0出现之前（2020年5月左右）。NLP领域的深度学习，主要依托于以下几项关键技术：以大量的改进LSTM模型及少量的改进CNN模型作为典型的特征抽取器；以Sequence to Sequence（或叫encoder-decoder亦可）+Attention作为各种具体任务典型的总体技术框架。在这些核心技术加持下，NLP领域深度学习的主要研究目标，是如何有效增加。
2023-11-07 15:27:51
213
原创 信息熵概念理解及ML相关应用
对于一个随机变量X，其信息熵可以表示为：为什么是这样，信息熵代表了什么含义？含义：熵代表信息（事件）的不确定度，代表确定知道一个事件发生需要消耗的能量。或者可以理解为：熵是服从某一特定概率分布事件的理论最小平均编码长度。涉及到编码相关概念，不能不提一下huffman编码，这里不重点讲，具体逻辑就是出现概率多的字符采用最短的编码方式。不确定度和事件发生的概率有明显的逻辑关系：概率越大，不确定度（熵）越小；概率越小，不确定度（熵）越大。即，不确定度函数f是概率p的。
2023-08-24 16:26:35
522
原创 VILA: Learning Image Aesthetics from User Commentswith Vision-Language Pretraining阅读笔记
解决的问题：现有的图像美学评估（IAA）方法主要依赖于人类标记的评分，这过于简化了人类感知的视觉美学信息。相反，用户评论提供了更全面的信息，是表达人类对图像美学的意见和偏好的更自然的方式。有鉴于此，我们建议从用户评论中学习图像美学，并探索视觉语言预训练方法来学习多模态美学表征。具体做法：具体而言，我们使用图像注释对预训练图像-文本编码器-解码器模型，使用对比和生成目标来学习没有人类标签的丰富和通用的美学语义。为了有效地将预训练的模型用于下游IAA任务，我们进一步提出了一种轻量级的基于排名的适配器
2023-07-04 15:09:42
618
1
原创 BLIP2阅读笔记
1）解决现有方案的问题：大规模模型的端到端训练，视觉和语言预训练的成本变得越来越高。2）怎么做的：从现成的冻结预训练图像编码器和冻结大型语言模型中引导视觉语言预训练。BLIP-2通过轻量级的查询转换器弥补了模态缺口，该转换器分两个阶段进行预训练。第一阶段从冻结图像编码器中引导视觉语言表示学习。第二阶段从冻结的语言模型中引导视觉到语言生成性学习。3）效果：BLIP-2在各种视觉语言任务上实现了最先进的性能，尽管其可训练参数比现有方法少得多。
2023-07-03 11:49:53
434
原创 小模型的手部目标检测训练和部署
利用目标检测算法实现手部检测的四种方法实操指南及相关代码，包含调用MideaPipe，使用yolo v3相关代码资源，使用yolo_fastestV2，使用TensorFlow API。
2022-07-19 17:01:38
4501
3
原创 libsvm实验：实现一个多分类任务
用到一个数据集stanford40，共有40类图像，每类约200个，数量不定。在确定数据集后，将数据集分为测试集和训练集两部分。 第一步，提取图像特征。用caffe的模型进行提取。最开始考虑提取特征的时候，搜索了很多网上的方法，各种让你建立文件名文件以及train_caffenet等等，我试了很久，各种各样的报错，于是开始用caffe中的model提取特征就好。代码如下：import......
2018-07-07 22:10:09
4057
1
c++实验代码
2016-10-22
猜丁壳c源码动规
2016-05-27
猜丁壳c源码
2016-05-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人