- 博客(148)
- 资源 (15)
- 收藏
- 关注
RSS订阅原创 GPT-4o图像生成system card解读
4o图像生成是一种全新的图像生成方式，其能力显著强于我们早期的DALL·E系列模型。它能够生成逼真的图像输出。它可以将图像作为输入并对其进行变换。它能够遵循详细的指令，包括可靠地将文本融入图像中。而且由于它原生嵌入到我们的多模态GPT-4o模型架构的深层，4o图像生成可以利用它所掌握的一切知识，以微妙且富有表现力的方式运用这些能力，生成不仅美观而且实用的图像。4o图像生成受益于我们现有的安全基础设施，以及我们在部署DALL·E和Sora过程中所吸取的经验教训。与此同时，这些新能力也带来了一些新的风险。
2025-03-30 13:54:22
386
原创 jetson orin nano super AI模型部署之路（三）stable diffusion部署
先看一下部署后的界面和生成的图片。在jetson orin nano super上部署stable diffusion比较简单，有现成的docker image和代码可用。
2025-03-29 22:23:17
548
原创 jetson orin nano super AI模型部署之路（二）保姆级最好用AI环境配置
对于产品发布来说，最合适的环境配置方式是使用docker，产品和环境可以一起发布，用户会得到最好的使用体验。jetson orin nano super 的AI docker环境配置有两个难点：（1）CPU是arm架构（2）super要使用jetpack 6.2[L4T 36.4.3]版本，因为版本太新，这个版本很多开源项目还没有发布对应的docker image，大部分的docker image都是基于jetpack 5.x构建的。
2025-03-25 08:42:35
1037
原创 终于在MacBook m3上配置好了stm32的开发环境
手册地址：https://www.st.com/resource/en/user_manual/um2407-stm32h7-nucleo144-boards-mb1364-stmicroelectronics.pdf。
2025-03-17 13:47:18
871
2
原创 cvpr2025知识蒸馏论文Attention Distillation: A Unified Approach to Visual Characteristics Transfer解读
生成式扩散模型的最新进展显示出其对图像风格和语义有着显著的内在理解。在本文中，我们利用预训练扩散网络中的自注意力特征，将参考图像的视觉特征迁移到生成的图像上。与之前将这些特征用作即插即用属性的工作不同，我们提出了一种新颖的注意力蒸馏损失，该损失通过计算理想的风格化结果和当前风格化结果之间的差异得到。基于此，我们在隐空间中通过反向传播来优化合成图像。接下来，我们提出了一种改进的分类器引导方法，将注意力蒸馏损失整合到去噪采样过程中，进一步加快了合成速度，并适用于广泛的图像生成应用。
2025-03-11 08:35:46
764
原创 知识蒸馏综述Knowledge Distillation: A Survey解读
近年来，深度神经网络在工业界和学术界都取得了成功，尤其是在计算机视觉任务方面。深度学习的巨大成功主要归功于它能够扩展以对大规模数据进行编码，并且能够处理数十亿的模型参数。然而，在资源有限的设备（如手机和嵌入式设备）上部署这些复杂的深度模型是一项挑战，这不仅是因为其计算复杂度高，还因为其对存储空间的要求大。为此，已经开发出了各种各样的模型压缩和加速技术。作为模型压缩和加速的一种代表性类型，知识蒸馏有效地从一个大型教师模型中学习到一个小型学生模型。它受到了学术界越来越多的关注。
2025-03-09 20:59:54
719
原创 分布式大语言模型服务引擎vLLM论文解读
大语言模型（LLMs）的高吞吐量服务需要一次对足够多的请求进行批处理。然而，现有系统面临困境，因为每个请求的键值缓存（KV缓存）内存占用巨大，且会动态增长和收缩。若管理效率低下，内存会因碎片化和冗余重复而被大量浪费，从而限制批处理规模。为解决这一问题，我们提出了分页注意力（PagedAttention），这是一种受操作系统中经典虚拟内存和分页技术启发的注意力算法。在此基础上，我们构建了vLLM，这是一个大语言模型服务系统，它实现了：（1）将KV缓存内存浪费降至几乎为零；
2025-02-19 08:49:14
1083
原创 jetson orin nano super AI模型部署之路（一）deepseek r1模型部署
先看一下部署完成后的效果。可以直接在手机上访问jetson，有web界面供使用。也可以直接在电脑上访问。我这个是8GB 128-bit LPDDR5 102GB/s版本，256g硬盘。先看一下基本参数。从算力和价格的比较看，jetson orin nano super 8g版本的性价比还是很高的，在较低的价格上，仍然有67TOPS（INT8）的算力。而且使用的是较新的ampere架构。CPU使用6核 ARM Cortex- A78AE，频率可达1.7GHz。
2025-02-17 22:10:09
1434
原创 苹果ELEGNT台灯AI机器人paper解读
在人类互动中，姿势、手势和眼神等非语言行为对于有意识和无意识地传达内心状态至关重要。为了让机器人与人类更自然地互动，机器人的运动设计同样应在满足任务完成、空间限制和时间效率等传统功能考量的同时，融入诸如意图、注意力和情感等表达性元素。在本文中，我们介绍了一款灯状机器人的设计与原型制作，该机器人探索了运动设计中功能性与表达性目标之间的相互作用。我们采用设计即研究的方法，记录硬件设计过程，定义表达性运动基元，并勾勒出一系列交互场景故事板。
2025-02-15 20:59:29
1116
原创 AI领域紧跟最新研究趋势和内容的相关网站推荐
cv相关顶会有cvpr、iccv、eccv、NeurIPS、iclr、AAAI、siggraph等。Paper Digest：Paper Digest团队会分析各大顶会如cvpr、AAAI、arxiv、iccv等历年发表的所有论文，依据研究论文和授权专利的引用情况，呈现每年最具影响力的论文。（5）高通AI research：高通主要专注于移动 AI、低功耗计算机视觉、神经网络加速、边缘计算（Edge AI） 方面的研究，发表的论文也很多见于 CVPR、ICLR、NeurIPS 等顶会。
2025-02-15 13:27:51
281
原创 AI领域紧跟最新研究趋势和内容的相关网站推荐
cv相关顶会有cvpr、iccv、eccv、NeurIPS、iclr、AAAI、siggraph等。Paper Digest：Paper Digest团队会分析各大顶会如cvpr、AAAI、arxiv、iccv等历年发表的所有论文，依据研究论文和授权专利的引用情况，呈现每年最具影响力的论文。（5）高通AI research：高通主要专注于移动 AI、低功耗计算机视觉、神经网络加速、边缘计算（Edge AI） 方面的研究，发表的论文也很多见于 CVPR、ICLR、NeurIPS 等顶会。
2025-02-08 13:18:11
212
原创 部署夜景增强模型Learning to See in the Dark以及gradio UI编程方法
在SeeInDark网络的最后一层使用了进行分辨率增强（Super-Resolution），这是一个合理且高效的设计选择。相比于转置卷积（ConvTranspose2d）或插值（Interpolation）输入通道数 = (目标通道数 × upscale_factor²)通道信息转换为空间信息，从而提高分辨率。输入：12 通道（C=12）× H × W输出：3 通道（C=3）× 2H × 2W（RGB 三通道图像）12 通道的输入被重新排列为个像素块。
2025-02-07 20:30:46
1112
原创 本地部署DeepSeek方法
本地部署：专注于在本地机器上便捷部署和运行大型语言模型，用户可在自己设备上运行模型，保护数据隐私，无需担心数据发送到云端的安全风险。多系统支持：支持Mac、Linux和Windows等多种操作系统，用户在不同平台上都能方便地安装使用。多模型支持：支持Deepseek-r1、Llama、Falcon、Qwen2、Phi3、Gemma2等多种流行的LLM模型，用户可按需选择，一键运行。易于使用：提供直观的命令行界面，操作简单，上手容易，降低了使用门槛。可扩展性。
2025-02-02 09:53:01
1801
原创 AI-ISP论文Learning to See in the Dark解读
由于光子数量少和信噪比低，低光照成像颇具挑战性。短曝光图像存在噪声问题，而长曝光会导致图像模糊，且往往不切实际。人们已经提出了各种去噪、去模糊和增强技术，但在诸如夜间视频帧率成像等极端条件下，它们的效果有限。为推动基于学习的低光照图像处理流程的发展，我们引入了一个原始短曝光低光照图像数据集，以及相应的长曝光参考图像。利用这个数据集，我们基于全卷积网络的端到端训练，开发了一个处理低光照图像的流程。该网络直接对原始传感器数据进行处理，取代了许多传统的图像处理流程，而传统流程在处理此类数据时往往效果不佳。
2025-02-01 21:39:27
1301
5
原创 超分论文解读：Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional
最近，几个基于深度神经网络的模型在单图像超分辨率的重建精度和计算性能方面都取得了巨大的成功。在这些方法中，低分辨率（LR）输入图像在重建之前使用单个滤波器（通常是双三次插值）放大到高分辨率（HR）空间。这意味着超分辨率（SR）操作是在HR空间中执行的。我们证明这是次优的，并增加了计算复杂度。在本文中，我们提出了第一个能够在单个K2GPU上实时SR1080p视频的卷积神经网络（CNN）。为了实现这一点，我们提出了一种新颖的CNN架构，其中特征图是在LR空间中提取的。
2025-01-19 16:36:48
1098
原创 ViT开山之作解读：An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale
虽然Transformer架构已成为自然语言处理任务的实际标准，但其在计算机视觉领域的应用仍然有限。在视觉领域，注意力机制要么与卷积网络结合使用，要么用来替换卷积网络的某些组件，同时保持其整体结构不变。我们展示了这种对CNN的依赖是不必要的，直接应用于图像块序列的纯Transformer可以在图像分类任务上表现非常出色。
2025-01-19 16:25:45
1416
原创 使用pytorch从头实现一个vit
我们实现的目标是做imageclassification，使用MINIST数据集。首先把必要的库导入进来。然后创建一个主函数，该函数准备MNIST数据集，实例化一个模型，并训练5个epoch。之后，在测试集上测量损失和准确率。11.2f.2f100.2f现在我们有了这个模板，从现在开始，我们可以只关注模型（ViT），它将对形状为(Nx1x28x28)的图像进行分类。让我们先定义一个空的nn.Module。然后我们将逐步填充这个类。
2025-01-19 10:42:10
1213
原创 hdrnet,Deep Bilateral Learning for Real-Time Image Enhancement解读
这是一个复杂的摄影管道，包括色彩校正、自动曝光、去雾和色调映射等操作。:这个数据集由Bychkovsky等人提供，包含了500张用于验证和测试的图像，其余4500张用于训练。数据集中的图像被用来应用各种效果，并且通过随机裁剪、翻转和旋转进行数据增强。:这个数据集包含了标记的面部图像，用于面部明亮化任务。:这个数据集是通过将MIT“FiveK”数据集中的每个图像映射到100个不同的图像（风格目标）来生成的。
2025-01-19 10:38:59
1321
原创 CREStereo, Practical Stereo Matching via Cascaded Recurrent Network with Adaptive Correlation解读
随着卷积神经网络的出现，立体匹配算法近期取得了巨大进展。然而，由于诸如精细结构、非理想校正、相机模组不一致以及各种复杂难处理场景等实际复杂因素的存在，要从智能手机等消费级设备拍摄的真实世界图像对中准确提取视差仍然是一项巨大挑战。在本文中，我们提出了一系列创新设计来解决实用立体匹配问题：1）为了更好地恢复精细的深度细节，我们设计了一个带有递归细化的分层网络，以由粗到细的方式更新视差，同时还设计了一个堆叠式级联架构用于推理；2）我们提出了一个自适应组相关层，以减轻错误校正带来的影响；
2025-01-19 10:35:41
572
原创 HRNet，Deep High-Resolution Representation Learning for Visual Recognition解读
在本文中，我们提出了一种用于视觉识别问题的高分辨率网络。它与现有的低分辨率分类网络和高分辨率表征学习网络存在三个根本差异：（i）并行连接高分辨率和低分辨率卷积，而非串联；（ii）在整个过程中维持高分辨率，而非从低分辨率恢复高分辨率；（iii）反复融合多分辨率表征，从而生成具有强位置敏感性的丰富的高分辨率表征。在众多视觉识别问题上取得的优异结果表明，我们所提出的高分辨率网络（HRNet）是解决计算机视觉问题的一种更强大的骨干网络。
2025-01-19 10:30:53
961
原创 LSQ+: Improving low-bit quantization through learnable offsets and better initializationn解读
与ReLU不同，在流行的高效架构中经常使用的较新的激活函数（如Swish、H-swish、Mish）也可能产生负激活值，其正负取值范围是不对称的。典型的可学习量化方案[5,7]对激活值采用无符号量化，并将所有负激活值量化为零，这会导致性能的重大损失。简单地使用有符号量化来容纳这些负激活值需要额外的符号位，对于低位（2位、3位、4位）量化来说成本很高。
2025-01-19 10:27:25
582
原创 Swin Transformer: Hierarchical Vision Transformer using Shifted Windows解读
本文提出了一种新的视觉Transformer，名为SwinTransformer，它能够作为计算机视觉的通用骨干网络。将Transformer从语言领域适配到视觉领域面临诸多挑战，这些挑战源于两个领域之间的差异，例如与文本中的单词相比，视觉实体的尺度变化很大，且图像中的像素分辨率很高。为了解决这些差异，我们提出了一种分层Transformer，其表征是通过移位窗口来计算的。移位窗口方案通过将自注意力计算限制在非重叠的局部窗口内，提高了效率，同时也允许跨窗口连接。
2025-01-19 10:24:49
924
原创 raw域去噪论文Mobile Aware Denoiser Network (MADNet) for Quad Bayer Images解读
像素合并是近来日益流行的一个术语。它是利用高像素密度的相机传感器，在遇到低光照水平时将像素组合在一起，而在强光场景下，像素则不进行组合。其中一种像素排列方式是四拜耳（QuadBayer）或四像素（Tetra）结构。从历史上看，人们在对拜耳图像进行去马赛克和去噪方面投入了大量精力，但由于四拜耳传感器是近期才出现的，对其关注较为有限。针对四拜耳图像训练深度学习网络时面临的一个独特挑战是如何对这类数据（空间排列与深度排列）进行编码。
2025-01-19 10:18:45
793
原创 Restormer: Efficient Transformer for High-Resolution Image Restoration解读
由于卷积神经网络（CNN）在从大规模数据中学习可推广的图像先验方面表现出色，这些模型已被广泛应用于图像复原及相关任务。近年来，另一类神经架构——Transformer，在自然语言和高级视觉任务上取得了显著的性能提升。虽然Transformer模型缓解了CNN的缺点（即感受野有限和对输入内容的不适应性），但其计算复杂度随空间分辨率呈二次方增长，因此无法应用于大多数涉及高分辨率图像的图像复原任务。
2025-01-19 10:15:23
1153
原创 Restormer模型代码解析
上一篇我们对Restormer的论文进行了解析。这篇对Restormer的代码进行解析。论文地址：Restormer:EfficientTransformerforHigh-ResolutionImageRestoration。代码地址：Restormer以Deraining项目中的test.py文件为切入点，来分析其model。test.py进行了修改，适配Mac的mpsbackend。我们运行，首先看一下传入Restormer类进行实例化的参数。打印一下model看。基本结构还是一个
2025-01-19 10:03:21
730
原创 swin transformer中相对位置编码解析
这个定义了relative_position_bias_table,对应上图示中的relative_position_bias_table。这个值的初始化值为shape为[169,4]的全0值。169是(2*window_size[0]-1)*(2*window_size[1]-1),也就是(27-1)然后将其初始化为一个服从截断正态分布的随机值，标准差为0.02。截断正态分布的范围通常限制在均值两侧一定范围内，避免生成过大或过小的值。
2025-01-19 09:58:29
1006
原创 mac配置stable diffusion以及模型出图优化
名称文件类型功能特点使用场景Checkpoint.ckpt基础或微调模型权重，控制整体风格和质量通用生成Embedding.pt.bin增强Prompt表达能力，加入特定风格或主题特定风格或角色生成LoRA轻量级微调模型，快速加载附加风格或任务灵活适配多种风格Dora模型扩展模块类似LoRA的插件，具体功能依工具而异小范围功能扩展ControlNet.ckpt增加对生成图像结构的控制精确生成结构化图像VAE.ckpt提升解码质量，增强图像细节高质量输出。
2025-01-19 09:50:48
1087
原创 量化技术Post-Training Quantization for Re-parameterization via Coarse & Fine Weight Splitting解读
尽管神经网络在各类应用中取得了显著进展，但它们需要大量的计算和内存资源。网络量化是一种强大的神经网络压缩技术，能够实现更高效、可扩展的人工智能部署。最近，重参数化作为一种有前景的技术崭露头角，它可以在提升模型性能的同时减轻各类计算机视觉任务中的计算负担。然而，在重参数化网络上应用量化时，准确率会显著下降。我们发现，主要挑战源于原始分支间权重分布的巨大差异。为解决这一问题，我们提出一种粗-细权重拆分（CFWS）方法以降低权重的量化误差，并开发一种改进的KL度量来确定激活的最优量化尺度。
2025-01-18 22:30:02
899
原创 超分论文ESPCN解读
最近，几个基于深度神经网络的模型在单图像超分辨率的重建精度和计算性能方面都取得了巨大的成功。在这些方法中，低分辨率（LR）输入图像在重建之前使用单个滤波器（通常是双三次插值）放大到高分辨率（HR）空间。这意味着超分辨率（SR）操作是在HR空间中执行的。我们证明这是次优的，并增加了计算复杂度。在本文中，我们提出了第一个能够在单个K2 GPU上实时SR 1080p视频的卷积神经网络（CNN）。为了实现这一点，我们提出了一种新颖的CNN架构，其中特征图是在LR空间中提取的。
2024-09-12 22:26:01
1482
原创 python并发与并行（十二） ———— 考虑用concurrent.futures实现真正的并行计算
Python里面针对C扩展而设计的那些API，有详细的文档可以参考，所以这是个很好的备选方案。所谓数据利用度较高（high-leverage），这里指任务所使用的原始材料以及最终所给出的结果数据量都很小，因此上级进程与子进程之间只需要互传很少的信息就行，然而在把原始材料加工成最终产品的过程中，却需要做大量运算。问题是，在大多数情况下，我们不能只把整个程序里的一小段代码移植到C语言，因为程序的性能之所以缓慢，通常是由多个因素造成的，而不是说只要消除了其中某一个主要因素，整个程序的性能就会大幅提升。
2024-08-28 22:22:20
980
原创 python并发与并行（十一） ———— 让asyncio的事件循环保持畅通，以便进一步提升程序的响应能力
前一篇blog说明了怎样把采用线程所实现的项目逐步迁移到asyncio方案上面。迁移后的run_tasks协程，可以将多份输入文件通过tail_async协程正确地合并成一份输出文件。但这样写有个大问题，就是针对输出文件所做的open、close以及write操作，全都要放在主线程中执行，而这些操作又需要在程序所处的操作系统执行系统调用，这些调用可能会让事件循环阻塞很长一段时间，导致其他协程没办法推进。这会降低程序的总体响应能力，而且会增加延迟，对于高并发服务器来说，这个问题尤其严重。
2024-08-28 22:21:43
1280
原创 python并发与并行（十） ———— 结合线程与协程，将代码顺利迁移到asyncio
但是，那个函数的任务本身就是执行许多项阻塞式的文件I/O操作，所以好像没必要移植，因为我们在判断是否需要移植时，应该考虑到，这样做会不会让代码变得难懂，会不会降低程序的效率。asyncio模块的事件循环提供了一个返回awaitable对象的run_in_executor方法，它能够使协程把同步函数放在线程池执行器（ThreadPoolExecutor）里面执行，让我们可以顺利地将采用线程方案所实现的项目，从上至下地迁移到asyncio方案。反过来说，这条线程要是退出了，那就意味着有人把那份文件的句柄关了。
2024-08-28 22:21:09
693
原创 python并发与并行（九） ———— 用asyncio改写通过线程实现的IO
知道了协程的好处之后，我们可能就想把现有项目之中的代码全都改用协程来写，于是有人就担心，这样修改起来，工作量会不会比较大呢？所幸Python已经将异步执行功能很好地集成到语言里面了，所以我们很容易就能把采用线程实现的阻塞式I/O操作转化为采用协程实现的异步I/O操作。在这里我们要补充下线程和协程的区别，以及他们在执行阻塞式IO和异步IO上的区别。在计算机编程中，I/O（输入/输出）操作通常涉及等待外部事件完成，如磁盘读写、网络通信等。
2024-08-28 22:20:36
383
原创 python并发与并行（八） ———— 用协程实现高并发的I/O
协程与线程的区别在于，它不会把这个函数从头到尾执行完，而是每遇到一个await表达式，就暂停一次，下次继续执行的时候，它会先等待await所针对的那项awaitable操作有了结果（那项操作是用async函数表示的），然后再推进到下一个await表达式那里（这跟生成器函数的运作方式有点像，那种函数也是一遇到yield就暂停）。这种强大的机制是通过事件循环（event loop）打造的，只要把相关的函数写对，这种循环就可以穿插着执行许多个这样的函数，并且执行得相当快，从而高效地完成并发式的I/O任务。
2024-08-28 22:20:03
1191
原创 python并发与并行（七） ———— 如果必须用线程做并发，那就考虑通过ThreadPoolExecutor实现
这次在把游戏推进到下一代的时候，我们不针对每个单元格启动新的Thread实例，而是把推进每个单元格状态的那个函数与必要的参数提交给ThreadPoolExecutor，让执行器自己安排线程去执行这些状态更新任务，这样就实现了fan-out（分派）。另外，线程池里的最大线程数可以通过max_workers参数手工指定，这样能把线程数量限制在一定范围内，而不像最早的那个方案那样，每执行一项I/O操作，就启动一条线程，那样会导致内存用量激增。我们把之前的代码拿过来进行更改。比之前的结果都要离谱。
2024-08-28 22:19:25
506
原创 python并发与并行（六） ———— 正确的重构代码，以便用Queue做并发
在前面“python并发与并行（五.2） ———— 不要在每次fan-out时都新建一批Thread实例”里面，大家看到，每次都手工创建一批线程并平行地执行I/O任务是有很多缺点的。 这一条要介绍另一种方案，也就是用内置的queue模块里的Queue类实现多线程管道。Queue方案的总思路是：在推进游戏时，不像原来那样，每推进一代，就新建一批线程来推进相应的单元格，而是可以提前创建数量固定的一组工作线程，令这组线程平行地处理当前这批I/O任务，并在处理完之后，继续等待下一批任务，这样就不会消耗那么多资源了，
2024-08-28 22:19:01
933
原创 python并发与并行（五.2） ———— 不要在每次fan-out时都新建一批Thread实例
这会让多线程版本的代码理解起来比较困难，因为早前的单线程版是按照先后顺序实现的，不需要有专门的协调机制，所以读起来比现在的版本好懂。第二，线程占用的内存比较多，每条线程大约占8MB。第三，线程的开销比较大。每次都手工创建一批线程，是有很多缺点的，例如：创建并运行大量线程时的开销比较大，每条线程的内存占用量比较多，而且还必须采用Lock等机制来协调这些线程。每次都手工创建一批线程，是有很多缺点的，例如：创建并运行大量线程时的开销比较大，每条线程的内存占用量比较多，而且还必须采用Lock等机制来协调这些线程。
2024-08-28 22:17:33
965
原创 python并发与并行（五.1） ———— 不要在每次fan-out时都新建一批Thread实例
这个程序，在单机单线程的环境下，是没有问题的。get指的是当前这代网格（grid）之中的get方法，而set指的则是下一代网格（next_grid）的set方法，只有这样，才能让每一个单元格都按照现在的情况分别演化到下一轮，而不会让先演化的单元格影响其他单元格的迁移结果，这对于游戏正常运行是很重要的。与game_logic`，这个函数负责根据坐标查出单元格当前的状态，然后统计周边总共有多少个存活的单元格，接下来根据当前状态与存活的邻居数量判断本单元格在下一轮的状态，最后，更新单元格的状态。
2024-08-28 22:16:27
636
cudart64_100.zip
2020-01-08
Deep Learning and Robotics(pieter abbeel).zip
2020-01-05
Hybrid PositionForce Control of Manipulators.zip
2020-01-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人