ShowMeAI日报系列全新升级！覆盖AI人工智能 工具&框架 | 项目&代码 | 博文&分享 | 数据&资源 | 研究&论文 等方向。点击查看 历史文章列表，在公众号内订阅话题 #ShowMeAI资讯日报，可接收每日最新推送。点击 专题合辑&电子月刊 快速浏览各专题全集。点击 这里 回复关键字 日报 免费获取AI电子月刊与资料包。
工具&框架
🚧 『LeetCode Curation Topical』技术面试准备清单
https://github.com/fterh/leetcode-curation-topical
针对面试过程中容易被问到的数据结构 LeetCode 题进行归类整理：Arrays/Strings、Linked Lists/Deques、Trees、Graphs、Recursion/Backtracking、Dynamic Programming、Design & Implementation、Greedy 等。
🚧 『Blender x NeRF』基于最新 NeRF 的 Blender 扩展，用于合成新视角
https://github.com/maximeraafat/BlenderNeRF
Blender x NeRF 是一个 Blender 插件，使用人工智能技术来合成新视角的图像。构建的数据集可以直接用于训练和测试神经辐射场（NeRF）模型。下方左图使用了 Eevee 渲染器进行传统渲染，右图是 NeRF 合成的图像。
🚧 『CnosDB』以高性能、高压缩比、高可用性为目标开源分布式时序数据库
https://github.com/cnosdb/cnosdb
CnosDB 依托于 Rust、Apache Arrow 与 DataFusion 进行构建，用以满足存算分离、有损压缩、查询引擎矢量化、聚合查询、多租设计、生态兼容等存储、查询、生态三方面的功能。开发者在B站发布了工具使用视频，指路 BV1Mq4y187Ph，感兴趣的可以看一下！
🚧 『flashlight』快速、灵活的C++机器学习库
https://github.com/flashlight/flashlight
Flashlight 是一个快速、灵活的机器学习库，由 Facebook AI 语音团队及Torch、Deep Speech 的创作者完全使用 C++ 编写。其核心功能包括内部可修改、占用空间小、默认功能高性能、效率和规模。
🚧 『Bing Wallpaper』必应每日超清壁纸（4K）
https://github.com/niumoo/bing-wallpaper
博文&分享
👍 『机器学习』核心概念的可视化解释
https://mlu-explain.github.io/
MLU（ Machine Learning University，机器学习大学）是亚马逊的一项教育计划，旨在教授机器学习理论和实际应用。MLU-Explain 作为计划的一部分，通过可视化这种信息丰富且有趣的方式，讲解了机器学习的重要概念。交互页面的设计非常酷！
👍 104个『Python 数据科学实战』项目
https://python.plainenglish.io/85-data-science-projects-c03c8750599e
作者整理了 104 个数据科学实战项目，对于初学者提升概念理解、操作技能等都非常有帮助！
数据&资源
🔥 『Deep Learning Dynamics』深度学习动力学(神经网络优化动力学)相关文献列表
https://github.com/zeke-xie/deep-learning-dynamics-paper-list
研究&论文
可以点击 这里 回复关键字日报，免费获取整理好的论文合辑。
科研论文
- 200.07.14 『自然语言处理』 Language Modelling with Pixels
- 200.07.14 『计算机视觉』 Bootstrapped Masked Autoencoders for Vision BERT Pretraining
- 200.02.02 『深度学习』 Accelerated Quality-Diversity for Robotics through Massive Parallelism
- 200.07.14 『计算机视觉』 ObjectBox: From Centers to Boxes for Anchor-Free Object Detection
⚡ 论文：Language Modelling with Pixels
论文时间：14 Jul 2022
所属领域：自然语言处理
对应任务：Language Modelling，语言模型
论文地址：https://arxiv.org/abs/2207.06991
代码实现：https://github.com/xplip/pixel
论文作者：Phillip Rust, Jonas F. Lotz, Emanuele Bugliarello, Elizabeth Salesky, Miryam de Lhoneux, Desmond Elliott
论文简介：Language models are defined over a finite set of inputs, which creates a vocabulary bottleneck when we attempt to scale the number of supported languages./语言模型是在一个有限的输入集合上定义的，当我们试图扩大支持的语言数量时，这就造成了词汇瓶颈。
论文摘要：语言模型是在一个有限的输入集合上定义的，当我们试图扩大支持的语言数量时，这就造成了一个词汇瓶颈。解决这个瓶颈的结果是在嵌入矩阵中可以表示的内容和输出层的计算问题之间进行权衡。本文介绍了PIXEL，即基于像素的语言编码器，它不存在这些问题。PIXEL是一个预先训练好的语言模型，它将文本渲染成图像，使得基于正字法相似性或像素的共同激活而在不同语言间转移表示成为可能。PIXEL的训练是为了重建掩码patches的像素，而不是预测一个关于标点的分布。我们在与BERT相同的英语数据上对86M参数的PIXEL模型进行预训练，并对不同类型的语言（包括各种非拉丁文字）的句法和语义任务进行评估。我们发现，在预训练数据中没有的文字上，PIXEL在句法和语义处理任务上大大超过了BERT，但在处理拉丁文字时，PIXEL的表现略弱于BERT。此外，我们发现PIXEL比BERT对嘈杂的文本输入更加稳健，这进一步证实了用像素建模语言的好处。
⚡ 论文：Bootstrapped Masked Autoencoders for Vision BERT Pretraining
论文时间：14 Jul 2022
所属领域：计算机视觉
对应任务：object-detection，Object Detection，Semantic Segmentation，目标检测，语义分割
论文地址：https://arxiv.org/abs/2207.07116
代码实现：https://github.com/lightdxy/bootmae
论文作者：Xiaoyi Dong, Jianmin Bao, Ting Zhang, Dongdong Chen, Weiming Zhang, Lu Yuan, Dong Chen, Fang Wen, Nenghai Yu
论文简介：The first design is motivated by the observation that using a pretrained MAE to extract the features as the BERT prediction target for masked tokens can achieve better pretraining performance./第一个设计的动机是观察到使用预训练的MAE来提取特征作为遮蔽标记的BERT预测目标可以获得更好的预训练性能。
论文摘要：我们提出了bootstrapped masked autoencoders（BootMAE），这是一种用于视觉BERT预训练的新方法。BootMAE通过两个核心设计改进了原始的掩码自动编码器（MAE）。1）动量编码器，提供在线特征作为额外的BERT预测目标；2）目标感知解码器，试图减少编码器在BERT预训练中记忆目标特定信息的压力。第一个设计的动机是观察到使用预训练的MAE来提取特征作为被掩盖的标记的BERT预测目标可以获得更好的预训练性能。因此，我们在原MAE编码器的基础上增加了一个动量编码器，它通过使用自己的表示作为BERT的预测目标来引导预训练性能。在第二种设计中，我们将目标特定的信息（例如，没有mask的patches的像素值）从编码器直接引入到解码器，以减少编码器记忆目标特定信息的压力。因此，编码器专注于语义建模，这是BERT预训练的目标，而不需要浪费其能力来记忆与预测目标相关的没有mask的token的信息。通过大量的实验，我们的BootMAE在ImageNet-1K上以ViT-B为骨干达到了84.2%的Top-1准确率，在相同的预训练epochs下比MAE高出+0.8%。BootMAE还在ADE20K的语义分割上获得了+1.0 mIoU的改进，在COCO数据集的物体检测和分割上获得了+1.3 box AP, +1.4 mask AP的改进。代码发布在 https://github.com/LightDXY/BootMAE
⚡ 论文：Accelerated Quality-Diversity for Robotics through Massive Parallelism
论文时间：2 Feb 2022
所属领域：深度学习
论文地址：https://arxiv.org/abs/2202.01258
代码实现：https://github.com/adaptive-intelligent-robotics/qdax,https://github.com/google/evojax
论文作者：Bryan Lim, Maxime Allard, Luca Grillotti, Antoine Cully
论文简介：With recent advances in simulators that run on accelerators, thousands of evaluations can now be performed in parallel on single GPU/TPU./随着在加速器上运行的模拟器的最新进展，现在可以在单个GPU/TPU上并行进行成千上万的评估操作。
论文摘要：质量多样性（QD）优化算法是一种众所周知的方法，可以产生大量的多样化和高质量的解法集合。然而，从进化计算中衍生出来的QD算法是基于种群的方法，已知其数据效率低，需要大量的计算资源。这使得QD算法在用于解决方案评估计算成本较高的应用时变得缓慢。加快QD算法的一个常见方法是并行评估解法，例如通过使用机器人的物理模拟器。然而，这种方法仅限于几十个并行评估，因为大多数物理模拟器只能通过更多的CPU进行并行化。随着最近在加速器上运行的模拟器的进步，现在可以在单个GPU/TPU上并行进行成千上万的评估。在本文中，我们提出了QDax，一个MAP-Elites的加速实现，它利用加速器上的大规模并行性，使QD算法更容易获得。我们表明，QD算法是利用硬件加速进展的理想人选。我们证明了QD算法可以通过大规模的并行性在交互式时间尺度上运行而不对性能产生任何显著影响。在标准优化函数和四个神经进化基准环境中的结果显示，实验运行时间减少了两个数量级，把几天的计算时间变成了几分钟。更令人惊讶的是，我们观察到，减少两个数量级的代数，从而拥有明显更短的世系并不影响QD算法的性能。这些结果表明，QD现在可以从硬件加速中获益，这对深度学习的发展推进有很大助力。
⚡ 论文：ObjectBox: From Centers to Boxes for Anchor-Free Object Detection
论文时间：14 Jul 2022
所属领域：计算机视觉
对应任务：object-detection，Object Detection，物体检测，目标检测
论文地址：https://arxiv.org/abs/2207.06985
代码实现：https://github.com/mohsenzand/objectbox
论文作者：Mohsen Zand, Ali Etemad, Michael Greenspan
论文简介：We present ObjectBox, a novel single-stage anchor-free and highly generalizable object detection approach./我们提出了ObjectBox，一种新型的单阶段无锚和高度通用的物体检测方法。
论文摘要：我们提出了ObjectBox，一种新颖的单阶段无锚和高度通用的物体检测方法。与现有的基于锚点和无锚点的检测方法相比，我们只使用物体中心位置作为正样本，并在不同的特征水平上平等对待所有物体，而不考虑物体的大小或形状。具体来说，我们的标签分配策略以无锚的方式将物体中心位置视为形状和大小无关的锚，并允许每个物体的学习在所有尺度上发生。为了支持这一点，我们将新的回归目标定义为中心单元位置的两个角到边界四边的距离。此外，为了处理尺度不同的物体，我们提出了一个定制的IoU损失，以处理不同尺寸的box框。因此，我们提出的物体检测器不需要任何与数据集相关的超参数，可以跨数据集进行调整。我们在MS-COCO 2017和PASCAL VOC 2012数据集上评估我们的方法，并将我们的结果与最先进的方法进行比较。我们观察到，ObjectBox与之前的工作相比表现良好。此外，我们进行了严格的消融实验来评估我们方法的不同组成部分。我们的代码见：https://github.com/MohsenZand/ObjectBox
我们是 ShowMeAI，致力于传播AI优质内容，分享行业解决方案，用知识加速每一次技术成长！点击查看 历史文章列表，在公众号内订阅话题 #ShowMeAI资讯日报，可接收每日最新推送。点击 专题合辑&电子月刊 快速浏览各专题全集。点击 这里 回复关键字 日报 免费获取AI电子月刊与资料包。
5204
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
