ShowMeAI日报系列全新升级！覆盖AI人工智能 工具&框架 | 项目&代码 | 博文&分享 | 数据&资源 | 研究&论文 等方向。点击查看 历史文章列表，在公众号内订阅话题 #ShowMeAI资讯日报，可接收每日最新推送。点击 专题合辑&电子月刊 快速浏览各专题全集。点击 这里 回复关键字 日报 免费获取AI电子月刊与资料包。
工具&框架
🚧『Zotero Better Notes』Zotero 内置 note 功能扩展
https://github.com/windingwind/zotero-better-notes
从配图可以看到，页面和菜单栏设计简洁，但其实功能非常完备。除了常规的 Note 功能外，Zotero Better Notes 的一些拓展功能非常亮眼，主笔记的外部文档插入、高亮批注、超链接插入PDF、插入笔记、引用、子笔记、大纲模式的思维导图等功能，都值得尝试！就呈现效果的丰富度而言，Zotero Better Notes 更像是一个富文本编辑器了。
🚧『CLIP-based-NSFW-Detector』基于 CLIP 的色情图片识别
https://github.com/LAION-AI/CLIP-based-NSFW-Detector
NSFW（Not Safe/Suitable For Work，工作场所不宜），网络用语，常用于指互联网上某些不适合上班时段观看的内容。嗯。项目提到的 NSFW-Detector（NSFW 检测器）是一个轻量级的 Autokeras 模型，输入为 CLIP ViT L/14 嵌入，并输出一个0与1之间（1=NSFW）的估计值。Repo 页面提供了下载地址，并列写了一个应用示例：
🚧『Pipr』一个交互式编写 shell pipeline (管道/流程)的工具
https://github.com/elkowar/pipr
Pipr 是一个用 Rust 编写的命令行管道构建工具，它可以在后台自动评估你正在编辑的 pipeline (管道/流程)，并在你运行时显示结果，这大大简化了 sed 和 awk 链的编写流程。
🚧『GraphNeuralNetworks.jl』Julia 图神经网络库
https://github.com/CarloLucibello/GraphNeuralNetworks.jl
GraphNeuralNetworks.jl 是一个用 Julia 编写的图神经网络库，使用了深度学习框架 Flux.jl，并且具备以下特点：支持在成批的图上进行计算、易于定义自定义层、支持 CUDA、与 Graphs.jl 集成，并且提供了节点、边缘和图像级机器学习任务的示例。
🚧『Auto3D』自动为输入的 SMILES 找到低能量结构
https://github.com/isayevlab/Auto3D_pkg
Auto3D 自动为输入的SMILES找到低能量结构，所有的过程（如异构体列举、重复和对映体过滤、3D构建、优化和排名）都由 package 来处理，并允许用户根据需求尝试不同的异构体列举引擎和优化引擎。Auto3D 可以作为 Python package 运行，或者使用 terminal 终端命令行。
博文&分享
👍『ML YouTube Courses』Youtube 最新机器学习课程大合集
https://github.com/dair-ai/ML-YouTube-Courses
合集包括 Youtube 上的 35 门广受欢迎的课程，覆盖以下 9 个领域：机器学习（Machine Learning）、深度学习（Deep Learning）、自然语言处理（NLP）、计算机视觉（Computer Vision）、强化学习（Reinforcement Learning）、图机器学习（Graph ML）、多目标学习（Multi-Task Learning）、自动驾驶（Self-Driving Cars）、机器人（Robotics）。如果想在 B 站观看同主题合辑，那么推荐博客 http://blog.showmeai.tech/ 和 B站 https://space.bilibili.com/479444931。
数据&资源
🔥『Awsome-generalizable-6D-object-pose』可扩展 6DoF 物体姿态估计论文集
https://github.com/liuyuan-pal/Awsome-generalizable-6D-object-pose
之前的 6DoF 物体姿势估计器主要针对特定的物体或特定的物体类别，而『可扩展的物体姿态估计器』能够估计未见过物体的 6DoF 姿态，无需对测试物体进行训练或微调。以下是近年来『可扩展的物体姿态估计器』相关论文，特别是在 ECCV2022 或 CVPR2022 发表的。
🔥『The Toronto Warehouse Incremental Change Dataset』Clearpath 机器人仓库环境增量感知数据集
https://github.com/Viky397/TorWICDataset
Repo 的数据集取自 Clearpath 机器人公司的设施，目的是评估在经历增量变化的仓库环境中的地图维护能力。下图示例了机器人在 AprilTag 的两个场景中捕获的两个框架，变化包括在栅栏前面增加了3个箱子堆，以及在栅栏的右边增加了一个箱子墙。
研究&论文
可以点击 这里 回复关键字 日报，免费获取整理好的论文合辑。
科研进展
- 2022.07.11 『计算机视觉』 Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular Depth Estimation by Integrating IMU Motion Dynamics
- 2022.04.19 『计算机视觉』 NAFSSR: Stereo Image Super-Resolution Using NAFNet
- 2022.07.05 『计算机视觉』 NeuralPassthrough: Learned Real-Time View Synthesis for VR
- 2022.07.11 『医疗』 GT4SD: Generative Toolkit for Scientific Discovery
⚡ 论文：Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular Depth Estimation by Integrating IMU Motion Dynamics
论文标题：Towards Scale-Aware, Robust, and Generalizable Unsupervised Monocular Depth Estimation by Integrating IMU Motion Dynamics
论文时间：11 Jul 2022
所属领域：计算机视觉
对应任务：Depth Estimation，Monocular Depth Estimation，Motion Estimation，Unsupervised Monocular Depth Estimation，深度估计，单眼深度估计，运动估计，无监督的单眼深度估计
论文地址：https://arxiv.org/abs/2207.04680
代码实现：https://github.com/senzhang-github/ekf-imu-depth
论文作者：Sen Zhang, Jing Zhang, DaCheng Tao
论文简介：Unsupervised monocular depth and ego-motion estimation has drawn extensive research attention in recent years./无监督的单眼深度和自运动估计近年来引起了广泛的研究关注。
论文摘要：近年来，无监督的单眼深度和自运动估计已经引起了广泛的研究关注。尽管目前的方法已经达到了很高的尺度精度，但由于单眼序列训练中固有的尺度模糊性，它们通常无法学习到真正的尺度指标。在这项工作中，我们解决了这个问题，并提出了DynaDepth，这是一个新的尺度感知框架，整合了来自视觉和IMU运动动态的信息。具体来说，我们首先提出了IMU测光损失和跨传感器测光一致性损失，以提供密集的监督和绝对尺度。为了充分利用两个传感器的互补信息，我们进一步驱动一个以相机为中心的可微分的扩展卡尔曼滤波器（EKF），在观察视觉测量时更新IMU的预集成运动。此外，EKF能够学习自我运动的不确定性测量，这对于无监督的方法来说是不难的。通过在训练过程中利用IMU，DynaDepth不仅可以学习绝对尺度，还可以提供更好的泛化能力和对视觉退化的鲁棒性，如光照变化和移动物体。我们通过在KITTI和Make3D数据集上进行广泛的实验和模拟，验证了DynaDepth的有效性。
⚡ 论文：NAFSSR: Stereo Image Super-Resolution Using NAFNet
论文标题：NAFSSR: Stereo Image Super-Resolution Using NAFNet
论文时间：19 Apr 2022
所属领域：计算机视觉
对应任务：Image Restoration，Image Super-Resolution，Stereo Image Super-Resolution，Super-Resolution，图像修复，图像超分辨率，立体声图像超分辨率，超分辨率
论文地址：https://arxiv.org/abs/2204.08714
代码实现：https://github.com/megvii-research/NAFNet , https://github.com/megvii-research/TLC , https://github.com/megvii-research/tlsc , https://github.com/dslisleedh/NAFNet-flax
论文作者：Xiaojie Chu, Liangyu Chen, Wenqing Yu
论文简介：This paper inherits a strong and simple image restoration model, NAFNet, for single-view feature extraction and extends it by adding cross attention modules to fuse features between views to adapt to binocular scenarios./本文继承了用于单视图特征提取的强大而简单的图像修复模型NAFNet，并通过增加交叉注意模块来融合不同视图之间的特征，以适应双目场景的需要。
论文摘要：立体图像超分辨率旨在通过利用双眼系统提供的互补信息来提高超分辨率结果的质量。为了获得合理的性能，大多数方法侧重于精细设计模块、损失函数等，以利用来自另一视角的信息。这有增加系统复杂性的副作用，使研究人员难以评估新的想法和比较方法。本文借鉴沿袭了用于单视角特征提取的强大而简单的图像修复模型NAFNet，并通过增加交叉注意模块来融合不同视角的特征，以适应双眼场景的需要。提出的立体图像超分辨率的基线被称为NAFSSR。此外，还提出了训练/测试策略以充分利用NAFSSR的性能。大量的实验证明了我们方法的有效性。特别是，NAFSSR在KITTI 2012、KITTI 2015、Middlebury和Flickr1024数据集上的表现超过了最先进的方法。凭借NAFSSR，我们赢得了NTIRE 2022年立体图像超级分辨率挑战赛的第一名。代码和模型将在 https://github.com/megvii-research/NAFNet 发布。
⚡ 论文：NeuralPassthrough: Learned Real-Time View Synthesis for VR
论文标题：NeuralPassthrough: Learned Real-Time View Synthesis for VR
论文时间：5 Jul 2022
所属领域：计算机视觉
论文地址：https://arxiv.org/abs/2207.02186
代码实现：https://github.com/facebookresearch/NeuralPassthrough
论文作者：Lei Xiao, Salah Nouri, Joel Hegland, Alberto Garcia Garcia, Douglas Lanman
论文简介：Virtual reality (VR) headsets provide an immersive, stereoscopic visual experience, but at the cost of blocking users from directly observing their physical environment./虚拟现实（VR）头盔提供了一种身临其境的立体视觉体验，但其代价是阻止了用户直接观察他们的物理环境。
论文摘要：虚拟现实（VR）头盔提供了一种身临其境的立体视觉体验，但其代价是阻碍了用户直接观察他们的物理环境。穿透技术旨在通过利用朝外的相机来重建用户在没有头盔的情况下所看到的图像，从而解决这一限制。这本身就是一个实时视图合成的挑战，因为穿透式摄像机不能与眼睛实际共处一室。现有的穿透技术存在着分散注意力的重建伪影，这主要是由于缺乏准确的深度信息（特别是对于近场和被遮挡的物体），而且还表现出有限的图像质量（例如，低分辨率和单色）。在本文中，我们提出了第一个学习型穿透方法，并使用一个包含一对立体RGB相机的定制VR头盔来评估其性能。通过模拟和实验，我们证明了与最先进的方法相比，我们的学习穿透方法提供了卓越的图像质量，同时满足了VR对桌面连接头盔的宽视场上的实时、透视校正立体视图合成的严格要求。
⚡ 论文：GT4SD: Generative Toolkit for Scientific Discovery
论文标题：GT4SD: Generative Toolkit for Scientific Discovery
论文时间：8 Jul 2022
所属领域：医疗
对应任务：Drug Discovery，药物发现
论文地址：https://arxiv.org/abs/2207.03928
代码实现：https://github.com/gt4sd/gt4sd-core
论文作者：Matteo Manica, Joris Cadow, Dimitrios Christofidellis, Ashish Dave, Jannis Born, Dean Clarke, Yves Gaetan Nana Teukam, Samuel C. Hoffman, Matthew Buchan, Vijil Chenthamarakshan, Timothy Donovan, Hsiang Han Hsu, Federico Zipoli, Oliver Schilter, Giorgio Giannone, Akihiro Kishimoto, Lisa Hamada, Inkit Padhi, Karl Wehden, Lauren McHugh, Alexy Khrabrov, Payel Das, Seiji Takeda, John R. Smith
论文简介：With the growing availability of data within various scientific domains, generative models hold enormous potential to accelerate scientific discovery at every step of the scientific method./随着各个科学领域的数据越来越多，生成模型拥有巨大的潜力，可以在科学方法的每一步中加速科学发现。
论文摘要：随着各个科学领域的数据越来越多，生成模型在加速科学方法的每一步的科学发现方面拥有巨大的潜力。也许它们最有价值的应用在于加快传统上最缓慢和最具挑战性的提出假设的步骤。现在正在从大量的数据中学习强大的表征以产生新的假设，这对从材料设计到药物发现的科学发现应用产生了巨大的影响。GT4SD（https://github.com/GT4SD/gt4sd-core）是一个可扩展的开源库，使科学家、开发人员和研究人员能够训练和使用最先进的生成模型，用于科学发现中的假设生成。GT4SD支持生成模型在材料科学和药物发现中的各种用途，包括基于与目标蛋白相关的特性的分子发现和设计、Omic特征、支架距离、结合能等。
我们是 ShowMeAI，致力于传播AI优质内容，分享行业解决方案，用知识加速每一次技术成长！点击查看 历史文章列表，在公众号内订阅话题 #ShowMeAI资讯日报，可接收每日最新推送。点击 专题合辑&电子月刊 快速浏览各专题全集。点击 这里 回复关键字 日报 免费获取AI电子月刊与资料包。
1388
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
