计算机视觉大讲堂

Transformer已经成为主流模型，除了其自身的注意力机制外，还有一个优点，在CV中，当模型越来越大后，虽然可以通过残差连接加快模型收敛，但模型的效果提升有限，而Transformer在数据量和计算资源充足的情况下，模型越大效果越好，这也是为什么大公司都在搞军备竞赛一样，动不动就搞出个1000多亿个参数的模型。但这种方式仍然无法保留语义信息。为了捕获整个输入的信息，就有了Seq2Seq模型，本质上是一个编码器和解码器模型，编码器对输入进行编码，保存到隐藏状态中，然后在解码器中使用编码器中的隐藏状态。

正则化到底是什么？

机器学习必须知道的资源

机器翻译发展之路

AutoGluon：亚马逊自动机器学习工具，初学者的福音

如果你要求谷歌将格鲁吉亚语翻译成泰莱古语，它必须在内部将其翻译成英语作为中间步骤，因为没有足够多的格鲁吉亚语到泰莱古语的翻译来证明在该语言对上投入大量资金是合理的。例如，我们可能会测量每只耳朵的大小或两只眼睛之间的间距，然后比较两张照片中的这些测量值，看看他们是否是同一个人。对语言翻译几乎一无所知的深度学习研究人员正在拼凑相对简单的机器学习解决方案，这些解决方案正在击败世界上最好的专家构建的语言翻译系统。现在比较两张不同的脸要容易得多，因为我们只需要比较每张脸的这 128 个数字，而不是比较完整的图像。

交互式讲解图神经网络GNN

Understanding Deep Learning，作者西蒙·普林斯，让你真正理解什么是深度学习

医疗图像，很多器官都是跨层的，也就是属于3D空间信息，并且形态各异，传统的2D分割网络，例如Unet,VNet对于血管分割效果不是很好，所以一般使用3D分割网络，例如UNet3D或者基于视觉Transformer的分割模型。通过在设备上方安装RGB和深度摄像头，在与影像设备进行标定后，即可通过RGB图像获得水平方向的解剖关键点，进行检查部位的定位，通过3D点云数据获得垂直方向的中心点，使检查部位处于图像中心，提高图像质量同时也能够避免磕碰。通过图像分类，只能得到定性结果，而定量结果往往更为重要。

采用这种方法的另一个好处是不需要从零开始训练模型，目前已经有在大量网络数据上进行训练的视觉语言预训练模型，例如，PaLI-X PaLM-E，但只有网络通用数据无法直接应用于机器人领域，所以需要在预训练模型的基础上继续用专门的机器人训练数据进行微调，其整体训练过程如下。整体流程如上图所示，机器人接受人类的语音指令，将其转换为文本，同时利用自身的摄像头对现实场景进行拍照，将文本和图片同时输入到RT2中，模型输出机器人控制指令文本，最后将指令文本解码成机器人能识别的指令格式下达给机器人控制器。

基于深度学习的抠图工具

基于深度学习的OCR开源项目

介绍边缘设备深度学习模型推理