JackCrum的博客

多模态情感分析是人机交互研究的重要方向，它可以通过同时分析文本、视频和声音特征来准确识别个体的情绪状态。尽管当前的情绪识别算法使用多模态融合策略表现良好，但仍然存在两个关键挑战。第一个挑战是在融合之前有效提取模态不变和模态特定的特征，这需要不同模态之间的深层特征交互。第二个挑战涉及区分模态特征之间的高级语义关系的能力。为了解决这些问题，我们提出了一种新的模态绑定学习框架，并重新设计了 Transformer 模型的内部结构。我们提出的模态绑定学习模型通过结合双模态和三模态绑定机制解决了第一个挑战。

这里有以下几个主要的坑：（1）首先sdwebui需要去固定一下最新的1.6版本的几个包的版本（2）其次是需要使用官网的torch安装方式去安装torch（不能用./webui.sh安装的 or pip whl手动安装的）（3）然后是要注意 需要使用双卡去 启动sdweb 虽然后面推理是单卡单卡启动下面这个文件中的会有个device受到进程影响不受控+1的错误，因为这里的ddp写法是有点问题的，会导致cuda的device不一致导致bug。

视觉强化学习（Visual RL）与高维观察相结合，一直面临着分布外泛化的长期挑战。尽管重点关注旨在解决视觉泛化问题的算法，但我们认为现有的基准测试存在问题，因为它们仅限于孤立的任务和泛化类别，从而破坏了对智能体视觉泛化能力的综合评估。为了弥补这一差距，我们引入了 RL-ViGen：一种新颖的视觉泛化强化学习基准，它包含不同的任务和广泛的泛化类型，从而有助于得出更可靠的结论。此外，RL-ViGen 将最新的泛化视觉 RL 算法纳入统一的框架中，实验结果表明，没有任何一种现有算法能够跨任务通用。

声音和图像领域，大一统的模型！使用LLM进行引导

在这项研究中，情绪分析和情绪检测是使用三种模式进行的：文本、视觉和语音。XT∈RdT×LXV∈RdV×LXS∈RdS×LXT​∈RdT​×LXV​∈RdV​×LXS​∈RdS​×L其中 XT、XV 和 XS 分别指的是文本、视觉和语音。这些是长度为 L 的向量，维度分别为 dT、dV 和 dS。因为 L 是输入大小的固定长度，所以小于 L 的某些输入将包含零填充以适应大小。

不同模态数据分布的异质性使得模态融合的难度较高

多模态情感分析旨在判断互联网用户在各种社交媒体平台上上传的多模态数据的情感。（1）然而，一方面，现有研究侧重于文本、音频和视觉等多模态数据的融合机制，而忽略了文本与音频、文本与视觉的以及，导致情感分析存在偏差。（2）另一方面，多模态数据带来与情感分析，影响融合效果。

1s 三轮4min 1轮。

基于机器学习的生成模型可以从头开始产生具有理想物理化学和药理特性的新分子。已经提出了许多优秀的生成模型，但对大多数现有模型来说，分子生成任务中的多目标优化仍然相当具有挑战性。在这里，我们提出了多约束分子生成（MCMG）方法，该方法可以通过知识蒸馏将条件变压器和强化学习算法相结合来满足多个约束。使用条件变压器通过高效学习并将结构-属性关系纳入有偏见的生成过程来训练分子生成模型。然后使用知识蒸馏模型来降低模型的复杂性，以便通过强化学习有效地对其进行微调，并增强生成分子的结构多样性。

分子设计和合成规划是分子发现过程中的两个关键步骤，我们建议将其作为条件合成途径生成的单一共同任务来制定。我们报告了一种生成合成途径的摊销方法，作为以目标分子嵌入为条件的马尔可夫决策过程。这种方法使我们能够以自下而上的方式进行合成规划，并通过从优化的条件代码解码来设计可合成的分子，这表明同时解决设计和合成问题的潜力。该方法利用神经网络，根据反应模板的离散动作空间中编码的反应性规则，一次一个反应步骤，概率地模拟合成树。我们在可购买的化合物池和专家策划的模板列表中生成的数十万条人工路径上训练这些网络。

背景：借助深度学习的进步，蛋白质3D结构预测的准确性得到了显著提高。在最近的CASP14中，Deepmind证明了他们新版本的AlphaFold（AF）可以产生几乎接近实验结构的高精度3D模型。AF的成功表明，序列的多序列对齐包含丰富的进化信息，从而导致准确的3D模型。尽管AF取得了成功，但只有预测代码是开放的，训练类似的模型需要大量的计算资源。因此，开发一个更轻的预测模型仍然是必要的。结果：在本研究中，我们提出了一种新的蛋白质3D结构建模方法，即A-Prot，使用最先进的蛋白质语言模型之一MSA变压器。

药物发现的一个基本问题是设计与特定蛋白质结合的分子。为了使用机器学习方法解决这个问题，我们在这里提出了一个名为GraphBP的新颖而有效的框架，通过将特定类型和位置的原子逐个放置在给定的结合位点来生成与给定蛋白质结合的3D分子。特别是，在每个步骤中，我们首先使用3D图形神经网络，从中间上下文信息中获得几何感知和化学信息表示。此类上下文包括给定的绑定位点和放置在前面步骤中的原子。其次，为了保持理想的等方差特性，我们根据设计的辅助分类器选择一个局部参考原子，然后构建一个局部球坐标系。

本文展示2022年发表在PANS上的一篇分子生成的文章，详细包含了论文理解以及代码运行逻辑，欢迎查阅，转发和关注！

抗体是多功能蛋白质，与病毒等病原体结合并刺激适应性免疫系统。抗体结合的特异性由这些Y形蛋白质尖端的互补性决定区（CDR）决定。本文提出了一种生成模型，用于自动设计具有增强结合特异性或中和能力的抗体的CDR。之前的生成方法将蛋白质设计表述为结构条件序列生成任务，假设先验地给出了所需的3D结构。相比之下，我们建议将CDR的序列和3D结构作为图表共同设计。我们的模型在迭代细化其预测的全局结构的同时，自动回归地解开序列。推断的结构反过来指导后续的残留物选择。

目录第一章、各类包命令大全1.1 Sklearn1.2 Numpy1.3 pandas1.4 excel操作专题第二章、使用插件2.1 Jupyter第一章、各类包命令大全1.1 Sklearn验证函数# 交叉验证函数from sklearn.model_selection import StratifiedShuffleSplit常用分类算法# 交叉验证函数from sklearn.ensemble import RandomForestClassifier # 随

Shell_VScode[背景]由于看朋友MAC上的oh my zsh很酷，因此想在Ubuntu上也配一个，结果发现Ubuntu的zsh没有美化的话，使用感不如原生的bash，即使美化用着也不舒服，然后就萌生启动默认bash的想法。坑1 zsh按照网友提供的各自方法都无功而返，弄了快2H，都无法默认bash启动解决办法1 直接卸载了—>>>/usr/bin & rm -rf坑2 zsh卸载很舒适，但是VSCode又不干了，找不到shell，完全卸载code并重装都没有用

Ubuntu跑算法心得记录一、Ubuntu终端各种快捷命令1.1 终端美化1.2 信息传输1.2.1 与Windows互传信息二、Pytorch使用2.1 Pytorch安装2.2 Conda内嵌Pip安装2.3 Pytorch技巧2.3.1 技巧函数2.3.2 功能函数三、其他各类包的安装使用3.1 imageio四、路径问题汇总2.1 Python调试路径一、Ubuntu终端各种快捷命令1.1 终端美化1.2 信息传输1.2.1 与Windows互传信息二、Pytorch使用2.1 Pyto

视频雨条纹去除会刊_方法解析

PySpark实战第一章：了解Spark1.1 什么是Apache Spark1.2 Spark作业和API1.3 Spark2.0的结构1.4 小结第二章：弹性分布式数据集2.1 RDD的内部运行方式第一章：了解Spark快速易用的处理复杂数据的矿机1.1 什么是Apache Spark我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：全新的界面设计 ，将会带来全新的写作体验；在创作中心设置你喜爱的代码

问：一个信号加入白噪声 有什么影响呀答：优点：白噪声是多组互相独立的序列，混到原始数据里面去，就可以帮助分解算法将原始数据里面难以分开的模态（如两个模态频率特新很相近，即模态混叠问题）利用白噪声这种特新，放大他们的不相关程度，从而得以提取出原来不可分的两个模态。这是我研究后的理解，文章中可以不用说这么细缺点：如果白噪声序列都是正序列（一般是0-1的“随机”数），那么加入白噪声后，得到的所有模态相加起来得不到原始序列，会多出来加入的白噪声（分解得到的模态越多，混入的白噪声越多），从而增大了重构误差。所以提