晓理紫-优快云博客

原创 AI学习资料以及优秀会议分享链接(持续更新)

B站：线性代数的本质xiaohongshuB站：图解神经网络xiaohongshu:图解神经网络B站：重头搭建GPT2xiaohongshu:重头搭建GPT2B站：强化学习xiaohongshu:强化学习B站：CORL2024xiaohongshu:CORL2024

2024-12-02 23:04:37 355

原创使用git lfs向huggingface提交较大的数据或者权重

"video/*.mp4"是需要根据的目录地址和类型。在我的项目中有一个video文件目录存放这xxx.mp4数据。这将创建或更新一个名为 .gitattributes 的文件，指定哪些文件由 Git LFS 管理。

2024-11-06 20:36:42 499 1

原创编译 FFmpeg 以支持 AV1 编解码器以及其他硬件加速选项（如 NVENC、VAAPI 等）

其中libaom-dev、 libdav1d-dev以及libfdk-aac-dev可能需要源码安装。打开.bashrc 添加。

2024-09-26 22:47:43 1062

原创 cyclonedds编译与使用(python版本的subscriber与C++版本的publisher)

【代码】cyclonedds编译与使用(python版本的subscriber与C++版本的publisher)

2024-07-16 15:52:42 1206 1

在前面的示例中，我们直接深入到自注意力中，忽略了“多头”部分。如果我们对每条路径执行相同的操作，我们最终会得到一个向量，代表每个标记包含该标记的适当上下文。但在评估期间，当我们的模型在每次迭代后只添加一个新词，对于已经处理过的标记，重新计算早期路径上的自注意力将是低效的。现在在下一次迭代中，当模型处理单词“robot”时，它不需要为“a”标记生成查询（query）、键（key）和值（value）。由于我们专注于第一个标记，我们将它的查询与所有其他键向量相乘，为这四个标记中的每一个都产生了一个分数。

2024-06-23 10:30:08 1464

原创图解Transformer

图解Transformer

2024-06-22 11:21:47 837

原创解决在分布式训练时报出But your machine only has: [0]错误

程序可见的显卡数目只有一个，其中可能就是只有一张卡；或者有多张卡但是程序只能看到一个。只检测到一张GPU卡，程序却要使用两张。针对第二个原因只需要设置一下。程序就可以看到多张卡了。

2024-03-26 12:14:16 1043

原创解决openai调用出现的valueerror: unknown scheme for proxy url url(‘socks://127.0.0.1:7890/‘)

我使用openai的接口进行调用时，在代码文件中设置了代理如下。如果有all_proxy的设置，使用下面命令设置为空就行。看看有没有出现下面的all_proxy的设置。使用下面命令查看系统的代理设置。

2024-03-14 22:13:22 6466 5

原创从头构建gpt2 基于Transformer

如果你感觉对你有所帮助，请关注我。源码获取 VX关注晓理紫并回复“chatgpt-0”

2024-03-03 15:50:46 498

原创简单实现Transformer的自注意力

如果你感觉对你有所帮助，请关注我。源码获取：VX关注并回复chatgpt-0获得假如有八个令牌，现在想让每一个令牌至于其前面的通信，如第5个令牌不与6,7,8位置的令牌通信（这是未来的令牌），只与4,3,2,1位置的令牌通信。因此只能通过以前的上下文信息猜测后面的;一种弱的通信方式是取前面的平局值。如5位置==5,4,3,2,1位置上的平局值。单头自注意力。

2024-03-03 15:38:45 404

原创大模型综述总结--第一部分

2.1 大语言模型的扩展法则KM扩展法则：Chinchilla 扩展法则2.2 大语言模型的涌现能力上下文学习能力(ICL)：假设为大语言模型提供了一个自然语言指令、或几个任务的演示，它可以通过完成输入文本的单词序列的方式为测试实例生成预期的输出而无需而外的训练或者梯度更新(通过提高的实例就可以学会对应的任务不需要进行而外的训练)指令遵循：通过使用自然语言描述的混合任务数据集进行微调（指令微调），LLM可以在未见过的指令形式描述的任务表现出色。(泛华能力强)

2024-02-23 22:52:58 1337

原创 # CCF系列会议截稿时间订阅

晓理紫]CCF系列会议截稿时间订阅！

2024-02-22 08:54:22 747

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)

受XLand的多样性和深度以及MiniGrid的简单性和极简主义的启发，我们推出了XLand-MiniGrid，这是一套用于元强化学习研究的工具和网格世界环境。XLand-MiniGrid是用JAX编写的，它被设计成高度可扩展的，并且有可能在GPU或TPU加速器上运行，从而在有限的资源下实现大规模实验的民主化。除了环境之外，XLand-MiniGrid还提供了预采样基准，其中包含数百万个不同难度的独特任务和易于使用的基线，允许用户快速开始训练自适应代理。

2024-02-09 09:00:00 928

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉语言导航

文本到图像模型允许用户通过自然语言指导图像生成过程，从而提供了新的创造性灵活性。然而，使用这些模型在不同的提示中一致地描绘同一主题仍然具有挑战性。现有的方法对模型进行微调，教它描述特定用户提供的主题的新词，或者给模型添加图像条件。这些方法需要长时间的每个受试者的优化或大规模的预训练。此外，他们很难将生成的图像与文本提示对齐，并在描绘多个主题时面临困难。在这里，我们提出了ConsiStory，这是一种免训练的方法，通过共享预训练模型的内部激活来实现一致的主题生成。

2024-02-07 09:00:00 1952

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习、模仿学习、机器人、开放词汇

扩散模型在样本质量和训练稳定性方面优于以前的生成模型。最近的工作显示了扩散模型在改进强化学习（RL）解决方案方面的优势。这项调查旨在提供这一新兴领域的概述，并希望激发新的研究途径。首先，我们研究RL算法遇到的几个挑战。然后，我们提出了一个基于扩散模型在RL中的作用的现有方法的分类，并探讨了如何解决前面的挑战。我们进一步概述了扩散模型在各种RL相关任务中的成功应用。最后，我们总结了调查结果，并对未来的研究方向提出了见解。

2024-02-07 09:00:00 1407

原创 [晓理紫]CCF系列会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新CCF会议信息。

2024-02-07 09:00:00 2957

原创 [晓理紫]AI专属会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新AI专属会议信息。

2024-02-07 09:00:00 1112

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习、模仿学习、机器人

这项研究介绍了一种自主运动规划的新方法，在Frenet坐标系内用强化学习（RL）代理通知分析算法。这种结合直接解决了自动驾驶中适应性和安全性的挑战。运动规划算法对于导航动态和复杂的场景至关重要。然而，传统方法缺乏不可预测环境所需的灵活性，而机器学习技术，特别是强化学习（RL），提供了适应性，但存在不稳定性和缺乏可解释性。我们独特的解决方案将传统运动规划算法的可预测性和稳定性与RL的动态适应性相结合，使系统能够有效地管理复杂的情况并适应不断变化的环境条件。

2024-02-06 11:33:58 2161

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉语言导航

大型语言模型（LLMs）在各种上下文中的少量任务上取得了广泛的成功，但这种成功通常是通过正确性而不是一致性来评估的。我们认为，在解决方案由多个子步骤的答案组成的任务中，自一致性是有效的多步推理的重要标准。我们提出了两种类型的自一致性，它们对于多步推理特别重要——假设一致性（模型预测其输出在假设的其他上下文中是什么的能力）和组成一致性（当中间子步骤被这些步骤的模型输出替换时，模型最终输出的一致性）。我们证明了GPT-3/-4模型的多个变体在各种任务的两种类型的一致性中表现出较差的一致性率。

2024-02-06 11:17:56 1780

原创 [晓理紫]AI专属会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新AI专属会议信息。

2024-02-06 11:07:21 1219

原创 [晓理紫]CCF系列会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新会议信息。

2024-02-06 09:19:39 1916

原创 [晓理紫]CCF系列会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新会议信息。

2024-02-05 09:00:00 1301

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉语言导航

大型语言模型（LLM）代理显著扩展了独立LLM的功能，使它们能够与外部工具（例如，API、函数）进行交互，并以自我指导的方式完成复杂的任务。工具使用的挑战要求LLMs不仅理解用户查询并生成答案，而且在任务规划、内存管理、工具调用和结果汇总方面表现出色。虽然传统的方法集中于训练具有所有这些能力的单个LLM，但是性能限制变得明显，特别是对于较小的模型。此外，当工具更新时，整个LLM可能需要再培训。为了克服这些挑战，我们提出了一种新颖的策略，将上述功能分解为计划器、调用器和摘要器。

2024-02-05 09:00:00 1795

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习、模仿学习、机器人

目标错位、奖励稀疏和困难的信用分配只是使深度强化学习（RL）代理难以学习最优策略的许多问题中的几个。不幸的是，深度神经网络的黑箱性质阻碍了包括领域专家来检查模型和修改次优策略。为此，我们引入了连续概念瓶颈代理（SCoBots），它集成了连续概念瓶颈（CB）层。与当前的CB模型相比，SCoBots不仅将概念表示为单个对象的属性，还表示为对象之间的关系，这对于许多RL任务至关重要。我们的实验结果为SCoBots的竞争表现提供了证据，也为领域专家理解和规范其行为提供了证据。

2024-02-05 09:00:00 1137

原创 [晓理紫]CCF系列会议截稿时间订阅

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新会议信息。

2024-02-04 09:00:00 3259

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉语言导航

文本驱动的3D场景生成广泛适用于对3D场景有大量需求的视频游戏、电影行业和元宇宙应用。然而，现有的文本到3D生成方法仅限于生成具有简单几何图形和缺乏真实感的梦幻风格的3D对象。在这项工作中，我们提出了Text2NeRF，它能够纯粹从文本提示中生成具有复杂几何结构和高保真纹理的各种3D场景。为此，我们采用NeRF作为3D表示，并利用预先训练的文本到图像扩散模型来约束NeRF的3D重建，以反映场景描述。具体来说，我们采用扩散模型来推断文本相关图像作为内容先验，并使用单目深度估计方法来提供几何先验。

2024-02-04 09:00:00 1509

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习、模仿学习、机器人

仿生、灵巧的机器人手有潜力复制人类可以完成的许多任务，并获得作为通用操作平台的地位。强化学习（RL）框架的最新进展在四足运动和灵巧操纵任务中取得了显著的性能。结合能够并行模拟数千个机器人的基于GPU的高度并行化模拟，基于RL的控制器变得更加可扩展和可接近。然而，为了将RL训练的策略带到现实世界中，我们需要输出可以与物理致动器和传感器一起工作的策略的训练框架，以及可以用可访问的材料制造但足够健壮以运行交互式策略的硬件平台。

2024-02-04 09:00:00 1429

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习、模仿学习

2024-02-02 23:56:29 1691

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉

2024-02-01我们介绍SymbolicAI，这是一个通用的模块化框架，采用基于逻辑的方法来进行生成过程中的概念学习和流程管理。SymbolicAI通过将大型语言模型（LLMs）视为基于自然和形式语言指令执行任务的语义解析器，实现了生成模型与各种求解器的无缝集成，从而弥合了符号推理和生成人工智能之间的差距。我们利用概率编程原理来处理复杂的任务，并利用可微分的经典编程范例及其各自的优势。该框架为数据流操作引入了一组多态、组合和自引用操作，使LLM输出与用户目标保持一致。

2024-02-02 23:51:23 1575

原创近期CCF系列会议截稿时间

如果你感觉对你有所帮助，请关注我，每日准时为你推送最新会议信息。

2024-02-02 23:44:40 2817

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)

深度强化学习（DRL）已经成为掌握爆发性和多功能四足跳跃技能的一种有前途的解决方案。然而，当前基于DRL的框架通常依赖于定义明确的参考轨迹，这些轨迹是通过捕捉动物运动或从现有控制器转移经验来获得的。这项工作探索了在不模仿参考轨迹的情况下学习动态跳跃的可能性。为此，我们将课程设计纳入DRL，以逐步完成具有挑战性的任务。从垂直原地跳跃开始，我们将学习到的策略推广到向前和对角跳跃，最后，学习跳过障碍。

2024-02-02 08:42:00 1615

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉

我们介绍了Gyan AI Paramanu（“atom”），这是一个用于印度语言的新颖语言模型家族。它是一个自回归单语、双语和多语言印度语模型的集合，在单个GPU上为10种印度语言（阿萨姆语、孟加拉语、印地语、康卡尼语、麦蒂里语、马拉地语、奥迪亚语、梵语、泰米尔语、泰卢固语）从头开始进行预训练，跨越5种脚本（孟加拉语、梵文、奥迪亚语、泰米尔语、泰卢固语），大小从13.29 M到367.5 M不等。这些模型在单个GPU上以1024的上下文大小进行预训练。这些模型非常高效、小巧、快速、强大。

2024-02-02 08:33:43 1997

原创 [晓理紫]每日论文分享(有源码或项目地址、中文摘要)--大模型、扩散模型、视觉

我们能在历史的十字路口避免战争吗？在整个人类历史中，个人、学者、决策者和组织都在探讨这个问题。在这项研究中，我们试图根据人工智能（AI）和大型语言模型（LLMs）的最新进展来回答这个问题。我们提出\textbf{WarAgent}，一个LLM驱动的多代理人工智能系统，来模拟历史上国际冲突中的参与国、他们的决定和后果，包括第一次世界大战（WWI）、第二次世界大战（WWII）和中国古代战国时期（WSP）。

2024-02-01 09:15:00 1313

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习、模仿学习、机器人

多模态强化学习（RL）最关键的一个方面是不同观察模态的有效集成。从这些模态中获得鲁棒和准确的表示是增强RL算法的鲁棒性和采样效率的关键。然而，在视觉触觉数据的RL设置中学习表征提出了重大挑战，特别是由于数据的高维度以及将视觉和触觉输入与动态环境和任务目标相关联所涉及的复杂性。为了应对这些挑战，我们提出了多模态对比无监督强化学习（M2CURL）。我们的方法采用了一种新的多模态自监督学习技术，该技术学习有效的表示，并有助于RL算法的更快收敛。我们的方法与RL算法不可知，因此能够与任何可用的RL算法集成。

2024-02-01 09:15:00 1453

原创 [晓理紫]每日论文分享(有源码或项目地址、中文摘要)--大模型、扩散模型、视觉语言导航

我们介绍InternLM-XComposer2，这是一个尖端的视觉语言模型，在自由形式的文本图像合成和理解方面表现出色。该模型超越了传统的视觉语言理解，熟练地从不同的输入（如轮廓、详细的文本规范和参考图像）中制作交错的文本图像内容，实现了高度可定制的内容创建。InternLM-XComposer2提出了一种部分LoRA（PLoRA）方法，该方法将额外的LoRA参数专门应用于图像标记，以保持预训练语言知识的完整性，在精确的视觉理解和具有文学天赋的文本合成之间取得平衡。

2024-01-31 09:00:00 1153

原创 [晓理紫]每日论文分享(有源码或项目地址、中文摘要)--强化学习、模仿学习、机器人

2024-01-29深度强化学习（DRL）已经成为掌握爆发性和多功能四足跳跃技能的一种有前途的解决方案。然而，当前基于DRL的框架通常依赖于定义明确的参考轨迹，这些轨迹是通过捕捉动物运动或从现有控制器转移经验来获得的。这项工作探索了在不模仿参考轨迹的情况下学习动态跳跃的可能性。为此，我们将课程设计纳入DRL，以逐步完成具有挑战性的任务。从垂直原地跳跃开始，我们将学习到的策略推广到向前和对角跳跃，最后，学习跳过障碍。

2024-01-31 09:00:00 895

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--强化学习、模仿学习、机器人

强化学习（RL）的目标是找到一个最大化预期累积回报的策略。已经表明，这个目标可以表示为线性约束下状态——行动访问分配的优化问题。这个公式的对偶问题，我们称之为对偶RL，是无约束的，更容易优化。在这项工作中，我们首先将几个最先进的离线RL和离线模仿学习（IL）算法作为具有共享结构的双重RL方法的实例。这种统一使我们能够确定现有方法缺点的根本原因。对于离线IL，我们的分析表明，现有的方法是基于限制性覆盖假设，这极大地限制了它们在实践中的性能。

2024-01-30 09:00:00 2308

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉语言导航

大型视觉语言模型（LVLMs）通过整合来自不同模态的丰富信息，可以全面理解世界，在各种多模态下游任务上取得显著进步。然而，由于其巨大的计算/能源成本和碳消耗，部署LVLMs通常是有问题的。这些问题使得采用传统的迭代全局修剪是不可行的，由于计算整个大模型的Hessian矩阵进行稀疏化，这是昂贵的。或者，一些研究最近提出了逐层修剪方法，以避免全局修剪的昂贵计算，并根据模型权重在层内的重要性有效地压缩模型权重。然而，由于缺乏全局视角，它们经常遭受次优模型压缩。

2024-01-29 22:58:11 1520

原创 [晓理紫]每日论文分享(有中文摘要，源码或项目地址)--大模型、扩散模型、视觉语言导航

受益于有效的语音建模，当前的语音大型语言模型（SLLMs）在上下文语音生成和对看不见的说话者的有效概括方面表现出了卓越的能力。然而，流行的信息建模过程受到某些冗余的阻碍，导致语音生成效率低下。我们提出了信息链生成（CoIG），这是一种在大规模语音生成中解耦语义和感知信息的方法。在此基础上，我们开发了SpeechGPT-Gen，这是一个80亿参数的SLLM，在语义和感知信息建模方面非常有效。它包括用于语义信息建模的基于LLM的自回归模型和用于感知信息建模的采用流匹配的非自回归模型。

2024-01-29 09:00:00 995