u012744245的博客

基于 HumanoidVerse 框架，支持在多个模拟器中训练人形机器人技能，并实现模拟器与现实世界之间的平滑迁移。(Aligning Simulation and Real Physics，对齐模拟与真实物理) 的创新框架，并将其应用于宇树科技G1人形机器人。在真实机器人上的测试中，ASAP也能够显著提高机器人的运动性能，使机器人能够完成高难度的敏捷动作。在模拟器之间的迁移中，ASAP能够显著降低运动跟踪误差，优于其他基准方法。，这是一个两阶段框架，旨在解决动力学失配问题，并实现敏捷的人形全身技能。

2024年12月，未来生命研究所（Future of Life Institute）发布了第一份《人工智能安全指数报告》（FLI AI Safety Index 2024），共80页。该报告由图灵奖得主 Yoshua Bengio、加州大学伯克利分校计算机科学教授 Stuart Russell 等7位全球顶尖AI专家组成的独立评审小组，评估6家主流 AI 公司（Anthropic、Google DeepMind、Meta 、OpenAI、x.AI、智谱）在六大领域的安全实践，包括。

是一个世界模型平台，专为物理AI而设计，上面有一系列开源、开放权重的视频世界模型，参数量从 4B 到 14B 不等。这些模型的作用非常明确，就是为机器人、自动驾驶汽车等在物理世界中运行的 AI 系统生成大量照片级真实、基于物理的合成数据，以解决该领域数据严重不足的问题。平台发布了 8 个模型，参数量从 4B 到 14B 不等，这些模型在 2000 万小时的视频数据上进行训练，分为。一共包含了四大功能模块：扩散模型、自回归模型、视频分词器，以及视频处理与编辑流程。（离散 token）模型两类，支持。

2024年是大模型发展非常迅速的一年，我们见证了太多AI技术变革带来的惊艳！这一年里，各家大模型的能力提升层出不穷。LLM方面，OpenAI发布了更强的o系列模型；文生图开源模型也出现了 SD 的替代者 Flux；视频生成模型更是百花齐放，很多大模型公司都推出了类 Sora 的视频生成模型。近日，回顾了2024年人工智能的重大事件，梳理出了一份关于人工智能领域的年终总结。Artificial Analysis 是一家领先的独立AI基准测试和分析平台，上面分析的模型不仅包括，还有如文生图、文生视频等等。

人工智能简史》全面讲述人工智能的发展史，几乎覆盖人工智能学科的所有领域，包括人工智能的起源、自动定理证明、专家系统、神经网络、自然语言处理、遗传算法、深度学习、强化学习、超级智能、哲学问题和未来趋势等，以宏阔的视野和生动的语言，对人工智能进行了全面回顾和深度点评。一是以通俗易懂的方式解释复杂概念，通过实例和案例讲解大语言模型的工作原理和工作流程、基本使用方法，包括大语言模型常用的三种交互格式、提示工程、工作记忆与长短期记忆，以及外部工具等，使读者能够全面了解和掌握这一先进技术的应用和二次开发。

TÜLU 3 建立在 Llama 3.1 基础模型之上，其结果超过了 Llama 3.1、Qwen 2.5、Mistral 的 instruct 版本，甚至超过了 GPT-4o-mini 和 Claude 3.5-Haiku 等闭源模型。最近，来自艾伦人工智能研究所和华盛顿大学的研究团队推出了 TÜLU 3，一个完全开放的 SOTA 后训练模型系列，以及它的数据、代码和训练方法，作为现代后训练技术的综合指南。正是在这个阶段，模型从一个"无所不知"却缺乏判断力的网络，转变为具有特定功能导向的实用工具。

10月10日，我们迎来了2024年的《人工智能全景报告》（《State of AI Report 2024》），该报告已连续七年发布，成为AI行业流行的风向标。报告链接：https://docs.google.com/presentation/d/1GmZmoWOa2O92BPrncRcTKa15xvQGhq7g4I4hJSNlC0M/edit?

BGE 不仅性能综合卓越，多次大幅刷新 BEIR、MTEB、C-MTEB 等领域内主流评测榜单，而且始终秉持彻底的开源开放的精神，“模型、代码、数据” 向社区完全公开。经过训练，Pixtral-12B 既能理解自然图像，也能理解文档，在各种多模态基准测试中取得了领先的性能，超越了许多大模型。在训练方面，Rhymes AI 共分为四个阶段，先用文本数据进行预训练，再引入多模态数据，接着是长序列的训练，最后进行微调。在短短一年时间内，总下载量已超数亿次，是目前下载量最多的国产AI系列模型。

在总体评分上，Gemma 2 取到了开源模型最高分，而且用 27B 的参数「以小搏大」，超过了Llama 3-70B-Instruct、Claude 3 Sonnet等更大量级的知名模型，而Gemma 2 9B 的排名甚至比肩Qwen 2 72B。基于Transformer解码器架构，与 Gemma 1 不同之处在于，Gemma 2 每隔一层交替使用局部滑动窗口注意力和全局注意力机制，引入了分组查询注意力（GQA）以提高推理速度，相比 Gemma 1 也使用了更深的网络结构。

（InternLM-XComposer-2.5，简称IXC-2.5）是基于大语言模型研发的突破性的图文多模态大模型，仅使用7B LLM 后端就达到了 GPT-4V 级别的能力。使用24K交错的图像-文本上下文进行训练，通过ROPE外推可以无缝扩展到 96K 长的上下文。这种长上下文能力使在需要广泛输入和输出上下文的任务中表现出色。

智谱AI 旗下的代码生成大模型 CodeGeeX 正式发布第四代开源版本：CodeGeeX4-ALL-9B，其是集代码补全和生成、代码问答、代码解释器、工具调用、联网搜索、项目级代码问答等能力于一体的代码大模型，是目前百亿（10B）参数以下性能最强、最全能的代码大模型。模型的核心功能 Demo 和使用教程已经在 GitHub 上开源，模型权重可在 HuggingFace、ModelScope、WiseModel 等大模型平台下载。

书的地址：https://livebook.manning.com/book/build-a-large-language-model-from-scratch/这本书用清晰的文字、图表和示例解释每个阶段，从最初的设计和创建，到采用通用语料库进行预训练，一直到针对特定任务进行微调。配套的代码：https://github.com/rasbt/LLMs-from-scratch。，我将分享更多自己的学习心得、避坑总结、面试经验、AI最新技术资讯。这本书的配套代码也已经在 GitHub 上开源了。

覆盖了丰富多样的研究领域，包括视觉与图形、单视图3D重建、视觉语言推理、基于医学和物理学的视觉、自主导航和自我中心视觉、3D技术、行动和动作识别、数据和评估、多视角与传感器融合、低样本/无监督/半监督学习、地位视觉和遥感、图像与视频合成以及多模态学习。（CVPR）在美国西雅图拉开帷幕。该奖项授予那些经得起时间检验的论文，2024年的 Longuet-Higgins 奖表彰了2014年在CVPR上发表的最具影响力的论文。学术界贡献了 39.4% 的论文，产业与学术界的合作贡献了 27.6% 的论文。

自1974年起，美国计算机协会计算机图形专业组（ACM SIGGRAPH）每年都会组织一次SIGGRAPH会议，是代表计算机图形学最高水平的全球国际性重量级盛会，规模大，规格高，影响力大，作品征集面广。论文 2：Femto-Photography: Capturing and Visualizing the Propagation of Light (2013)SIGGRAPH 2024 从数百篇投稿论文中评选出了 5 篇最佳论文，12 篇最佳论文荣誉提名以及 4 篇时间检验奖论文。

6月12日，国际数据公司 IDC 发布《中国大模型市场主流产品评估，2024》，从基础能力到应用能力 7 大维度对 11 家大模型厂商的 16 款市场主流产品进行实测。结果显示，百度位于第一梯队，是唯一一家在7大维度上均为优势厂商的企业。图注：IDC 题目类型IDC 采取实测的方式，成立产品测试团队，通过多个维度对基础大模型及相关产品进行评测，并邀请外部专家团队深入分析各个产品答案准确性、合理性等，在审核委员会的监督下，最终得出各厂商的评估结果，供用户选型参考。

作为计算机视觉领域的顶级会议，CVPR 每年都会吸引大量研究机构和高校参会。4月5日，CVPR官方发文称，今年共提交了 11532 份有效论文，2719 篇论文被接收，录用率为23.6%。与去年相比，共有 9155 篇论文提交，2359 篇论文接收，录用率降低2.2%。CVPR、ICCV、ECCV被誉为计算机视觉和模式识别领域最顶级的学术会议。与另两个顶会不同，CVPR每年举办一次。CVPR 2024 将于6月17日-21日在美国西雅图召开。

在上述数据集的基础上，团队推出了 FineWeb-Edu，这是 FineWeb 的一个子集，专注于教育内容，表现优于所有公开可访问的网络数据集。FineWeb-Edu 子集基于最近出现的一种过滤 LLM 训练数据集的新方法：使用合成数据来开发识别教育内容的分类器。为此，FineWeb 团队就深入探讨了如何创建一个用于 LLM 预训练的大型高质量网络规模数据集，并讨论了大规模数据质量的处理和评估、FineWeb 配方（列出并解释了所有的设计选择）以及创建 FineWeb-Edu 子集的过程。

5月30日，OpenAI 宣布，ChatGPT正式向所有用户免费开放！ChatGPT 免费用户现在可以尝试更多 GPT-4o 的新功能，包括访问自定义 GPT 模型、数据分析和图表创建等。此前这些高级功能仅对付费用户开放，现在所有用户均可体验这些功能。不过，在使用次数上官方没有更新公告，预计还是会有一定次数限制。这对于免费用户来说可是大好事，但是对付费用户就有点扎心了，不禁质问：如果每个人都免费，为什么我要付费？其实，免费用户和付费用户还是存在一些区别的。

近年来，多语言大模型（MLLM）发展迅速，但大多数模型的性能依然存在显著差距，尤其是在非英语语言方面表现不佳。为了解决上述问题，最近，加拿大AI独角兽公司 Cohere 开源了两种参数规模的多语言指令微调模型Aya-23，包括 8B 和 35B 的版本，其性能超越了 Gemma、Mistral 等同类模型，并首次支持了中文。论文链接：https://arxiv.org/pdf/2405.15032。

得益于 VisCPM 的跨语言泛化技术，在中英双语多模态能力的基础上，MiniCPM-Llama3-V 2.5 仅通过少量翻译的多模态数据的指令微调，高效泛化支持了德语、法语、西班牙语、意大利语、俄语等 30+ 种语言的多模态能力，几乎覆盖了所有一带一路的国家，意味着全球上百个国家的数十亿人口，都能与 MiniCPM-Llama3-V 2.5 丝滑交互。OCR 技术进一步打磨，复杂推理与多模态识别能力再进化，MiniCPM-Llama3-V 2.5 对于难图、长图、长文本的精准识别，再度带来出众表现！

在计算机视觉方面，Ilya 推荐了 2012 年 ImageNet 图像识别大赛中图灵奖得主 Geoffrey Hinton 组的论文《ImageNet Classification with Deep Convolutional Neural Networks》，这篇论文提出了 AlexNet，引入了全新的深层结构和 dropout 方法，颠覆了图像识别领域，甚至被认为开启了深度学习革命。Transformer 架构今天已经成为人工智能领域的主流基础架构，特别是它是生成式 AI 模型的核心架构。

5 月 22 日，历时4个月打磨，百川智能发布最新一代基座大模型 Baichuan 4，并推出成立之后的首款AI助手“百小应”。相较于前代Baichuan 3，迭代后的Baichuan 4在各项能力上均有极大提升，其中通用能力提升超过10%，数学和代码能力分别提升14%和9%，在国内权威大模型评测机构SuperCLUE的评测中，模型能力国内第一。

4月24日，苹果开源了大语言模型（Open-source Efficient Language Models，即“开源高效语言模型”）。这与微软刚开源的Phi-3-mini类似，是一款专门针对手机等移动设备的模型。系列模型包含共4个不同参数版本，共包括，提供生成文本、代码、翻译、总结摘要等功能。基于较小的参数量，这些模型可在端侧设备上独立运行，而不必连接云端服务器。

Phi-3-medium-14B 是新增的最大参数版本的Phi模型，参数140亿，架构与最小的Phi-3-mini-3.8B 相同，但是训练的epoch更多，训练的数据量和 Phi-3-small-7B 一样，4.9万亿tokens。当地时间 4 月 23 日，微软发布了 Phi-3 系列模型，最小参数38亿，最大规模拓展到了140亿，包含3个版本，分别是Phi-3-mini-3.8B、Phi-3-small-7B 和 Phi-3-medium-14B。该模型的体积很小，可以部署在手机上。

Meta 正式开源Llama 3，发布8B、70B参数大小的基础模型和指令微调模型版本，是同等规模中的最佳模型。此外，Llama 3 最大的模型规模超过400B，虽然该模型正在训练中，但 Meta 表示未来将发布多个具有新功能的模型，包括多模态、多语言对话能力、更长的上下文窗口和更强大的性能，并将推出新的模型尺寸版本和公开 Llama 3 的研究论文。相比前两代，Llama 3 在训练成本、训练时间、模型架构等多个方面有了很大的升级。上下文长度：Llama系列的上下文长度一直在增长。

当地时间4月18日，Meta 官宣发布其最新开源大模型 Llama 3。目前，Llama 3 已经开放了 80亿 和 700亿 两个小参数版本，上下文窗口为8K。未来还有4000亿参数版本，支持多模态、超长上下文、多国语言！

上周，Stability AI 开源 Stable Code Instruct-3B，Mistral AI 宣布 Mistral 7B v0.2 Base Model，Databricks 开源了其 MoE 模型 DBRX，通义千问团队发布 MoE 模型：Qwen1.5-MoE-A2.7B，AI21 Labs 宣布开源 MoE 大模型 Jamba。

3月12日，美国AI初创公司Cognition AI在X平台发布一条视频，宣布了首位完全自主的AI程序员 Devin 的诞生。第一位接近人类的 AI 程序员，究竟强在哪里？不同于我们在前两年看到的 GitHub Copilot 等 AI 编程助手，Devin 并非单纯辅助的角色，而是能够完全独立、端到端地完成整个开发项目，包括从编写代码、修复 Bug 到最终执行的完整编程生命周期。Devin 不仅能自主学习新技术，自己改Bug，甚至还能训练和微调自己的AI模型，表现已然远超GPT-4等“顶流选手”。

根据官方公布的数据， XVERSE-MoE-A4.2B 模型的评测结果与阿里的Qwen1.5-MoE-A2.7B接近，超过了DeepSeek-16B-MoE模型，与Mistral-7B、LLaMA2 34B等在同一个水平。而与另外两个模型不同的是，XVERSE-MoE-A4.2B 固定了2个专家，每次推理的时候必然激活，而剩余的6个专家则是根据推理输入进行路由选择，这样做是为了保证模型在基础通用能力上获得对应的领域性能。Mistral-7B×8-MoE 是一个稀疏的混合专家网络，是一个纯解码器模型。

根据科技外媒The Information4月8日发布的报道，作为对标GPT-4的大模型，LLaMA 3的大规模版本参数量可能超过1400亿，而最大的LLaMA 2版本的参数量为700亿。同一天，OpenAI发布了 GPT-4 Turbo with Vision，这是最新的 GPT-4 Turbo 模型，具有视觉功能，可处理用户上传的照片、绘图和其他图像。4月10日，Mixtral-8×7B-MoE模型升级新版本，Mistral AI 开源了全新的Mixtral-8×22B-MoE大模型。

4月13日，马斯克AI初创公司xAI推出了其首款多模态大模型Grok-1.5V。除文本功能外，Grok现在可以处理各种各样的视觉信息，包括文档、图表、图表、屏幕截图、照片，并能进行多学科推理。自2023年11月推出聊天机器人Grok以来，马斯克xAI一直在追赶OpenAI的步伐。在刚刚过去的1个月内，xAI相继宣布将Grok-1开源、推出128k长文本Grok-1.5、推出Grok-1.5V多模态大模型三项重要进展。

，来自腾讯AI实验室和一些国内大学的研究团队，综述提出了LLM幻觉现象的分类法和评估基准，分析旨在减轻LLM幻觉的现有方法，并确定未来研究的潜在方向。将重点放在解决与数据相关的幻觉、与训练相关的幻觉和与推理相关的幻觉的方法上，每种方法都提供了量身定制的解决方案，以应对各自原因所固有的特定挑战。）从LLM幻觉的创新分类方法出发，深入探究了可能导致幻觉的因素，并对检测幻觉的方法和基准进行了概述。目前在LLM幻觉问题上已经有无数的研究，比如关于幻觉的检测、幻觉的评估基准分类、缓解幻觉的方法等。

文章目录盘点2023年Q3「值得推荐」的开源模型！基座模型LLaMA 2Baichuan 2ChatGLM2-6BQwen-14BInternLM-20BTigerbot-13BTigerbot-70B多模态模型LLaVA 1.5VisualGLM-6BVisCPMNexT-GPTMiniGPT-5Qwen-VLAgent开发AgentsAgentVerseAutoAgentsMetaGPTAutoGenAutoGPTAgentGPT微调框架OpenLLMLLaMA-Efficient-TuningXTun

然而，Meta 高举开源AI的旗帜，先后发布开源大模型 Llama、Llama2，选择向公众开放模型权重等技术细节，掀起了一场开放竞争的大语言模型竞赛，并形成了开源与专有大模型之间的抗衡。OpenAI 公布了的 GPT-4 技术报告，可参考的内容非常有限，几乎没有发布什么有价值的信息，Google的 PaLM 2 技术报告亦是如此，而 Anthropic 直接选择不发布 Claude 和 Claude 2 的技术报告。虽然专有闭源模型最受关注，但人们对开源且允许商业用途的 LLM 的兴趣在增加。

（2）推理步数上的优化：众所周知，扩散模型在推理时是一个迭代的去噪过程，迭代的步数越多，生成图片的质量越高，但时间代价也随着迭代步数线性增加。起初，AI 作图需要几天，再缩减到几十分钟，再到几分钟，出图时间在不断加速，问题是，究竟快到什么程度，才会在专业的美术从业者甚至普通大众之间普及开来？比如横图变竖图，竖图变横图等。（1）UNet 结构上的优化：通过分析原有 UNet 的速度瓶颈，本文提出一套 UNet 结构自动评估、进化流程，得到了更为高效的 UNet 结构（称为 Efficient UNet）。

这表明开源模型仍有很大的改进空间。通过在聊天机器人竞技场运行2个月收集的一部分用户数据的分析，团队确定了用户提示的8个主要类别： 写作、角色扮演、提取、推理、数学、编码、知识一（STEM）和知识二（人文社科）。图注：用户与LLaMA-13B和Vicuna-13B之间的多轮对话，开始是MMLU基准中的问题和后续指令，然后将GPT-4与上下文一起呈现，比较谁的答案更好。另外，团队还发布了更新的Vicuna-v1.3系列模型，参数量为70亿、130亿和330亿，在一个扩展的用户共享的对话集上训练，且权重已公开。

在峰会上，腾讯云首次公布了「腾讯云行业大模型」研究进展，其依托腾讯云TI平台打造行业大模型精选商店，为客户提供 MaaS(Model-as-a-Service) 一站式服务，助力客户构建专属大模型及智能应用。据了解，腾讯云已经联合行业头部企业，为金融、政务、文旅、传媒、教育等 10 大行业输出了 50 多个解决方案，凭借其一整套 MaaS 工具链帮助企业高效率、低成本地创建和部署 AI 应用。，我将分享更多自己的学习心得、避坑总结、面试经验、AI最新技术资讯。

根据 faldore 的介绍，他使用了 WizardLM 团队提供的原始训练脚本和未经过滤的数据集 ，在四块 A100 80GB 的显卡上训练了 36 小时和 60 小时，分别得到了 UNCENSORED WizardLM-7B 和 UNCENSORED WizardLM-13B 模型。之前，HuggingFace发布了个开源LLM的排行榜，主要是跟踪、排名和评估最新的大语言模型和聊天机器人，让所有人方便的观察到开源社区的进展和评估这些模型。但准确说，对于敏感问题的输出，用户具有所有权和控制权。

目前支持长上下文的开源大模型已经有支持65K的 MPT-7B-storyteller 和32K的ChatGLM2-6B，闭源大模型比如 Claude-100K and GPT-4-32K，但LMSYS Org的研究人员还是选择通过测试来印证它们是「李鬼」还是「李逵」。6月29日，来自LMSYS Org的研究人员发布了两个支持16k token上下文长度的开源大模型LongChat-7B和LongChat-13B，并测试了几个支持长上下文能力的几个大模型的实际表现。

推理性能提升了42%：基于 Multi-Query Attention 技术，ChatGLM2-6B有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。在主要评估LLM模型中文能力的 C-Eval 榜单中，截至6月25日 ChatGLM2 模型以 71.1 的分数位居榜首，超越GPT-4，而最新版本 ChatGLM2-6B 模型以 51.7 的分数位居第7，是榜单上排名最高的开源模型。