程序员面试、算法研究、机器学习、大模型/ChatGPT/AIGC、论文审稿、具身智能/人形机器人、RAG等16大系列集锦

作者：July，七月在线创始人兼CEO、结构之法算法之道blog之博主
时间：2010年10月-2024年12月，一直在不断更新中..
出处：http://blog.youkuaiyun.com/v_JULY_v 

前言

开博10年有余，回首这10余年，自己一开始侧重编程、面试、数据结构/算法，中途侧重数据挖掘、机器学习，近期则专攻AIGC/ChatGPT，而自己在本blog上也着实花费了巨大的时间和精力，写的东西可能也够几本书的内容了。然不管怎样，希望我能真真正正的为读者提供实实在在的价值与帮助

比如，下图是2023年ChatGPT、大模型、具身智能大爆发之前，每一年所写的文章「至于23年起，我开始疯狂更新的大模型、具身相关的文章 没有体现在下图」

下面，敬请观赏。有任何问题，欢迎随时不吝指正(同时，若你也能帮助回复blog内留言的任何朋友的问题，欢迎你随时不吝分享&回复，我们一起讨论，互帮互助，谢谢)

第一部分 经典重温：微软面试、算法研究、编程艺术、红黑树系列

一、微软面试100题系列

• 横空出世，席卷Csdn--评微软等数据结构+算法面试100题 （微软面试100题系列原题+答案索引）
• 微软100题   （微软面试完整第1-100题）
• 微软面试100题2010年版全部答案集锦（含下载地址）
• 全新整理：微软、谷歌、百度等公司经典面试100题[第101-160题]
• 全新整理：微软、Google等公司的面试题及解答[第161-170题]  
• 十道海量数据处理面试题与十个方法大总结  （十道海量数据处理面试题）
• 海量数据处理面试题集锦与Bit-map详解  （十七道海量数据处理面试题）
• 教你如何迅速秒杀掉：99%的海量数据处理面试题   （海量数据处理PDF）
• 九月腾讯，创新工场，淘宝等公司最新面试三十题（第171-200题） （2011年度九月最新面试三十题）
• 十月上旬百度，阿里巴巴，迅雷搜狗最新面试七十题（第201-270题） （2011年度十月上旬七十题）
• 十月下旬腾讯，网易游戏，百度最新校园招聘笔试题集锦(第271-330题)  （2011年度十月下旬校招）
• 九月十月百度人搜，阿里巴巴，腾讯华为笔试面试八十题(第331-410题)  （2012年度笔试面试八十题）
• 九月百度，迅雷，华为，阿里巴巴，最新校招笔试面试十(第411-470题)   （2013年度校招笔试面试十题）
• 上述微软面试100题系列(共计11篇文章，300多道面试题)的PDF文档近期已经制作出来，其下载地址为：微软面试100题系列之高清完整版PDF文档[带目录+标签]by_July_pdf-C++文档类资源-优快云下载

二、十五个经典算法研究与总结、目录+索引

• 一、A*搜索算法
• 一（续）、A*，Dijkstra，BFS算法性能比较及A*算法的应用
• 二、Dijkstra 算法初探          （Dijkstra算法系列4篇文章）
• 二（续）、彻底理解Dijkstra算法
• 二（再续）、Dijkstra 算法+fibonacci堆的逐步c实现
• 二（三续）、Dijkstra 算法+Heap堆的完整c实现源码
• 通俗理解动态规划：由浅入深DP并解决LCS问题(23年修订版)
• 如何通透理解：BFS和DFS优先搜索算法(23年修订版)
• 五、教你透彻了解红黑树     （红黑树系列6篇文章之其中两篇）
• 五（续）、红黑树算法的实现与剖析
• 六、教你初步了解KMP算法
• 六（续）、从KMP算法一步一步谈到BM算法
• 六（三续）、从头到尾彻底理解KMP   （KMP的PDF）
• 七、遗传算法 透析GA本质
• 八、再谈启发式搜索算法
• 九、图像特征提取与匹配之SIFT算法      (sift算法系列五篇文章)
• 九（续）、sift算法的编译与实现
• 九（再续）、教你一步一步用c语言实现sift算法、上
• 九（再续）、教你一步一步用c语言实现sift算法、下
• 九（三续）：SIFT算法的应用--目标识别之Bag-of-words模型
• 九（四续）、SIFT + KD_BBF算法 （此文第3部分）
• 十、从头到尾彻底理解傅里叶变换算法、上
• 十、从头到尾彻底理解傅里叶变换算法、下
• 十一、从头到尾彻底解析Hash表算法
• 十一（续）、倒排索引关键词Hash不重复编码实践
• 十二、快速排序算法      （快速排序算法3篇文章）
• 十二（续）、快速排序算法的深入分析
• 十二（再续）：快速排序算法之所有版本的c/c++实现
• 十三、通过浙大上机复试试题学SPFA 算法
• 十四、快速选择SELECT算法的深入分析与实现
• 十五、多项式乘法与快速傅里叶变换
• 最新的十五个经典算法研究的PDF文档0积分下载地址如下(1个月5000+人次下载)

三、程序员编程艺术第一~四十章集锦与总结

• 第一章、左旋转字符串
• 第二章、字符串是否包含问题
• 第三章、寻找最小的k个数
• 第三章续、Top K算法问题的实现
• 第三章再续：快速选择SELECT算法的深入分析与实现
• 三之三续、求数组中给定下标区间内的第K小（大）元素
• 第四章、现场编写类似strstr/strcpy/strpbrk的函数
• 第五章、寻找满足条件的两个或多个数
• 第六章、求解500万以内的亲和数
• 第七章、求连续子数组的最大和
• 第八章、从头至尾漫谈虚函数
• 第九章、闲话链表追赶问题
• 第十章、如何给10^7个数据量的磁盘文件排序
• 第十一章、最长公共子序列（LCS）问题
• 第十二~十五章：数的判断，中签概率，IP访问次数，回文问题（初稿）

• 第十六~第二十章：全排列/跳台阶/奇偶调序，及一致性hash算法

• 第二十一~二十二章：出现次数超过一半的数字，最短摘要的生成

• 第二十三、四章：杨氏矩阵查找，倒排索引关键词Hash不重复编码实践

• 第二十五章：Jon Bentley：90%无法正确实现二分查找

• 第二十六章：基于给定的文档生成倒排索引的编码与实践
• 第二十七章：不改变正负数之间相对顺序重新排列数组
• 第二十八~二十九章：最大连续乘积子串、字符串编辑距离
• 第三十~三十一章：字符串转换成整数，字符串匹配问题
• 第三十二~三十三章：最小操作数，木块砌墙问题
• 第三十四~三十五章：格子取数问题，完美洗牌算法
• 第三十六~三十七章、搜索智能提示suggestion，附近地点搜索
• 第三十八章：Hero在线编程判题、出题系统的演进与优化
• 第三十九~四十章：最近公共祖先LCA问题、打印螺旋矩阵
• 第四十一章~四十二章：荷兰国旗、矩阵相乘Strassen算法
• ...
• 程序员编程艺术第1~37章带标签的最新PDF下载地址为（3天3000人下载）
• 编程艺术github优化版阅读地址：https://github.com/julycoding/The-Art-Of-Programming-By-July-2nd
• 重大消息：经过反复修改、优化，编程艺术系列最终成书出版，并改名为《编程之法：面试和算法心得》，目前京东、当当、亚马逊等各大网店均已有现货销售。京东抢购地址：《编程之法：面试和算法心得(异步图书出品)》(July)【摘要 书评 试读】- 京东图书，且23年Q4将上市第二版

四、红黑树、B树、R树、Trie树

• 教你初步了解红黑树  （红黑树系列）
• 红黑树算法的实现与剖析
• 红黑树的C实现完整源码
• 一步一图一代码，R-B Tree
• 红黑树插入和删除结点的全程演示
• 红黑树的C++完整实现源码
• 从2-3-4树谈到Red-Black Tree（红黑树）
• 从B树、B+树、B*树谈到R 树   （B树的PDF）
• B树的C 实现
• 从Trie树（字典树）谈到后缀树  （其余树结构）
• 从LSM-Tree、COLA-Tree谈到StackOverflow、OSQA

第二部分 从AI到大模型：机器学习、ChatGPT、改造Transformer、AIGC与多模态等

五、机器学习十大算法系列

• 5.1 AI数学基础

• 概率统计极简入门：通俗理解微积分/期望方差/正态分布前世今生(23修订版)
• 一文通透优化算法：从随机梯度、随机梯度下降法到牛顿法、共轭梯度
• ..

• 5.2 AI工程实践

• 一文读懂特征工程
• 教你从头到尾利用DL学梵高作画：GTX 1070 cuda 8.0 tensorflow gpu版
• 没GPU也能玩梵高作画：Ubuntu tensorflow CPU版
• 基于torch学汪峰写歌词、聊天机器人、图像着色/生成、看图说话、字幕生成
• 教你从头到尾利用DQN自动玩flappy bird（全程命令提示，GPU+CPU版）
• 手把手教你搭建caffe及手写数字识别（Ubuntu下且附mac、纯通俗教程）
• 如何从零起步学习AI（附学习路线）
• GAN之父在NIPS 2016上做的报告：两个竞争网络的对抗（含译文下载）
• Kaggle—So Easy!百行代码实现排名Top 5%的图像分类比赛
• BAT机器学习面试1000题系列（第1~500题）

• 5.3 AI经典模型：从SVM XGBoost CNN RNN LSTM

• 数据挖掘领域十大经典算法初探
• 从K近邻算法、距离度量谈到KD树、SIFT+BBF算法，2012年11月
• 从决策树学习谈到贝叶斯分类算法、EM、HMM，2012年5月
• 支持向量机通俗导论（理解SVM的三层境界）   PDF下载    LaTeX版本1    LaTeX版本2，2012年6月
• 最大熵模型中的数学推导，2014年10月
• 如何通俗理解EM算法，2018年8月
• Adaboost 的原理与推导    LaTeX版本下载，2014年11月
• 从拉普拉斯矩阵说到谱聚类，2014年11月
• 从贝叶斯方法谈到贝叶斯网络    LaTeX版本下载，2014年11月
• 通俗理解LDA主题模型    LaTeX版本下载，2014年11月
• CNN笔记：通俗理解卷积神经网络，2016年7月
• 图解CNN：通过100张图一步步理解CNN，2018年3月
• 一文读懂目标检测：R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD，2018年5月
• ​​​​​​通俗理解kaggle比赛大杀器xgboost，2018年8月
• 如何从RNN起步，一步一步通俗理解LSTM，2019年5月
• 如何通俗理解Word2Vec，2019年10月首发，后2023年全面修订
• GNN通俗笔记：图神经网络在推荐/广告中的应用，2021年3月
• 通俗理解卡尔曼滤波（感知融合的经典算法），2021年9月
• ..

六、大模型与ChatGPT系列：原理、论文、代码、应用

• 6.1 ChatGPT与o1的原理与实现系列

• ChatGPT技术原理解析：从RL之PPO算法、RLHF到GPT-N、instructGPT
• 强化学习极简入门：通俗理解MDP、DP MC TC和Q学习、策略梯度、PPO
• 从零实现带RLHF的类ChatGPT：逐行解析微软DeepSpeed Chat的源码
• RLHF的替代算法之DPO原理解析：从RLHF、Claude的RAILF到DPO、Zephyr
• LLM/ChatGPT与多模态必读论文150篇(已更至第101篇)
• 一文通透OpenAI o1：从CoT、Quiet-STaR、Self-Correct、Self-play RL、MCST等技术细节到工程复现

• 6.2 国内外类ChatGPT：比如Llama2、Llama3、Llama3.1

• LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
• 详解带RLHF的类ChatGPT：从TRL、ChatLLaMA到ColossalChat、DSC
• ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
• baichuan7B/13B的原理与微调：从baichuan的SFT实现到baichuan2的RLHF实现
• 一文速览Llama 3：从Llama 3的模型架构到如何把长度扩展到100万——基于NTK-aware插值
• 一文速览Llama 3.1——对其92页paper的全面细致解读：涵盖语言、视觉、语音的架构、原理

• // 待更..

• 6.3 大模型背后的关键技术与前沿发展：LoRA/并行训练/长度扩展

• LLM高效参数微调方法：从Prefix Tuning、Prompt Tuning、P-Tuning V1/V2到LoRA、QLoRA(含对模型量化的解释)
• 大模型并行训练指南：通俗理解Megatron-DeepSpeed之模型并行与数据并行
• 大模型长度扩展综述：从直接外推ALiBi、插值PI、NTK-aware插值(对此介绍最详)、YaRN到S2-Attention
• 大模型上下文长度的超强扩展：从LongLoRA到LongQLoRA(含源码剖析)

• 6.4 医疗及LLM与KG、DB的结合

• 医疗金融法律大模型：从ChatDoctor到BloombergGPT/FinGPT/FinBERT、ChatLaw/LawGPT_zh
• 知识图谱实战导论：从什么是KG到LLM与KG/DB的结合实战
• ..// 待更..

七、对Transformer的各种改进与挑战：mamba、KAN、TTT、vLLM及各种注意力等

• 7.1 改进Transformer与注意力：KAN、TTT、Flash Attention、PagedAttention

• Transformer通俗笔记：从Word2Vec、Seq2Seq逐步理解到GPT、BERT
• 从零实现Transformer的简易版与强大版：从300多行到3000多行
• 一文通透位置编码：从标准位置编码、旋转位置编码RoPE到ALiBi、LLaMA 2 Long(含NTK-aware简介)
• 一文通透各种注意力：从多头注意力MHA到分组查询注意力GQA、多查询注意力MQA
• 一文通透想取代MLP的KAN：通俗理解Kolmogorov-Arnold定理和KAN的方方面面
• 一文通透TTT：让RNN的隐藏层变成可学习的函数——继mamba之后也想超越Transformer
• 通透理解FlashAttention(含其2代和第3代)：全面降低显存读写、加快计算速度
• 一文通透vLLM与其核心技术PagedAttention：减少KV Cache碎片、提高GPU显存利用率(加速推理利器)

• 7.2 挑战Transformer：mamba、mamba2、mamba各种变体

• 一文通透想颠覆Transformer的Mamba：从SSM、HiPPO、S4到Mamba(被誉为Mamba最佳解读)
• 一文通透mamba2「力证Transformer are SSM」：从SSM、半可分矩阵、SMA、SSD到mamba2
• ​​​​​​一文速览mamba的各种变体与改进：从MoE-Mamba、Vision Mamba、VMamba、Jamba到Falcon Mamba
• ..

​八、火爆全球的DeepSeek系列模型：涉及V3、R1的原理及其复现

• 8.1 DeepSeek V2/V3系列

• 一文速览DeepSeekMoE及相关MoE大模型：从Mixtral 8x7B到DeepSeekMoE(含DeepSeek LLM的详解)、Qwen2.5-Max
• 一文速览DeepSeekMath及GRPO：通俗理解群体相对策略优化GRPO(含DeepSeek-Coder的简介)
• 一文通透DeepSeek V2：详解Math版提出的GRPO、V2版提出的MLA(改造Transformer注意力)
• 一文通透让Meta恐慌的DeepSeek-V3：在MoE、GRPO、MLA基础上提出Multi-Token预测(含FP8训练详解)

• 8.2 DeepSeek R1、Prover系列

• 一文速览DeepSeek R1：如何通过纯RL训练大模型的推理能力以比肩甚至超越OpenAI o1(含Kimi K1.5解读)
• 一文速览DeepSeek-R1的本地部署——可联网、可实现本地知识库问答：包括671B满血版和各个蒸馏版的部署
• MLA实现及其推理上的十倍提速——逐行解读DeepSeek V2中多头潜在注意力MLA的源码(图、公式、代码逐一对应)
• MTP——我对DeepSeek V3中多token预测MTP的代码实现(含对V3官方MoE、MLA推理代码的解读)
• R1-Zero与R1的复现之路——从Open-Reasoner-Zero到Open R1：先后涉及规则奖励下的PPO迭代，及SFT+GRPO的复现
• 一文速览可证数学定理的DeepSeek-Prover系列模型：从Prover V1、Prover V1.5到DeepSeek-Prover V2
• .....

九、多模态与AIGC发展史：赋能图像及视频生成、具身智能

• 9.1 AIGC/AI绘画/CV多模态/图像生成、提问VLM项目

• 图像生成发展起源：从VAE、VQ-VAE、扩散模型DDPM、DETR到ViT、Swin transformer
• AI绘画原理解析：从CLIP、BLIP到DALLE、DALLE 2、DALLE 3、Stable Diffusion
• 图像分割的大变革：从SAM(分割一切)到FastSAM、MobileSAM
• 文生图中从扩散模型到流匹配的演变：从SDXL到Stable Diffusion3(含Flow Matching和Rectified Flow的详解)
• 从DINO、DINOv2到DINO-X——自监督视觉Transformer的升级改进之路(基于ViT)
• 一文通透Qwen多模态大模型：从Qwen-VL、Qwen2-VL到Qwen2.5-VL(含我司提问VLM项目的实现思路)

• 9.2 视频生成，含OpenAI首个视频生成模型sora

• Sora之前的视频生成发展史：从Gen2、Emu Video到PixelDance、SVD、Pika 1.0
• 视频生成Sora的全面解析：从AI绘画、ViT到ViViT、TECO、DiT、VDT、NaViT等
• 视频生成Sora的从零复现：从Latte、Open-Sora 1.0到StreamingT2V
• Diffusion Transformer(DiT)——将扩散过程中的U-Net换成ViT：近频繁用于视频生成与机器人动作预测(含清华PAD详解)
• Google发布Genie硬杠Sora：通过大量无监督视频训练最终生成可交互虚拟世界

• 9.3 其他生成：代码生成

• 代码生成的原理解析：从Codex、GitHub Copliot到CodeLlama(用了NTK-aware)、CodeGeex

• 9.4 赋能自动驾驶、具身智能

• 2024自动驾驶(多模态)大模型综述：从DriveGPT4、DriveMLM到DriveLM、DriveVLM
• 多模态LLaVA系列与Eagle 2——从组合CLIP ViT和Vicuna的LLaVA，到英伟达开源的VLM Eagle 2(用于人形VLA GR00T N1中)
• // 待更

第三部分 大模型加速驱动协作机器人、具身智能、人形机器人的发展

十、ALOHA ACT/umi/LeRobot/dexcap系列

• 10.1 ALOHA ACT系列：mobile aloha为代表的IL

• 以Mobile ALOHA为代表的模仿学习的爆发：从Dobb·E、Gello到斯坦福ALOHA、UMI、DexCap、伯克利FMB
• 一文通透动作分块算法ACT：斯坦福Moblie Aloha所用的动作序列预测算法(Action Chunking with Transformers)
• 逐行解读ACT的实现：斯坦福Mobile Aloha之动作分块算法ACT的代码剖析、训练部署
• SRT——基于模仿学习的手术机器人：来自约翰霍普金斯大学和斯坦福ALOHA团队
• YAY Robot——斯坦福和UC伯克利开源的：人类直接口头喊话从而实时纠正机器人行为(含FiLM详解)

• 10.2 Diffusion Policy系列：umi与dexcap

• UMI——斯坦福刷盘机器人：从手持夹持器到动作预测Diffusion Policy(含代码解读)
• Diffusion Policy——斯坦福机器人UMI所用的动作预测策略：从原理到其编码实现(含Diff-Control详解)
• 斯坦福UMI代码解析：刷盘机器人Universal Manipulation Interface代码的整体解读
• Fast-UMI——改进斯坦福UMI的硬件：用RealSense T265替代SLAM且实现机械臂的迁移与平替
• 机器人领域中的scaling law：通过复现斯坦福机器人UMI——探讨数据规模化定律(含UMI的复现关键)
• DexCap——斯坦福李飞飞团队泡茶机器人：带灵巧手和动作捕捉的数据收集系统(含硬件清单)
• 斯坦福泡茶机器人DexCap源码解析：涵盖收集数据、处理数据、模型训练三大阶段
• //..

• 10.3 LeRobot系列：封装了ACT/DP/π0等

• LeRobot——Hugging Face打造的机器人开源库：包含对顶层script、与底层基础层dataset的源码分析
• LeRobot源码剖析——对机器人各个动作策略的统一封装：包含ALOHA ACT、Diffusion Policy、VLA模型π0

十一、HIL-SERL为代表的RL机器人

• 伯克利Digit——基于下一个token预测技术预测机器人动作token：从带RL到不带RL的自回归预测
• HIL-SERL——UC伯克利开源的通用灵巧机器人框架：结合视觉和人类示教与纠正的RL方法(可组装电脑主板和插拔USB)
• RL微调VLA模型——从通过RLAIF微调的GRAPE，到通过在线RL改进的Re-VLA
• VITAL——结合ResNet视觉与MLP触觉且带语义增强的适用于精密操作的可泛化BC：先VLM定位、后执行在线残差RL微调的策略(MLP作为动作头)
• WSRL——热启动的RL如何20分钟内控制机器人：先离线RL预训练，之后离线策略热身(模拟离线数据保留)，最后丢弃离线数据做在线RL微调
• Q-chunking——带有动作分块的强化学习：基于人类演示，进行一定的连贯探索(且可做到无偏的n步价值回溯)

十二、VLM规划下加约束：SayCan、ReKep等

• 12.1 不微调VLM，直接prompt VLM，让其给机器人做任务规划

• 让VLM充当机器人大脑——不微调直接提示VLM做顶层任务规划：从SayCan、VoxPoser到ViLA、CoPa、ReKep
• ReKep——李飞飞团队提出的新一代机器人操作方法：基于视觉语言模型和关键点约束
• VLM驱动机器狗——从UMI on Legs到Helpful DoggyBot：分别把机械臂装到机器狗背上、夹爪装到机器狗嘴里
• 基于人类视频的模仿学习与VLM推理规划：从DexMV、MimicPlay、SeeDo到人形OKAMI、Harmon(含R3M的详解)

十三、机械臂VLA发展史：RT2/OpenVLA/3D VLA

• 12.1 从robot VLM到VLA

• 机器人大小脑的整合——从微调VLM起步的VLA发展史：详解RoboFlamingo、Octo、TinyVLA、DexVLA
• DexVLA——在VLM上插上1B大小的扩散动作专家：使用带有子步骤推理注释的演示数据训练，15小时搞定叠衣服(含源码解析)
• Google视觉机器人超级汇总：从RT、RT-2到AutoRT/SARA-RT/RT-Trajectory、RT-H
• 一文通透OpenVLA及其源码剖析——基于Prismatic VLM(SigLIP、DinoV2、Llama 2)及离散化动作预测
• OpenVLA-OFT——微调VLA时加快推理的三大关键设计：支持动作分块的并行解码、连续动作表示以及L1回归(含输入灵活化及对指令遵循的加强)
• 一文速览CogACT及其源码剖析：把OpenVLA的离散化动作预测换成DiT，逼近π0(含DiT的实现)
• 一次性总结数十个具身模型(2024-2025)：从训练数据、动作预测、训练方法到Robotics VLM、VLA(如π0等)
• RoboVLM——通用机器人策略的VLA设计哲学：如何选择骨干网络、如何构建VLA架构、何时添加跨本体数据
• 3D版的VLA：从3D VLA、SpatialVLA到PointVLA——3D点云版的DexVLA，在动作专家中加入3D数据
• ..

十四、通用机械臂之路: π0等VLA sota模型

• 14.1 机器人大模型之演变

• 字节GR2——在大规模视频数据集上预训练且机器人数据上微调，随后预测动作轨迹和视频(含GR1详解)
• RDT——清华开源的双臂机器人扩散大模型：先预训练后微调，支持语言、图像、动作多种输入(1B参数)
• RoboMM..

• 14.2 开源vla sota π0模型，涉及源码剖析、微调等

• π0——用于通用机器人控制的流匹配VLA模型：一套框架控制7种机械臂(基于PaliGemma和ACT的3B模型)
• π0开源了且推出自回归版π0-FAST——打造机器人动作专用的高效Tokenizer：比扩散π0的训练速度快5倍但效果相当
• π0源码剖析——从π0模型架构的实现(如何基于PaLI-Gemma和扩散策略去噪生成动作)，到基于C/S架构下的模型训练与部署
• 对开源VLA sota π0的微调——如何基于各种开源数据集、以及你自己的私有数据集微调π0(含我司的微调实践)
• Hi Robot——大脑加强版的π0：基于「VLM的高层次推理+ VLA低层次任务执行」的复杂指令跟随及交互式反馈
• π0.5——让VLA走出实验室，泛化在开放世界中的π0推理加强版：同一个模型中先高层拆解出子任务，后低层执行子任务
• π0.5的KI改进版——知识隔离：让VLM在不受动作专家负反馈的同时，输出离散动作token，并根据反馈做微调(而非冻结VLM)
• 实时动作分块RTC——为解决高延迟，让π0.5也可以点燃火柴、插入网线：执行当前动作分块时生成下一个分块，且已执行的冻结 未执行的则补全
• ..

十五、人形的运控与行走操作开发：locomotion/loco-manipulation

• 15.1 人形locomotion：Exbody/H2O/ASAP

• HumanPlus——斯坦福ALOHA团队开源的人形机器人：融合影子学习技术、RL、模仿学习
• HumanPlus(斯坦福人形机器人)的代码解读与复现关键：从HST到HIT、HardWare
• 人体姿态估计WHAM与手势估计HaMeR：人形机器人重定向的关键技术之一(含SMPL-X的详解)
• OmniH2O——通用灵巧且可全身远程操作并学习的人形机器人(其前身H2O是HumanPlus的重要参考)
• Exbody 2——从MDM、RobotMDM到UC San Diego的Exbody：人体运动扩散模型赋能机器人的训练
• 基于人类视频的模仿学习与VLM推理规划：从DexMV、MimicPlay、SeeDo到人形OKAMI、Harmon(含R3M的详解)
• 从视频中学习：从Humanoid-X、UH-1的自动打字幕，到首个人形VLA Humanoid-VLA(自监督数据增强且整合第一人称视角)
• 英伟达HOVER——用于人形机器人的多功能全身控制器：整合不同的控制模式且实现彼此之间的无缝切换
• ViLLA——继AgiBot World之后，智元发布GO1及其背后基于潜在动作的VLA架构ViLLA：利用海量的无标注视频做训练(含LAPA、Moto的详解)
• ASAP——让宇树G1后仰跳投且跳舞：仿真中重现现实轨迹，然后通过增量动作模型预测仿真与现实的差距，最终缩小差距以对齐
• 从RoboMimic、DeepMimic到带物理约束的MaskMimic——人形全身运控的通用控制器：自此打通人类-动画-人形的训练路径

• 15.2 人形loco-manipulation：AMO/HOMIE

• 人形loco-manipulation专题——涵盖Mobile-TeleVision、下肢RL-上肢模仿的AMO、上下双智能体联合训练的FALCON
• HOMIE——遥操类似ALOHA主从臂的外骨骼驾驶舱收集数据：通过上肢模仿学习和全身控制RL训练自主策略
• CLONE——面向长时任务的闭环VR全身遥操：其MoE架构可实现“蹲着走”，且LiDAR里程计解决位置偏差，更增强AMASS数据集
• Being-0——集操作、导航、运动为一体的机器人Agent框架：GPT4o高层感知并推理规划、低层VLM导航适配，最终执行技能库
• 从R2S2到OpenWBT——提高人形的到达能力：模仿教师策略下RL探索新行为，最终实现技能之间的协调与切换
• TWIST——基于动捕的全身遥操模仿学习：教师策略RL训练，学生策略结合RL和BC联合优化

十六、人形的manipulation开发：iDP3/GR00T N1/大模型赋能

• 16.1 斯坦福的iDP3系列，包含全套代码的解析

• 斯坦福通用人形策略iDP3——同一套策略控制各种机器人：改进3D扩散策略，不再依赖相机校准和点云分割
• iDP3的Learning代码解析：逐步分解iDP3的数据集、模型、动作预测策略代码(包含2D和3D两个版本)
• iDP3的训练与部署代码解析：从数据可视化vis_dataset.py、训练脚本train.py到部署脚本deploy.py
• iDP3的人形遥操代码分析：从数据收集、数据转换到VR安装、人形机器人遥控
• Fourier-Lerobot——把斯坦福人形动作策略iDP3封装进了Lerobot(含我司七月人形研发落地实践)

• 16.2 基于宇树等人形机器人的二次开发

• UC San Diego的三大机器人：AnyTeleop、Open-TeleVision、Bunny-VisionPro——从RGB相机到VR远程控制机器人
• Open-TeleVision源码解析——宇树摇操方案的重要参考：VR控制人形机器人采集数据
• 从宇树摇操avp_teleoperate到unitree_IL_lerobot：如何基于宇树人形进行二次开发
• NaVILA——可语音交互的用于四足和人形导航与避障的VLA模型：在VLM的导航规划下，执行基于视觉的运动策略(含NaVILA和rsl_rl的源码解析)
• Helix——Figure 02发布通用人形机器人控制的VLA：一组神经网络权重下的快与慢双系统，让两个机器人协作干活
• GR00T N1——英伟达开源的通用人形VLA：类似Helix的快与慢双系统，且可类似ViLLA利用海量的无标注视频做训练

第四部分 我司七月的部分大模型实践：科研论文大模型、RAG、智能体等

十七、七月科研论文大模型：含论文的审稿微调、阅读、写作、修订

• 17.1 七月论文审稿GPT(从第1版到第6版)

• 23年Q3至24年Q1：第一轮
• 七月论文审稿GPT第1版：通过3万多篇paper和10多万的review数据微调RWKV
• 七月论文审稿GPT第2版：用一万多条paper-review数据微调LLaMA2 7B最终反超GPT4
• 七月论文审稿GPT第2.5和第3版：分别微调GPT3.5、Llama2 13B以扩大对GPT4的优势
• 七月论文审稿GPT第3.2版和第3.5版：通过paper-review数据集分别微调Mistral、gemma
• 一文速览Mistral 7B及其微调——我司论文审稿GPT第3.2版：微调Mistral 7B instruct 0.2
• 七月论文审稿GPT第4版：通过paper-review数据集微调Mixtral-8x7b，对GPT4胜率超过80%
• 七月论文审稿GPT第4.2版：通过15K条paper-review数据微调Llama2 70B(含各种坑)
• 24年Q2至24年Q3：第二轮
• 提升大模型数据质量的三大要素：找到早期paper且基于GPT摘要出来7方面review(七月论文审稿GPT第4.5/4.6/4.8版)
• 微调LLama 3——七月论文审稿GPT第5版：拿早期paper-7方面review数据集微调LLama 3
• 一文速览Gemma 2及其微调：从论文审稿GPT第3.5版(微调Gemma)，到第5.2版(早期paper-7方面review微调Gemma2)
• 微调LLama 3.1——七月论文审稿GPT第5.5版：拿早期paper-review数据集微调LLama 3.1
• ...
• 康奈尔大学之论文审稿模型Reviewer2及我司七月对其的实现(含PeerRead)
• ..

• 17.2 论文的阅读：基于大模型的翻译系统、检索、摘要、对话系统

• 学术论文GPT的源码解读与二次开发：从ChatPaper到gpt_academic
• // 待更..

• 17.3 论文的写作：idea的提出(涉及论文的抓取 检索 召回 排序 提炼)

• 基于大模型的idea提炼：从ResearchAgent，到斯坦福的AI-Researcher、上海AI实验室的VIRSCI
• 让AI写论文——全流程全自动的AI科学家：基于大模型提炼idea、写代码、做实验且最终写成论文
• ..

• 17.4 七月硕士论文助手——论文修订、语法纠错、润色等

• // 待更

十八、RAG知识库问答系列

• 18.1 七月RAG第一版之探索，基本流程与基本框架

• LangChain+LLM的本地知识库问答：从企业单文档问答到批量文档问答
• 知识库问答LangChain+LLM的二次开发：商用时的典型问题及其改进方案
• 一文通透Text Embedding模型：从text2vec、openai-ada-002到m3e、bge
• 一文掌握文本语义分割：从朴素切分、Cross-Segment到阿里SeqModel

• 18.2 七月RAG第二版之探索，通用文档处理

• 从零实现本地知识库问答——详解基于OCR和文本解析器的新一代RAG引擎：RAGFlow(含源码剖析)

十九、智能体Agent项目

• 19.1 AI Agent

• 智能体AI Agent的极速入门：从ReAct、AutoGPT到AutoGen、QwenAgent、XAgent、MetaGPT
   

二十、其它重要文章节选

• 20.1、经典数据结构 & 算法系列

• 精通八大排序算法系列：一之续、快速排序算法的深入分析

  几个最短路径算法Floyd、Dijkstra、Bellman-Ford、SPFA的比较

• 20.2、数据处理/网站架构系列

• 从Hadhoop框架与MapReduce模式中谈海量数据处理

  MapReduce技术的初步了解与学习

  海量数据处理之Bloom Filter详解

  从上百幅架构图中学大型网站建设经验（上）

• Chrome源码剖析、上--多线程模型、进程通信、进程模型
• Nginx源码剖析之内存池，与内存管理

• 20.3、推荐 & 搜索算法系列

• 细数二十世纪最伟大的10大算法     
• 当今世界最为经典的十大算法--投票进行时    （本blog将评选出当今世界最为经典的十大算法）
• 推荐引擎算法学习导论
• 搜索引擎技术之概要预览

• 20.4、其它

• 程序员如何快速准备面试中的算法
• 重启开源，分享无限--诚邀你加入微软面试187题的解题中
• 敏捷软件开发模型Scrum通俗讲义
• 由快速排序引申而来--如何学习算法
• Machine Learning读书会,面试算法讲座,创业活动,算法班(14年10月)   （含所有线下讲座PPT 集锦）
• 结构之法算法之道blog博文集锦第6、第7期CHM文件 第8期  第9期下载（第9期截止到2014年12月9日）
• ....

后记

世上本无路，走的人多了，也就成了路。世上本无免费的午餐，分享的人多了，也就造就了开源的辉煌

如果你发现了本blog中的任何一问题，请一定不吝指正，thanks。此外，你可以永久通过搜索引擎搜索本博客名称的前4个字，即：“结构之法” 这4个关键字，进入本博客。    最后，感谢优快云，感谢所有一直以来关注本blog的所有朋友。谢谢大家，谢谢。

转发送书

欢迎大家转发下条微博：Sina Visitor System，我会不定期抽奖，经典IT图书大赠送：

---

2024.09.19最新更新：2015年，July团队正式创业，创办七月在线，一开始做教育，后扩科技，先是「集AI大模型教育、应用开发、机器人解决方案为一体的科技公司」，后是：具身智能的场景落地与定制开发商