分享有趣的、贴近生活的CS知识

OpenAI结合其强大语言模型与视频处理技术，推出的跨领域、跨模态的人工智能体验Sora。通过这一功能，用户不仅可以进行文本交互，还能体验到视频内容的生成与理解，甚至通过与AGI的视频交互，获取实时的多模态反馈。简单来说，这意味着用户能够通过与AGI的对话，不仅仅局限于文字、图像等形式，还能与视频内容进行互动，甚至让AI根据对话内容实时生成视频、进行视频剪辑或提供视频分析。

OpenAI于2024年12天的第三次发布Sora正式推出，一款强大的文本到视频生成工具，提供高度的创意自由和个性化编辑功能。与此相比，可灵则通过其先进的技术和强大的视频生成能力，特别适合高质量、高频次的视频创作。Sora在创意自由和艺术表达上表现突出，而可灵则更侧重高效、智能的商业应用。两者各有特色，选择哪款工具取决于用户的创作需求与目标。

在 OpenAI 举办12天活动的第二天中，公司宣布开放了“Reinforcement Fine-Tuning”（RFT，强化微调）研究计划申请，以助力开发者优化复杂领域任务的模型表现。RFT 技术因其高效性和定制化能力备受关注，但也引发了与 RLHF（Reinforcement Learning with Human Feedback）的比较争议。本文详细解析 RLHF 和 RFT 的核心理念、流程图及代码示例，比较二者在优化目标、反馈来源及适用场景等方面的差异。RLHF 适用于通用语言模型的全局优化，