英伟达最新技术分享:手把手教你用Llama 3.1合成数据改进模型!附代码

Meta发布开源人工智能模型Llama 3.1 马克·扎克伯格将 Meta 在开源人工智能方面的投资与早期的开放计算项目进行了比较,他说,在建立自身能力时,让像惠普这样的外部公司帮助改进和标准化 Meta 的数据中心设计,为公司节省了数十亿美元。虽然 Llama 3.1 最先进的 4050 亿参数模型在 Meta AI 中可免费使用,但在给定的一周内超过未指定数量的提示后,助手将切换到规模较小的 700 亿模型。Meta AI 中的新Imagine Me功能通过您手机的摄像头扫描您的面部,然后让您将自己的形象插入其生成的图像中。今天,该大模型已经问世。 阅读详情

极市导读

适逢Llama 3.1模型刚刚发布,英伟达就发表了一篇技术博客,手把手教你如何好好利用这个强大的开源模型,为领域模型或RAG系统的微调生成合成数据。

Epoch AI上个月刚刚发文预言「数据墙」迫近,结果英伟达转头就甩出了340B开源巨兽Nemotron。

真实数据稀缺可能不再是问题了,Nemotron 9T token的预训练预料中,98%都是合成数据。

也许你还对合成数据存在顾虑,或者不知道如何应用LLM驱动数据生成。或许,英伟达的这篇博客可以提供答案。

图片

原文地址:https://developer.nvidia.com/blog/creating-synthetic-data-using-llama-3-1-405b/?linkId=100000275486093

首先我们需要理解,用LLM合成数据的本质究竟是什么?

合成数据并不是「从无到有」地创造新信息,而是对现有信息进行转换,生成不同的变体。

实际上,合成数据在AI领域的应用已经有十多年的历程,比如物体检测或分类系统中曾经的数据增强技术。

图片

那么,LLM带来了什么新变化呢?

从「需求端」来看,由于模型需要大量训练语料,合成数据的动机被大大增强。

而在「供给端」,生成式语言模型也为合成数据技术带来了质的改变。

用合成数据微调基座模型,可以更好地应用于实际场景。例如,在金融领域改进风险评估、在零售领域优化供应链、在电信领域提升客户服务,以及在医疗领域改善患者护理等等。

尤其是405B开源巨兽Llama 3.1最近正式上线,既可用于批处理和在线推理,也可以作为基座模型,进行特定领域的专门预训练或微调。

尤其是考虑到Llama 3.1有如此大的参数规模,加上丰富的15.6T token训练数据,非常适合用于数据生成。

这篇博客文章将介绍几个合成数据的生成与应用案例,并就其中一个进行深入探讨。

  • 合成数据的生成是推动GenAI在特定领域应用的关键工作流程
  • 将最新的Llama 3.1与英伟达Nemotron-4 340B奖励模型配合使用,非常适用于生成合成数据
  • 要让LLM生成基于最新信息的有根据的响应,构建RAG流程十分重要,而且模型响应的准确性取决于流程的质量。

LLM合成数据如何应用于GenAI

改进语言模型

要通过合成数据来微调模型,大致有两种方法——知识蒸馏(knowledge distillation)和自我改进(self-improvement)。

知识蒸馏是将大模型的能力转移到较小模型的过程,但不是简单地在同一个数据集上训练两个模型,因为较小模型很难学习到底层数据的准确表征。

在这种情况下,我们可以先让大模型完成任务,再使用这些数据指导小模型进行。

自我改进则是让同一个模型评判自己的推理过程,常被用于进一步磨练模型的能力。

让我们来看看如何实现这一目标。训练语言模型通常包括三个步骤:预训练、微调和对齐(alignment)。

预训练

预训练通常需要极其庞大的语料库,使模型了解语言的一般结构。

Llama 3.1、GPT-4这种通用LLM,一般需要互联网规模的数据。而特定领域的LLM(如几何学、放射学、电信行业等)则需要注入相关的领域信息,这个过程被称为领域自适应预训练(Domain Adaptive Pretraining,DAPT)。

除了要贴近相关领域,另一种在预训练阶段使用合成数据的例子当属Phi-1.5模型,目的是注入逻辑推理能力。

微调

掌握了语言的一般结构后,下一步就是微调,让模型更好地遵循指令、完成特定任务。

比如,要让模型提高逻辑推理能力、实现更好的代码生成和函数调用,或者提升阅读理解类任务的表现,都可以通过微调来实现。

Self-Instruct、WizardCoder、Alpaca等模型都通过创建特定领域的数据并进行微调,来定向提升模型能力。

对齐

最后,我们希望确保模型响应的风格和语气与用户期望一致,例如听起来像对话、具有适当的详细程度、复杂性、一致性等。

可以创建一个包含指令模型(instruct model)和奖励模型(reward model)的流水线来实现这个需求。

先让模型对同一问题创建多个响应,然后让奖励模型对这些相应的质量进行反馈。这种方法属于从AI反馈中进行强化学习(Reinforcement Learning from AI Feedback, RLAIF)。

改进其他模型和系统

除了改善语言模型本身,合成数据还可以应用于LLM邻接模型(LLM-adjacent model)以及LLM驱动的流水线。

最经典的例子就是检索增强生成(Retrieval Augmented Generation,RAG),先用嵌入模型来检索相关信息,再让语言模型生成最终答案。

在这个过程中,我们可以使用LLM来解析底层文档和合成数据,从而评估并微调嵌入模型。

类似于RAG,任何智能体(Agentic)流水线都可以被评估,其组件模型也可以被微调,实现方式就是用LLM驱动的智能体来构建模拟。

这些模拟还可以用于研究行为模式,此外,也可以在LLM中设定特定角色,以针对特定任务进行大规模数据生成。

使用合成数据评估RAG

为了更好地理解上述讨论,我们来思考一个基本的流程,应用于一个具体的用例——为检索过程生成评估数据。

下述流程的实现代码已经上传至GitHub。

图片

项目地址:https://github.com/NVIDIA/NeMo-Curator/tree/main/tutorials/synthetic-retrieval-evaluation

要创建用于评估检索流程的数据,主要面临以下2个挑战:

  • 多样性:问题不应只关注信息的单一方面或仅包含提取性问题
  • 复杂性:生成的问题应需要一些推理或多个证据来回答

我们将重点关注多样性,但为了探索复杂性角度——关键是找到具有重叠信息点的内容块。找到重叠信息的几种方法包括计算句子级语义的Jaccard相似度,并利用长上下文模型找到同一文档的不同块之间的关联。

多样性源自不同的视角,比如考虑如下文本:

图片

对于同一篇文档,金融分析师可能对两家公司合并前后的财务状况感兴趣,法律专家可能关注公司面临的来自FTC、欧盟和其他方的法律审查,记者则希望了解事实要点。

所有这些都是有效的视角和用户角色。由于他们以不同的视角看待相同的信息,因此评估流程也需要适应这些视角。

因此,让我们设计一个评估流程,该流程以文档和用户角色作为输入,并以符合角色的语气输出问题。

图片

图1. 三步流程的概述:生成用于评估检索过程的合成数据

如图1所示,这个评估流程有三个主要步骤。

步骤1:生成所有可能的问题

这些问题都是用户角色可能感兴趣的。

步骤2:筛选出相关的问题

从生成的问题中筛选出最相关和有价值的问题。

步骤3:引入用户角色的写作风格

将筛选出的问题转换为符合用户角色写作风格的形式。

通过这三个步骤,可以确保不同用户角色获得他们所需的信息,并以他们熟悉的方式呈现。

步骤1:生成问题

在生成问题之前,我们需要先读取文档并将其分成若干块(chunk)。

然后,让LLM从给定的文本块中,为每个用户角色提取感兴趣的点。

所谓的「用户角色」(persona),实际上就是对潜在用户的描述,比如:

图片

由于多个用户角色可能有相似的兴趣点,因此需要使用嵌入模型来进行语义去重,从而为每个角色映射出段落中不同的相关信息。

图片

多样性的另一个方面是问题类型。

我们需要提出各种类型的问题,如提取性、抽象性、比较性的问题,而不仅仅是简单的「如何/什么」问题。因此,下一步是根据段落中的信息,确定每个兴趣点适用的问题类型。

最后,利用文本块-兴趣点-问题类型的三元组,生成所有可能的问题。通过用户角色和问题类型,开发人员可以将生成的问题引导到用户会问的类型上。

图片

步骤2:过滤问题

生成问题之后,下一步就是过滤并提取最有用的子集。首先,我们需要对所有生成的问题进行去重,因为不同的兴趣点可能会利用相邻的信息点,导致问题重叠。

接下来,我们使用LLM来判断问题与段落的相关性,确保这些问题能够完全通过段落中的信息回答。然后,我们将所有相关问题重写为对话语气。最后,我们会进行另一次过滤,分类并剔除那些可能过于笼统的问题。

图片

步骤3:注入用户角色风格

在前两步中,我们创建并筛选了多样化的问题。最后一步是将用户角色的写作风格融入到问题中。

使用LLM,我们首先根据给定的用户角色描述来制定写作风格。然后,基于这些写作风格重新改写问题。

比如,可以这样描述用户角色的写作风格:

图片

图片

在这个三步流程结束后,我们得到了如下问题:

  • 鉴于现行的监管框架,拟议的合并还需要遵守哪些额外的政策指令,才能获得相关部门的批准?
  • SolarPower和GreenTech合并的哪些具体方面目前正在接受相关监管部门的审查?
  • 如果在大笔买断之后,GreenTech的研发中心保持单飞状态,那些天才会被炒鱿鱼吗?

可以看出,前两个问题很像Padma的语气,而第三个问题似乎是Aaron会问的。

这些问题各自包含了真实标签,对应特定的文本块,因此不仅限于这一个用例,可以用于评估各种检索流程。

​

如何学习AI大模型?

作为一名热心肠的互联网老兵,我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

四、AI大模型商业化落地方案

img

作为普通人,入局大模型时代需要持续学习和实践,不断提高自己的技能和认知水平,同时也需要有责任感和伦理意识,为人工智能的健康发展贡献力量。

日本AI为何‘慢’?可信赖AI的确定性工程实践 可信赖AI(Trustworthy AI)是人工智能从实验室走向高风险工业场景的核心前提,其本质在于平衡模型性能与可解释性、鲁棒性、合规性及人机协同可靠性。在制造业、医疗、汽车等强监管领域,单纯追求大模型参数规模或推理速度往往导致幻觉率上升、责任归属模糊与落地失败率激增。日本通过小样本学习、边缘可信硬件、物理建模前置与人因工程验证等技术路径,在数据稀缺、法律刚性、产线复杂等约束下,构建出以确定性为第一优先级的AI工程范式。这种‘慢’并非技术滞后,而是将数学严谨性、物理规律约束与制度信任机制深度嵌入AI全生命 阅读详情

相关推荐

ComfyUI 使用 LLaMA-Factory 微调的 Qwen3.5:从模型导出到工作流出图--晨羽算力平台

这次问题的关键是区分“模型文件能否加载”和“当前推理栈能否正确执行增量解码”。LLaMA-Factory 导出的模型能在 vLLM 中正常工作,并不意味着 ComfyUI 一定会走相同的计算路径。先用最小文本工作流验证,再按当前 ComfyUI 版本部署补丁、重启正确的后端进程,最后恢复完整图像工作流,可以更快定位问题。

qq_40881695的博客 368

Meta 发布Llama 3.1开源模型 NVIDIA推出AI 代工服务

在这周二,Meta发布了最新的AI模型Llama 3.1,并且是一个开源模型,面向公众免费提供,且提供8B、70B、305B参数版本,模型整体效果可与 GPT-4、GPT-4o、Claude 3.5 Sonnet 等领先的闭源模型相媲美。此次Llama 3.1 系列改进了推理能力及多语言支持,上下文长度提升至 128K,并且首次推出 405B 参数的旗舰模型。Llama 3.1 405B 是首个在常识、可操纵能力、数学、工具使用和多语种翻译等方面媲美顶级闭源人工智能模型的公开发布的模型。

2401_85375186的博客 1093

LabVIEW+数据库应用系列保姆级教程,第一篇数据库连接

目录LabVIEW连接数据库的方法连接MySQL连接Oracle,SQL Server,Access等 LabVIEW连接数据库的方法 1、创建udl(Universal Data Link)是通用数据连接文件。界面操作,简单快捷。 2、编写连接字符串。需要熟悉连接字符串的结构,容易出错。 3、其他… 本教程教你使用第1种方法,也是最简单、最常用的方法。 连接MySQL 1、在MySQL Installer内安装MySQL Connector/ODBC,建议安装32位(X86),如下图: 2、创建ODBC

wwplh5520370的博客 1万+

老黄不止卖铲子了:英伟达配合Llama3.1推出定制模型、推理服务

梦晨 发自 凹非寺量子位 | 公众号 QbitAI芯片巨头英伟达,在AI时代一直被类比为在淘金热中“卖铲子”的背后赢家。现在他不装了,也要亲自下场“挖金矿”:配合最强开源大模型Llama3.1,推出NVIDIA AI Foundry和NVIDIA NIM推理微服务两大新业务。Foundry在芯片行业指“铸造厂”,比如台积电制造其他公司设计的芯片。NVIDIA AI Foundry,代表英伟达可以定...

量子位 310

基于RK3588的高效音视频对讲系统设计与实现

本文详细介绍了基于RK3588芯片的高效音视频对讲系统设计与实现。文章深入剖析了RK3588在8K编解码、高性能音频DSP及丰富接口方面的优势,并提供了从开发环境搭建、分层软件架构设计,到视频采集编码、音频回声消除及低延迟网络传输的完整实战指南,旨在帮助开发者充分利用该芯片硬件能力,构建稳定、低延迟的实时通信系统。

dapp9builder的博客 258

PySpark机器学习生产化陷阱:跨节点依赖问题的7种解决方案

隐式依赖陷阱使用ldd解决方案:在基础镜像中预装和路径冲突终极解法依赖树瘦身技巧用conda-tree可减少40%环境体积PySpark机器学习生产化的核心矛盾在于分布式环境的确定性与灵活性不可兼得。轻量级方案(1-3)牺牲一致性换取灵活性重量级方案(4-6)牺牲灵活性换取确定性混合方案(7)针对特殊场景补充正如某AI平台架构师所言:“环境一致性不是技术问题,而是工程纪律问题选择适合团队当前阶段的方案,建立严格的依赖管理流程,才能让PySpark真正扛起生产环境的大旗。

datacanvas2426的博客 911

Llama 3.1上线就被攻破:大骂小扎,危险配方张口就来!指令遵循能力强了更容易越狱...

梦晨 发自 凹非寺量子位 | 公众号 QbitAI最强大模型Llama 3.1,上线就被攻破了。对着自己的老板扎克伯格破口大骂,甚至知道如何绕过屏蔽词。设计危险病毒、如何黑掉Wifi也是张口就来。Llama 3.1 405B超越GPT-4o,开源大模型登顶了,副作用是危险也更多了。不过也不全是坏事。Llama系列前几个版本一直因为过度安全防护,还一度饱受一些用户批评:连一个Linux进程都不肯“杀...

量子位 1119

FileZilla Server 1.2.0 TLS证书过期问题

FileZilla Server TLS证书过期后重新生成

Wigle的备忘录 7533

Meta发布迄今为止最大最出色的开源人工智能模型Llama 3.1

马克·扎克伯格将 Meta 在开源人工智能方面的投资与早期的开放计算项目进行了比较,他说,在建立自身能力时,让像惠普这样的外部公司帮助改进和标准化 Meta 的数据中心设计,为公司节省了数十亿美元。虽然 Llama 3.1 最先进的 4050 亿参数模型在 Meta AI 中可免费使用,但在给定的一周内超过未指定数量的提示后,助手将切换到规模较小的 700 亿模型。Meta AI 中的新Imagine Me功能通过您手机的摄像头扫描您的面部,然后让您将自己的形象插入其生成的图像中。今天,该大模型已经问世。

爱云资讯的博客 802

opencv+nvcodec实现视频硬解码

最近遇到一个新项目,AI推理在上,为了方便和节省成本的考虑决定研究下模块。根据官网的说法显卡具有独立的和模块,所以理论上和是独立互不干涉的。以前的项目都只是把显卡当成推理工具,没有将它的功能利用起来,本身也是一种浪费。事实真的有这么丝滑吗?看到这里,如果你真的觉得是白叫的那就真的是了,事实究竟如何,请听我娓娓道来。NVCODEC全称是 NVIDIA VIDEO CODEC,是NVIDIA为绝大多数显卡配置的硬件编解码单元。不一定是所有显卡都有,一般来讲越新的显卡硬件编解码就越强,支持的格式也就越新。

jiexijihe945的博客 1万+

【STM32】STM32 CANFD外设的几种消息接收过滤模式

在控制器区域网络(CAN)系统中,正确配置消息过滤器对于有效管理网络通信至关重要。特别是在使用Flexible Data-rate Controller Area Network(FDCAN)时,选择合适的过滤器类型可以大大提高网络效率和消息处理速度。

林愿留的博客 6230

Llama 3.1超大405B!AI巨浪再掀新高潮

Meta公司宣布开放的Llama 3.1系列模型,以其惊人的128K上下文长度、对八种语言的支持以及业界领先的405B开放式最前沿AI模型,瞬间吸引了全球科技界的目光。该系列模型不仅在通用知识、可控性、数学、工具使用和多语言翻译等方面表现出色,还通过开源的方式,为全球开发者提供了一个强大的平台,助力他们解锁新的工作流和应用场景。Llama 3.1系列模型支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语等多种语言,为全球用户提供了无缝的语言交流体验。检索增强生成 (RAG)

OpenCSG的博客 1333

DeerFlow 系列教程 第三篇 | 核心技术深度剖析:Skills、Memory 与 Context Engineering

摘要化是 Context Engineering 中最关键的组件——它直接决定了长对话的可用性。Skills 技能系统通过渐进式加载的三层模型,在保持系统提示词轻量的同时,支持无限数量的技能扩展。从发现到执行的 10 个生命周期阶段,配合 AI 驱动的安全扫描和多层缓存,构成了一个生产级的技能管理框架。Memory 长期记忆系统通过文件系统持久化、LLM 驱动的信息提取和防抖动异步更新,实现了跨会话的认知持久化。六类事实分类体系和修正信号检测机制,让 Agent 能够从交互中持续学习和改进。

weixin_43674738的博客 281

51c大模型~合集111

OpenAI 的某发言人表示:「为了提高清晰度和安全性,我们增加了一个额外的后处理步骤,其中模型会审查原始的思维链,删除任何不安全的内容,然后简化某些复杂的思维。可以看到,虽然 ChatGPT 确实完成了任务并展示了总结版的思维链,但似乎并未如 OpenAI 发言人说的那样给出与提示词语言同样语言的总结版。北大-灵初联合实验室表示,Align-DS-V的多模态强推理能力是VLA模型大脑端的核心,接下来的研究训练计划,是利用多模态推理模型的跨模态穿透能力,实现action穿透,最终实现真正高效的VLA模型。

whaosoft~aiotの开发板商城 2321

喷涂机器人系列编程:ABB IRB 5500_(2).ABB IRB 5500喷涂机器人系统架构与组件

ABB IRB 5500喷涂机器人系统不仅在性能上表现出色,而且在安全和维护方面也提供了全面的解决方案。通过本文的详细介绍,希望读者能够更好地理解和掌握这一系统的架构和功能,为实际应用提供有力支持。

zhubeibei168的博客 779

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

51c大模型~合集110

为了解决这一问题,在稠密化过程中,我们对容易引起退化和梯度集中的具有极端延展率的高斯面片进行了筛选,并对其增殖过程进行了限制,从而在不牺牲性能的情况下有效稳定了训练过程,保障了优化过程的顺利进行。大规模场景的重建往往还意味着显著的训练开销,要重建 1.97 平方千米的区域会产生接近两千万的高斯点,这意味着 4.6G 的存储以及 31.5G 的显存开销,以及超过三小时的训练时长。站在 AI 研究者的角度,得到了《苦涩的教训》,意味着在总结教训的过程中明确了什么是「更好」的。第二类则瞄准了相对复杂的问题。

whaosoft~aiotの开发板商城 2606

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

AI领域生态全景与开发实践:从技术壁垒到应用落地

人工智能(AI)作为计算机科学的重要分支,其核心在于通过算法和模型赋予机器感知、学习、推理和决策的能力。其基本原理涉及机器学习、深度学习等,通过数据驱动的方式自动发现规律。AI的技术价值在于能够处理海量数据、解决复杂模式识别问题,并实现自动化与智能化,从而在搜索引擎、内容推荐、自动驾驶、智能客服等广泛场景中创造巨大效益。随着AI Agent、大模型应用开发等技术的兴起,AI正从研究走向大规模工程实践。本文聚焦于AI领域高度专业化分工形成的技术生态,探讨从业者如何跨越壁垒,并提供了结合Spring AI等框架

weixin_33919950的博客 433

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

AGI创业潮背后的定义权、技术天花板与生存指南

通用人工智能(AGI)作为当前AI领域最具争议也最受关注的概念,其核心不在于是否已实现,而在于定义权如何被学术界、工程界与商业界差异化争夺。从跨域零样本迁移的学术标准,到五大认知维度的工程化指标,再到以NPS为标尺的商业接口范式,不同定义直接决定技术路径、融资逻辑与合规策略。与此同时,Transformer架构在长程依赖、工具调用与反事实推理上的三重物理性鸿沟,正揭示LLM并非通向AGI的阶梯,而是另一座需绕行的山。真正突破可能来自神经形态芯片、脑机接口反演的认知架构或合成生物学启发的自组织系统。对创业者而

weixin_34087307的博客 416

AI泡沫真相:三层结构、估值误判与企业落地避坑指南

人工智能(AI)作为当前最核心的技术范式,其发展已超越单纯算法演进,进入基础设施、工具与应用的分层演化阶段。理解AI价值需回归技术本质:算力支撑的确定性、工作流嵌入的实用性,以及商业闭环的可持续性。本文基于真实产业实践,剖析P/E与P/S估值错配、95%企业试点失败背后的‘需求翻译断层’、小模型在合规与成本上的工程优势,以及负反馈机制构建的长期护城河。聚焦AI落地中的数据漂移、中文语境理解、API稳定性等高频痛点,为技术决策者提供可执行的风险排查清单与幸存者路径——不谈概念,只解问题;不追大模型,而重小模型

weixin_33709609的博客 460

对于AI:AI的科普

人工智能已经从科幻概念发展为日常工具,正在深刻改变我们的生活和工作方式。文章系统介绍了AI的本质、发展历程、技术原理和应用场景。 核心内容包括: AI本质是通过数据学习规律,而非预设规则,其能力取决于学习方法和数据质量; 深度学习通过神经网络自动提取特征,突破了传统机器学习的局限; AI发展经历了理论奠基、两次寒冬和爆发期,近年因大模型取得突破性进展; 主要技术领域包括自然语言处理、计算机视觉、语音识别、强化学习等; AI正在重塑制造业、医疗、金融、教育等行业,带来生产力革命; AI会取代重复性工作,但创造

2503_92929084的博客 819

Llama.cpp v1.0重磅发布,本地推理迈入稳定时代

本地推理基础设施趋于成熟(llama.cpp v1稳定API)、端侧大模型突破内存限制(面壁智能LES方案)、Agent评测体系标准化(SGLang+AgentX对接)。多模态与具身智能方向,国产厂商进展显著,眸深智能一步动作生成技术将推理速度提升近25倍,标志着具身大脑从硬件比拼转向智能能力竞争。开发者可重点关注llama.cpp v1的API迁移、MiniCPM-V 4.7的端侧部署方案,以及RuHarness在Agent长期迭代中的应用价值。

AI时代,你可能就如黑客帝国的neo。用心理学第一性原理拆解产品设计。好奇心、多巴胺、信息缺口——理解这些,你也能做出让人停不下来的好产品。关注我,成为AI时代产品大脑。 226

第 6 章 实验指导:环境、sklearn、PyTorch 与 llama.cpp

四条动手线:搭环境 → sklearn 传统机器学习 → PyTorch 深度学习 → llama.cpp 部署大模型。只保留代码骨架与关键行,参数含义与踩坑点要自己走一遍才算数。

MsterNZ的博客 448

同一张 8×H100 跑分实测:Qwen3.6 / DeepSeek V4.1-Flash / Llama 5,谁才是开源性价比之王?

同一张8×H100、同一套 vLLM、同一把尺子——本文把 Qwen3.6-35B-A3B、DeepSeek V4.1-Flash、Llama 5 三款主流开源 MoE 拉到同硬件实测:部署命令、tok/s 与 TTFT、显存、质量一表看清,并附可直接抄的复测脚本。

雨1986的博客 427

MLPerf Storage v3.0:Alluxio分布式缓存实现147GiB/s Llama 3大模型checkpoint写入性能

在最新 MLPerf Storage v3.0 测试中,Alluxio 验证了一套成熟且可落地的架构方案:全量 AI 持久化数据集保留在 Amazon S3 对象存储,同时在 GPU 计算侧部署分布式缓存层,为 AI 集群提供高性能的数据访问通路。

Alluxio的博客 359
上一篇: 5个AI工程师不可不会的提示工程技巧
下一篇: 产品工具:ChatGPT 常用技巧,帮你提升 300% 产品经理工作效率
爱喝白开水a
博客等级 码龄3年 6793粉丝 763原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值