大模型笔记 【1】 大模型初探

原创 已于 2024-01-03 18:23:58 修改 · 1.2k 阅读 · 23 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能

于 2024-01-03 16:54:33 首次发布

以下是Andrej Karpathy一小时讲解chatgpt的笔记。

Andrej Karpathy做自动驾驶的人应该比较熟悉，他是李飞飞的学生。在openAI做了一年半的科学家之后，去了特斯拉。在Tesla AI day讲解tesla自动驾驶方案的就是他。

这里我的主要收获是两个

  1. 大模型是一个有损压缩文件
  2. 大模型可以看成新型操作系统

下面我把比较有关键的PPT笔记总结一下，比较有趣的将其看成操作系统的我会在第二部分介绍。

一 有损压缩

  1. 大模型运行起来只需要两个文件，140GB的参数文件和500行的C代码，参见llama.cpp.

2.  大模型可以理解为对互联网上文本所有内容的有损压缩。

3. 大模型存储了海量的信息，但是并不一定支持从不同的角度问相同的问题。这张幻灯片里，提问汤姆克鲁斯的妈妈是谁，大模型回答了Mary Lee Pfeifeer。但是我们再问大模型，Mary Lee Pfeifeer的儿子是谁，大模型就不知道了。

4. 大模型分为pre-training和fine

最低0.47元/天 解锁文章
初探大模型：起源与发展
欢迎来到我的优快云空间！这里聚焦AI大模型应用实战，分享前沿技术、实战案例与开发经验。
12-27 422
初探大模型：起源与发展 关键词：深度学习，预训练模型，Transformer，语言模型，计算机视觉，多模态学习 1. 背景介绍 1.1 问题由来 深度学习技术自20世纪末问世以来，经历了近
大模型微调训练营-毕业总结
热爱生活~热爱工作~热爱每一天~
02-25 1881
在极客时间AI大模型微调训练营的学习经历让我实现了对AI趋势的深刻理解和微调技术的实践应用。作为AI业务落地和产品平台提效的专业人员，我通过这门课程深化了对AI技术发展浪潮的认识，掌握了大模型的核心技术，如提示工程、微调、预训练技术等，以及如何处理数据集和定位业务目标。实战练习，特别是使用Hugging Face Transformers和LangChain等工具的应用，极大地提升了我的实践能力，让我能够独立完成微调任务的分析、验证和应用落地，有效提升了工作效率并支持了公司项目的实施。
大模型扫盲系列——初识大模型
DEVELOPERAA的博客
05-07 930
近年来，随着计算机技术和大数据的快速发展，深度学习在各个领域取得了显著的成果。为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。本文将从大模型的原理、训练过程、prompt和相关应用介绍等方面进行分析，帮助读者初步了解大模型。
什么是大模型？一文读懂大模型的基本概念
热门推荐
weixin_46880696的博客
11-06 11万+
大模型通过训练海量数据来学习复杂的模式和特征，具有更强大的泛化能力，可以对未见过的数据做出准确的预测。引申到模型层面，涌现能力指的是当模型的训练数据突破一定规模，模型突然涌现出之前小模型所没有的、意料之外的、能够综合分析和解决更深层次问题的复杂能力和特性，展现出类似人类的思维和智能。ChatGPT对大模型的解释更为通俗易懂，也更体现出类似人类的归纳和思考能力：大模型本质上是一个使用海量数据训练而成的深度神经网络模型，其巨大的数据和参数规模，实现了智能的涌现，展现出类似人类的智能。
大模型学习笔记五：RAG
谢白羽
03-04 2410
1、LLM 的知识不是实时的2、LLM 可能不知道你私有的领域/业务知识搭建过程：1、文档加载，并按一定条件切割成片段2、将切割的文本片段灌入检索引擎3、封装检索接口4、构建调用流程：Query -> 检索 -> Prompt -> LLM -> 回复1、文档加载2、文档切分3、向量化4、灌入向量数据库。
AI大语言模型在工业控制领域应用初探
qkh1234567的博客
03-03 974
这个武痴影响了一代人，深度学习的另外两个支柱人物Bengio和杨立昆，还有后来加入百度最终创办地平线的余凯，都是读了Hinton的论文，成为神经网络坚定的信仰者。这还不是数据的全部，还有现场没有进L1，L2和L3系统的数据，比如操作工记录的炉温，因为PLC不需要，是存在现场的本地电脑里面的。Sutskever思绪飞扬，他认为这种方法不仅可以用来翻译，只要有合适的数据，还可以用来进行一系列生成场景，比如很快提炼文章核心要义，比如提炼图片中核心意思，只要有足够大的模型，足够多的数据，成功是确定的。
【优质书籍推荐】ChatGLM3大模型微调、部署与开发
weixin_43178406的博客
04-29 4万+
本文深入讲解了大模型巨作：《ChatGLM3大模型本地化部署、应用开发与微调》，希望能对学习大模型的同学们有所帮助。 文章目录 1. 前言 2. 书籍推荐 2.1 内容简介 2.2 本书作者 2.3 本书目录 2.4 适合读者 3. 购买链接
AIGC 大模型实践总结
2201_75499313的博客
08-29 1656
积极拥抱变化，拒绝无谓焦虑。AI技术发展更多地是对人类能力的补充而非替代，更多作为“助理”的效果。在人工智能飞速发展的今天，我们正站在这个时代的十字路口，AI的进步为我们揭开了技术创新的新篇章，提供了前所未有的便利和机遇；另一方面，技术的飞跃发展也带来人们对未来工作和生活方式的不确定性，引发了人们心中的焦虑和恐惧。前总理：“中国有6亿人月收入不到1千”。最广大的用户可能并没有感受到GPT的日新月异的变化。持续学习与适应是关键，不断学习新知识，提升对AI技术的理解和掌握。
大模型时代的NL2SQL初探
今晚打老虎的专栏
12-25 2794
在当今信息化时代，数据库已成为各行各业的数据存储核心。然而，直接使用SQL（结构化查询语言）进行数据库查询，对许多缺乏专业技术背景的用户而言存在一定门槛。为此，NL2SQL（Natural Language to SQL）技术应运而生，旨在将自然语言转换为SQL查询，使用户能够以自然语言与数据库交互。
大语言模型应用Text2SQL本地部署实践初探
m0_74824517的博客
01-06 1190
我在项目实施工作中，跟数据打交道很多，主要是传统的数据建模和分析，基本都是基于商业产品，比如SAP，Qlik，帆软，永洪等；最近几年的项目上重复遇到过一些困扰我好久的问题，项目范围内的数据模型搭完后，对数据比较依赖的部门比如财务，审计等会不断涌现出新的数据需求，如何让业务部门的用户快速获取和分析数据为日常工作提供决策支持是一个痛点，以往的大宽表模型和自助式BI分析解决方案不太理想，而学习数据建模由于太过技术性往往让用户望而却步。由于考虑到企业级数据的安全性，所有组件都是本地化部署，内网可以直接使用。
大模型学习基础（五） 强化学习（Reinforcement Learning，RL）初步
qq_56095294的博客
12-13 401
前面的文章简单介绍过，传统的监督学习所使用的数据集是（特征，标签），有“标签”即明确的知晓正确的输出应该是什么。而实际的情况是，环境的状态S是由多个Si构成的，每训练一组S-a即训练一个多分类问题，把这些问题的损失函数（交叉熵）加在一起，即可训练出在不同的状态下应该使用什么动作。模型在选择一个动作之后，这个动作实际是对Environment发生，相应的Environment会给模型一个回馈Reward，然后再给模型一个新的Observation，模型继续选择新的动作，循环此过程。
以太联的自愈功能与看门狗机制解析
suzhou_speeder的博客
12-15 1153
看门狗(Watchdog)是一种硬件或软件实现的定时器机制，其核心功能是监控系统或程序的运行状态，防止程序跑飞或陷入死循环。案例：车载以太网交换机通过硬件看门狗实时监测链路状态，若检测到链路中断(如3ms内未收到心跳包)，立即启用备用路径，确保刹车、转向等关键系统永不掉线。案例：某智能工厂的PLC(可编程逻辑控制器)采用软件看门狗，若主程序因干扰死机，看门狗机制自动重启PLC，恢复生产流程。三者协同工作，实现“设备-交换机-网络”三级自愈，显著提升网络可靠性、降低运维成本，并为企业数字化转型提供坚实基础。
数据分析Agent白皮书：揭秘Data x AI的底层逻辑与未来关键
LyAGent的博客
12-18 602
《2025数据分析Agent白皮书》指出，数据分析Agent正成为AI落地的核心形态，实现从"人人分析"到"人人消费"的转变。白皮书系统解析了其技术架构（包括Query/Document/DeepAnalyze三大Agent能力）、行业实践（能源/制造/零售等领域）及落地路径，强调需突破数据准度、分析深度与消费广度三大挑战。未来，数据分析Agent将深度融入业务流程，推动"洞察即行动"的自动化决策模式。该技术有望彻底改变企业数据消费方式，使数据智能
多模态赋能情绪理解：Qwen3-VL+LLaMA-Factory 的人脸情绪识别实战
Lab4AI的博客
12-17 568
本项目依托Lab4AI平台，基于LLaMA-Factory成功对Qwen3-VL进行了完整的微调流程。我们将传统的人脸情绪识别任务与多模态大语言模型（MLLM）相结合，探索了MLLM在视觉情绪理解中的应用。通过微调Qwen3-VL，我们成功将传统的分类任务转化为多模态推理任务，显著提升了模型在复杂场景下的鲁棒性和准确率。这一方案不仅在人脸情绪识别上取得了显著提升，还为其他视觉任务的多模态大模型应用提供了新的思路，具有广泛的应用前景。
Transformer架构的原理是什么？
SACKings的博客
12-15 727
对于“Thinking”这个词，它的输出向量可能包含了90%它自己的信息和10%“Machines”的信息。而对于“Machines”，它的输出可能包含了70%它自己的信息和30%“Thinking”的信息。Transformer 架构的原理是理解现代大模型（如 GPT、BERT、T5 等）的基石。正是因为这些原理上的优势，Transformer才取代了RNN和CNN，成为了当今AI大模型时代的统治性架构。的（打乱输入顺序，输出可能不变），它没有内置的位置概念。Q·K 然后Softmax。
AIDD-人工智能药物设计-扩散模型热力学：从 AI 提取物理能量
itwangyang520的博客
12-14 1167
扩散模型的核心是加噪与去噪。这对业界的启示是，要实现精准医疗，特别是针对耐药突变的药物设计，不能仅依赖大语言模型（Large Language Model, LLM）处理序列。他们从文献和数据库中挖掘了过去被忽略的细节：氨基酸的替换、插入、缺失，以及关键的磷酸化修饰，最终整理出 4032 对新的激酶 - 配体数据。GeneGPT 曾展示了大语言模型（LLM）在生物医药领域的潜力，而 OpenBioLLM 提出了不同于 GeneGPT 单体（Monolithic）架构的方案：组建由「专家」构成的团队。
神经网络基础
m0_54291751的博客
12-17 526
归回问题用的最多的损失函数: **Smooth L1;**+ 分类问题用的最多的损失函数： ****(也可以用于二分类);```python# 1. 加载csv文件数据集.data = pd.read_csv('data/手机价格预测.csv')# print(data.head()) # 查看前五行数据# data.info() # 查看数据是否有缺失值# 2. 获取x特征列 和 y标签列.# 3. 把特征列转成浮点型.
深入NVIDIA Nemotron-3：高效准确的技术、工具与数据深度解析
最新发布
专注于人工智能领域的小何尚
12-18 744
摘要：NVIDIA Nemotron-3技术解析 NVIDIA Nemotron-3系列模型为构建专业AI智能体提供了突破性解决方案。该系列采用创新的混合Mamba-Transformer MoE架构，结合状态空间模型(Mamba)的长序列处理能力、Transformer的精确推理和MoE的高效计算，支持高达100万token的上下文处理。模型通过NeMo Gym多环境强化学习框架训练，使智能体掌握复杂任务执行能力。技术亮点包括：1)混合架构实现超长上下文推理；2)开源RL训练环境支持智能体开发；3)原生支
nl2sql技术实现自动sql生成之Spring AI Alibaba Nl2sql
疾风sxp的博客
12-15 964
上一节我们在介绍了自然语言转sql的基本思路，今天我们通过实操来解决这一技术实现，通过Spring AI Alibaba开源的nl2sql框架进行这块技术的讲解。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值