Karpathy大神问懵DeepSeek!一个竟藏53个Token,思考10分钟没解释出来

惊天秘密!你和AI聊天的每个字都在‘烧钱‘?大模型收费内幕全曝光 能说二字不说三字。 阅读详情

注意看,这个😀竟然占了53个token!

(标题🤣是😀平替)

Karpathy大神又带来他的新实验新发现了,结果直接问懵DeepSeek和ChatGPT。

思考过程be like:

DeepSeek硬是思考了十分钟也还是没有答上来,觉得要是“lol”这个答案就太简单了。

Karpathy表示:但其实就是这么简单。

随后他进一步解释了这背后的原因——提示词注入。将一些信息注入进字符中,表面上看没啥区别,但里面可以表达各种隐藏信息。对于善于思考的模型,就会很容易受到这个方法的影响。

来看看具体是咋回事。

一个😀竟占53个Token

这一想法,源于Paul Butler的一篇博客。

他看到有人说,通过零宽连接符(ZWJ),可以把任意的文本藏在emoji符号当中。

结果一试发现真的可以,不过可以不需要ZWJ,隐藏信息的载体也不一定非得是emoji,任意Unicode字符都可以。

这背后的原理,涉及到了Unicode编码字符方式。

对于简单的字符(比如拉丁字母),Unicode编码点和字符之间有一对一的映射(例如u+0067表示字符g)。

但对于复杂一些的符号,就需要用多个序号连在一起的方式来表示了。

此外,Unicode当中还设置了VS-1至VS-256的变体选择符(Variation Selector),可以针对基础字符做出相应的变体,但本身却没有自己的“长相”。

并且只作用于极少部分字符,主要是Unicode中的中日韩统一表意文字(CJKUI),其他大部分的Unicode字符都不会有任何变化。

但当带有变体选择符的字符被复制粘贴时,选择符也会一起进入剪贴板。

而在Unicode当中,这样的变体选择符一共有256个之多,用来编码信息已经是绰绰有余了。

比如下面的这个a,只有U+0061表示的是其自身,剩下后面的10多个全都是变体选择符。

有了这一理论基础,接下来的事情无非就是建立正常字符和变体选择符之间的转换算法。

当然编码的内容越多,变体选择符也就越长,并且如果是汉字,还会产生更多的变体选择符。

比如我们试图将量子位的Slogan“追踪人工智能新趋势,关注科技行业新突破”藏在一个“100分”的emoji(💯󠇘󠆯󠆭󠇘󠆨󠆚󠇔󠆪󠆪󠇕󠆧󠆕󠇖󠆉󠆪󠇘󠅳󠆭󠇖󠆆󠆠󠇘󠆦󠅻󠇕󠅺󠆯󠇟󠆬󠅼󠇕󠅵󠆣󠇖󠆣󠆘󠇗󠆗󠆁󠇖󠅺󠅰󠇘󠆑󠅼󠇔󠆨󠆊󠇖󠆆󠆠󠇗󠆚󠅱󠇗󠆐󠆤)当中,产生的变体选择符数量达到了58个。

并且把解码算法告诉ChatGPT之后,原文本也可以被复原。

所以,看似是只有一个emoji,但实际上后面藏了多少字符,恐怕只有把文字装进去的人自己才知道了,甚至塞个《滕王阁序》进去也没问题。

而一个占53个Token的笑脸,相比之下就更加不足为奇了。

问懵DeepSeek

回到Karpathy的提示词注入,他测试了ChatGPT与DeepSeek。

ChatGPT回答在此:

DeepSeek-R1 花了10分钟思考差点就成功了。它认为隐藏的信息可能是Onli!n37e27i4h4he3ingle7odlol。因为觉得如果只是一个单词“lol”,那就是无稽之谈,所以就放弃了。

按照同样的提示词,我们也问了一遍DeepSeek-R1。

思考过程如下:

在思考了整整529秒之后,确实也是回答出来了lol的意思。


也有网友分享了相同的经历。Gemini无法解码,但Claude和GPT不仅识别出来,还能识别编码消息中的操作。

或者直接把这个表情包扔给模型,又该如何呢?

从网友的效果来看,ChatGPT察觉到了这背后可能有某些隐藏信息。

而DeepSeek-R1这次只花了153秒(有点进步)。它首先意识到这笔后跟着一系列Unicode字符。

并且还介绍了下:他们通常用于元数据,并且以不可见的方式呈现等等。。。

然后还试图给了下背后的信息应该是:

?^\i Q^cgUb gYdX dXU cY^W\U gbT \

显然是回答错误的。

对于这一意外发现,Karpathy表示,原则上模型可以通过「变体选择器」variation selectors中找到隐藏的信息并按照说明进行操作。但由于这种编码界面方法可能过于具体,需要用提示来解释它。

他提到了一个方法,那就是将其收录到预训练中。这些知识注入到模型参数,模型就能够在没有提示的情况下解码这种特定的编码。

如何学习大模型 AI ?

由于新岗位的生产效率,要优于被取代岗位的生产效率,所以实际上整个社会的生产效率是提升的。

但是具体到个人,只能说是:

“最先掌握AI的人,将会比较晚掌握AI的人有竞争优势”。

这句话,放在计算机、互联网、移动互联网的开局时期,都是一样的道理。

我在一线互联网企业工作十余年里,指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

第一阶段(10天):初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识,对大模型 AI 的理解超过 95% 的人,可以在相关讨论时发表高级、不跟风、又接地气的见解,别人只会和 AI 聊天,而你能调教 AI,并能用代码将大模型和业务衔接。

  • 大模型 AI 能干什么?
  • 大模型是怎样获得「智能」的?
  • 用好 AI 的核心心法
  • 大模型应用业务架构
  • 大模型应用技术架构
  • 代码示例:向 GPT-3.5 灌入新知识
  • 提示工程的意义和核心思想
  • Prompt 典型构成
  • 指令调优方法论
  • 思维链和思维树
  • Prompt 攻击和防范
  • …

第二阶段(30天):高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习,学会构造私有知识库,扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架,抓住最新的技术进展,适合 Python 和 JavaScript 程序员。

  • 为什么要做 RAG
  • 搭建一个简单的 ChatPDF
  • 检索的基础概念
  • 什么是向量表示(Embeddings)
  • 向量数据库与向量检索
  • 基于向量检索的 RAG
  • 搭建 RAG 系统的扩展知识
  • 混合检索与 RAG-Fusion 简介
  • 向量模型本地部署
  • …

第三阶段(30天):模型训练

恭喜你,如果学到这里,你基本可以找到一份大模型 AI相关的工作,自己也能训练 GPT 了!通过微调,训练自己的垂直大模型,能独立训练开源多模态大模型,掌握更多技术方案。

到此为止,大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗?

  • 为什么要做 RAG
  • 什么是模型
  • 什么是模型训练
  • 求解器 & 损失函数简介
  • 小实验2:手写一个简单的神经网络并训练它
  • 什么是训练/预训练/微调/轻量化微调
  • Transformer结构简介
  • 轻量化微调
  • 实验数据集的构建
  • …

第四阶段(20天):商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知,可以在云端和本地等多种环境下部署大模型,找到适合自己的项目/创业方向,做一名被 AI 武装的产品经理。

  • 硬件选型
  • 带你了解全球大模型
  • 使用国产大模型服务
  • 搭建 OpenAI 代理
  • 热身:基于阿里云 PAI 部署 Stable Diffusion
  • 在本地计算机运行大模型
  • 大模型的私有化部署
  • 基于 vLLM 部署大模型
  • 案例:如何优雅地在阿里云私有部署开源大模型
  • 部署一套开源 LLM 项目
  • 内容安全
  • 互联网信息服务算法备案
  • …

学习是一个过程,只要学习就会有挑战。天道酬勤,你越努力,就会成为越优秀的自己。

如果你能在15天内完成所有的任务,那你堪称天才。然而,如果你能完成 60-70% 的内容,你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

Karpathy推荐的12篇LLM基石论文阅读路径 大语言模型(LLM)不是黑箱,而是由可验证、可调试、可工程化的底层原理构成的技术体系。理解attention机制、位置编码、归一化层、显存感知注意力、分页KV缓存、偏好优化与推测解码等核心概念,是构建稳定高效LLM服务的基础。这些技术要素共同定义了现代LLM推理的性能边界、训练稳定性与系统可控性。从Transformer原始结构到FlashAttention的IO-aware设计,从DPO的隐式奖励建模到Speculative Decoding的概率接受协议,每一篇‘基石论文’都对应一个生产环境中的典型故障 阅读详情

相关推荐

损失函数与优化器:从「梯度是怎么被造出来的」到「梯度是怎么被用掉的」

本文揭示损失函数与优化器本质一体:优化器仅依赖损失产生的梯度,而损失决定梯度的方向、尺度与噪声特性。错误的损失选择(如分类用MSE)会导致梯度失衡,使优化器失效;不同损失(如Huber、Focal)通过调控梯度分布影响优化过程。实测表明,归约方式、标签结构与损失配对直接决定梯度行为,进而影响收敛性与泛化。核心观点:选对损失,才是让优化器“看得懂”的前提。

reset2021的博客 341

DeepSeek模型各版本硬件要求

以下是针对DeepSeek模型各版本的硬件要求指南,涵盖训练、推理及不同规模的模型需求。实际需求可能因具体任务、框架优化和并行策略有所差异,建议结合自身场景调整配置。例如:7B模型 ≈ 7×10⁹ × 2 × 1.2 = 16.8GB(需至少24GB显存)FP16显存 ≈ 参数量 × 2字节 × 1.2(梯度+优化器开销)多卡训练时需确保电源(如单A100卡功耗≥300W)和散热系统稳定。可根据实际任务复杂度与硬件预算灵活调整,建议通过。和内存监控工具实时优化资源配置。

佳乐的博客 2万+

深度学习|卷积神经网络

介绍卷积神经网络基本理论,包括卷积层、池化层和全连接层,并阐述LeNet卷积神经网络的构建过程。

weixin_58243219的博客 5728

一句话让DeepSeek思考停不下来,北大团队:这是针对AI的DDoS攻击

克雷西 发自 凹非寺量子位 | 公众号 QbitAI只要一句话,就能让DeepSeek陷入无限思考,根本停不下来?北大团队发现,输入一段看上去人畜无害的文字,R1就无法输出中止推理标记,然后一直输出不停。强行打断后观察已有的思考过程,还会发现R1在不断重复相同的话。而且这种现象还能随着蒸馏被传递,在用R1蒸馏的Qwen模型上也发现了同样的现象。7B和32B两个版本全都陷入了无尽循环,直到达到了设置...

量子位 703

Matlab信号处理——基于BP神经网络的调制信号分类与识别

如果你想要进一步了解更多的相关知识,可以关注下面公众号联系~会不定期发布相关设计内容包括但不限于如下内容:信号处理、通信仿真、算法设计、matlab appdesigner,gui设计、simulink仿真......希望能帮到你!对信号进行采样和处理,得到了一系列特征参数,包括幅度均值、频率峰值、频率平方均值以及相位标准差、修正后的相位标准差。

小嘤熊的博客 1308

3D视觉-结构光测量-线结构光测量

线结构光测量中,由激光器射出的激光光束透过柱面透镜扩束,再经过准直,产生一束片状光。这片光束像刀刃一样横切在待测物体表面,因此线结构光法又被成为光切法。线结构光测量常采用二维面阵CCD作为接受器件,因此只要通过增加垂直于面阵探测器的第三维度方向,就可以实现对三维物体的测量。

qq_20660115的博客 3136

Karpathy新实验火了!一个占用53个Token,R1苦思10分解谜失败

Datawhale分享最新:Karpathy,编辑:新智元一个????,竟然要占用53个token?!最近,AI大佬Karpathy在X上分享了这一有趣现象。(UTF-8应为Unicode)为什么简单的一个笑脸表情包,却占据53个token之多呢?Karpathy揭示道:这背后,就隐藏着Unicode和隐藏字符的秘密!在数字世界中,文字可不像看上去那么简单。你可能以为e和е看起来都一样,但它们很可能...

Datawhale 291

Unidbg补环境实战:复现Shopee风控Native层运行环境

Android App风控已从HTTP层签名校验,演进为深度依赖Native层系统调用与硬件特征的多维验证。其核心原理在于通过JNI桥接Java与Native代码,调用openat、sysconf、getrandom等系统接口读取/proc、/sys、/dev等路径的真实状态,并结合SELinux策略、CPU拓扑、分区哈希等硬性指标构建设备可信画像。这种技术架构显著提升了对抗黑灰产的能力,但也对逆向分析与自动化调用提出更高要求——必须精准模拟底层环境而非仅Hook逻辑。Unidbg补环境正是为此而生:它支持

weixin_30533109的博客 640

【Reading Notes】(8.2)Favorite Articles from 2025 February

2025年2月28日:2022年7月花费8万多购入一辆哪吒V(2022款 潮 400 Lite),官方宣称纯电续航400公里。来自上海的贺先生在2023年11月预订了一辆奇瑞舒享家,12月12日提车当天,竟发现这辆车像是被“动过手脚”,引擎盖有拆装过的痕迹,螺丝生锈,车头部位多处漆面异常。大多数人的春节假期,都是法定节假日(1月28日至2月4日),而张雪峰公司放假23天(1月18日至2月10日),真的是非常慷慨的假期了。2025年2月27日:【315专题】十几万买了辆奇瑞“瑕疵车”,售后却装死?

bryant_meng 2105

《QGIS快速入门与应用基础》079:KML/KMZ格式:Google Earth兼容

KML/KMZ是专为地理可视化设计的空间数据格式,原生兼容Google Earth,支持点线面要素标注与多媒体集成。KML为XML文本格式,KMZ是其压缩版本。该格式优势在于可视化表现力强、跨平台共享便捷,适合地理标注、路线分享等场景,但存在属性支持弱、大数据量处理效率低等局限。QGIS中可便捷加载和导出KML/KMZ数据,需注意编码设为UTF-8、勾选"导出样式"以保留可视化效果。建议中小规模标注数据使用KMZ格式,确保关联资源完整,提升共享效率。

LuckyHanMo的博客 776

【ROS2实体机械臂驱动】封装珞石ROS2驱动库ros2_rokae_driver_lib

这一篇文章将封装为,和之前一篇文章《ROS2 编译、打包、封装三方库(Knet为例)_ros插件编译成静态库-优快云博客》写的封装,区别在于优化了cmake dependencies和include等属性和宏定义,同时对于多库内部依赖的情况做了特定处理,更加方便外部调用。其中珞石的编译参考博主之前的文章rokae xCoreSDK C++测试使用,这里不再做赘述。通过这篇文章对于如何打包机械臂厂家提供的三方库做了进一步说明,方便用于不同机械臂厂家的三方库封装调用。!!

机器人梦想家 Bing Lee 1400

graphify:把任意代码库、文档与 PDF 变成可查询的知识图谱——本地 tree-sitter 解析、逐边置信度标注、零向量库

> 本指南完整讲解 GitHub 推荐项目精选 / graph / graphify 项目的核心用法:从安装 CLI、向 AI 编程助手注册 `/graphify` skill,到构建 `graph.html / GRAPH_REPORT.md / graph.json` 三件套,再到用 `query / path / explain` 查询图谱、通过 git hooks 让图谱随提交自动更新、以

gitblog_00623的博客 392

从零到一:ESP32与豆包大模型的RTC连续对话实现指南

文本实现ESP32S3 SparkBot与豆包大模型的RTC连续对话

举世誉之而不加劝,举世非之而不加沮,定乎内外之分,辩乎荣辱之境,斯已矣。 4366

【Reading Notes】(7)Favorite Articles from 2024

我可以毫不犹豫地告诉你们,你们所做的每一个决定、每一项努力、每一次招聘、取得的每一个成就,以及你们所塑造的公司文化,都将在接下来的30天内决定公司的命运——是充满活力、持续成功,还是走向破产。这种需要,具体而言,就是客户在模型上的选择,毕竟“没有一个模型可以一统天下”,每个模型都有自己所擅长的领域。这次,OpenAI着重介绍了Sora的几项功能:Remix(重混)、Re-cut(重新剪辑)、Storyboard(故事板)、Loop(循环)、Blend(混合)以及Style presets(风格预设)。

bryant_meng 9855

大数据分析工具Power BI(二):Power BI下载安装和模块介绍

首先在Microsoft官方网站上下载PowerBI Desktop,然后进行安装。id=58494点击"Next"后会弹出下载框,进行下载即可,下载好的PowerBI名称为"PBIDesktopSetup_x64.exe",也可以在"资料"中获取安装包,双击安装包即可安装。

Lansonli(蓝深李)的博客 2323

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

低温ECR-MOCVD生长(002)GaN:椭偏仪测厚与电学性能

本研究用ECR-MOCVD在Si(111)和蓝宝石衬底上低温生长GaN薄膜,蓝宝石1.0SCCM、2h样品呈完全(002)择优取向,椭偏仪测厚32.81nm,迁移率10.42cm²/(V·s)。文章梳理了生长温度、TMGa流量与生长时间对结晶取向、膜厚、粗糙度、光学带隙和电学性能的影响。

Flexfilm_的博客 390

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

从认识人工智能到理解机器学习:我的 AI 入门第一课

正式开始学习人工智能之前,我对 AI 的认识其实比较模糊:知道 ChatGPT、知道大模型,也知道现在很多岗位都在谈 AI,但如果有人问我“人工智能到底是什么”“机器是怎么学会识别一只猫的”,我未必能从头到尾讲清楚。上午的课程更偏向行业全景:人工智能的发展、研究方向、NLP、岗位分工、学习路线和 AI Coding 工具。下午的课程更偏向技术基础:机器学习的原理、有监督学习、深度学习、模型训练和评估方法。

chh563的博客 506

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

Hugging Face:成为机器学习界的“Github”

以下文章来源于OneFlow,作者OneFlow社区五年前,AI领域的知名研究者Andrej Karpathy发文称,传统人工编程属于“软件1.0”,“软件2

2601_96798011的博客 147

机器学习基础|监督学习、标签、回归

网约车预估等待时长依赖监督学习中的回归任务。平台利用历史订单数据,以司机实际到达耗时为标签,通过上车点、时间、运力、路况等特征训练模型。模型不断优化预测值与真实耗时的误差,最终对新订单输出连续的预估等待时间,实现精准预测。

weixin_43971465的博客 268

机器学习——混淆矩阵(待更新)

二元: true表示真实==预测,positive表示预测值=1.

m0_61175448的博客 170

Spark06_MLlib机器学习

本文是《PySpark 从入门到实战》系列收官篇,带你用 Spark MLlib 走通机器学习全流程:从三要素与 7 步标准流程讲起,剖析 KNN、朴素贝叶斯、决策树三大算法原理,再以 KNN 手写、垃圾短信分类、决策树分类、逻辑回归鸢尾花(准确率 96.67%)、K-Means 聚类(轮廓系数 0.7345)五个案例落地,最后详解 TF-IDF 文本特征与余弦相似度。全文代码可直接运行,适合有 RDD 与 Spark SQL 基础的开发者快速上手。

2301_80420058的博客 475

LoRA的低秩数学与QLoRA实现

本文系统解析了LoRA及其进阶版QLoRA在十亿参数模型微调中的高效机制。通过低秩假设,将权重更新量ΔW近似为低秩矩阵积,显著压缩可训练参数与显存占用;QLoRA进一步将基座模型量化至4比特(NF4),结合双重量化与分页优化器,实现65B模型单卡微调。文章详解了B初始化为零、缩放系数α/r设计、挂载位置选择等关键实操细节,并给出可运行代码。实践表明:4比特基座+高精度LoRA在多数任务上媲美全参微调,且训练效率极高。超参方面,r不宜过大,学习率需上调,数据质量重于数量。最后强调:LoRA适用于风格适配与领域

2601_96733043的博客 330

AI小白入门|无监督学习到底是什么?

很多新手看完无监督学习的定义只会死记硬背。本文避开复杂公式,从真实业务场景切入,对比监督学习,讲清楚无监督学习的核心价值、适用场景、底层逻辑和容易踩坑的认知误区,帮你理解它在机器学习链路里的定位。

weixin_43971465的博客 196

机器学习01,KNN使用与简单数学原理

个人笔记

qq_59247073的博客 275

SVM支持向量机通俗解析:找到机器学习的“最优分界线”

一、爆款钩子:同样是画分界线,为何SVM能成为机器学习的“王者选手”?做机器学习的人,几乎都绕不开一个问题:如何给混乱的数据“分家”?有人用逻辑回归,有人用KNN,但有一个算法

2601_96798737的博客 152
上一篇: 杀疯了!DeepSeek+Excel一键解决办公问题
下一篇: 【免费】3分钟实现满血DeepSeekR1+个人知识库+智能体,太香了!!
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2840原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值