C#AI系列(7):从零开始LLM之Tokenizer实现

转载 于 2025-12-21 12:30:02 发布 · 2 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://www.cnblogs.com/luojin765/p/19378939
文章标签：

#it

一、前言: token是什么

LLM只做一个事情，就是吃掉token吐出token，token是LLM（大语言模型）的基本元素。token与LLM的关系，相当于乐高积木与乐高工厂，我的世界方块与我的世界游戏。那么token到底是什么呢？有人翻译成令牌，有人翻译成词源。我们不妨换个概念理解，token就是最小操作、最小信息单元的意思。这个最小是相对于LLM要处理的原始文本来说的。

举个栗子，当一个句子文本输入到电脑中，天然就就具有字符级别的切分。如果不打算继续拆分或组合，我们可以通过一个映射关系，将现有这些字符转换为整数数组，称为编码过程。编码后数组内的元素就是token，元素取值就等于token取值。LLM可以吃掉这个token数组，并吐出新数组。对这个新数组按前前述的映射进行逆转换，称为解码过程。解码后我们就能得到人类可以理解的文本了。

/* by 01022.hk - online tools website : 01022.hk/zh/calorie.html */
// 原句子
"我有一个 apple."

// 句子拆分
["我","有","一","个"," ","a","p","p","l","e",".","\0"]

// 编码为整数数组
[1,2,3,4,5,6,7,7,8,9,10,11]

从实际应用看，主流LLM几乎不用纯字符级级别切分，而是为了更好效果，使用BPE/WordPiece/SentencePiece等子词（sub-word）算法。此时"hello"大概率是1个或2个token，而不是5个。对于中文来说，"我有一个" 可能切成了 "我/有/一/个"，也可能是"我有/一个"，取决于词表。在字词算法中，单个token拎出来会存在不可解释性，因为是打散的词根。

但是无论怎么处理，LLM传入传出的都是一个整数数组，数组元素的数量，就是token数量（也是LLM服务的计费标准）。

再从实际应用看，主流LLM几乎都采用BPE或BBPE方式进行Tokenizer。我们接下来继续了解BPE。

二、BPE(字节对编码)

字节对编码 是一种简单的数据压缩形式，这种方法用数据中不存的一个字节表示最常出现的连续字节数据。这样的替换需要重建全部原始数据。编码过程如下：

/* by 01022.hk - online tools website : 01022.hk/zh/calorie.html */
// wiki的BPE案例
"aaabdaaabac": "aa"=>"Z" //“aa”出现次数最多，用中没有出现的“Z”替换
"ZabdZabac": "aa"=>"Z", "Za"=>"Y" //同上，更新替换表
"YbdYbac": "aa"=>"Z", "Za"=>"Y", "Yb"=>"X" //同上，更新替换表
"XdXac":"aa"=>"Z", "Za"=>"Y", "Yb"=>"X" // 无可用替换

我们将"aaabdaaabac"通过BPE方式编码成了"XdXac"。解码时只需要对附带的 替换表("aa"=>"Z", "Za"=>"Y", "Yb"=>"X")按顺序逆向操作，就能得到原信息。

BPE 用“比字符大、比单词小”的子词当积木，之所以能流行主要是因为其编码后的token数量适中，处于单字符切分，全词切分之间。相对与全词切分，BPE是子词切分，不仅可以控制上限避免词库膨胀，还能最小可退到字节/字符，最大可保留整词，粒度随频率动态伸缩。就算预见新的词组也无所谓，不存在未登录词的问题。而且一套算法与英语、阿拉伯语语言无关，都是一套处理方式。还具有词表可读性好，在一定效果下计算成本低等特点。

三、BPE Tokenizer

一个BPE Tokenizer，主要功能可分为1.训练处理得到词表；2.编解码。词表的训练上面已经做了示意，接下来我们主要针对编解码部分。

训练好的BPE的数据主要包括三个部分：

  • vocab.json：符号 → id 的字典；
  • merges.txt：按合并顺序排列的“信息对”；
  • tokenizer_config.json：预处理规则(regex文本)、特殊标记。

另外常见的还有tokenizer.json文件，他是Hugging Face 生态把“原本分散的三份文件”压进一个JSON文件。典型的结构如下（在不同版本中，merges可能会有字符串和数组两种对象存储方式，解析时候需要注意）：

// cl100k_base
{
  "version": "1.0",
  "truncation": null,
  "padding": null,
  "added_tokens": [ //特殊token
    {
      "id": 100257,
      "content": "<|endoftext|>",
      "single_word": false,
      "lstrip": false,
      "rstrip": false,
      "normalized": false,
      "special": true
    }
  ],
  "normalizer": null,
  "pre_tokenizer": {  // 有的有，有的没有，因此regex需要预先硬编码
    "type": "Sequence",
    "pretokenizers": [
      {
        "type": "Split",  // 预处理分割，“防呆尺”
        "pattern": {
          "Regex": "(?i:'s|'t|'re|'ve|'m|'ll|'d)|[^\\r\\n\\p{L}\\p{N}]?\\p{L}+|\\p{N}{1,3}| ?[^\\s\\p{L}\\p{N}]+[\\r\\n]*|\\s*[\\r\\n]+|\\s+(?!\\S)|\\s+"
        },
        "behavior": "Removed",   //一般默认写死，命中正则的片段保留，没命中的扔掉（与invert 配合）。
        "invert": true //一般默认写死，把“命中/没命中”反转——最终只保留上面正则抓到的那些片段，其余全部丢弃。
      },
      {
        "type": "ByteLevel",
        "add_prefix_space": false,
        "trim_offsets": true,
        "use_regex": false
      }
    ]
  },
  "post_processor": null,
  "decoder": {
    "type": "ByteLevel",
    "add_prefix_space": true,
    "trim_offsets": true,
    "use_regex": true
  },
  "model": {
    "type": "BPE",
    "dropout": null,
    "unk_token": null,
    "continuing_subword_prefix": "",
    "end_of_word_suffix": "",
    "fuse_unk": false,
    "byte_fallback": false,
    "vocab": {
      "!": 0,
       "<|endofprompt|>": 100276
    },
    "merges": [
      "ĠCon veyor"		// 或 ["Ġp","ain"]
    ]
  }
}

通过读取预先的数据，BPE Tokenizer就可以用了，其核心的功能就是编码和解码，即Encode和Decode。

四、Tokenizer的C#实现

在python中，可以直接用HuggingFace的AutoTokenizer载入本地权重。在C#中我们可以拉取SharpToken (2.0.4)和 TiktokenSharp(1.2.0)计算Token。

但是，如果我们要自己在C# 开发LLM（尽管很少有人这么干），一个好的Tokenizer就很重要了，需要更多自定义的功能，如支持huggingFac的tokenizer.json数据，并灵活的处理special token，充分优化。

于是就有了LumTokenizer这个项目。
image

主要功能实现如下:

  1. 读取tokenizer.json数据，如果没有regex，内置了3种pretoken的regex，Regex50KBase：≈GPT-2 的 5 万级别基础词表；RegexCl100KBase：≈OpenAI CLIP / GPT-3.5 / GPT-4 使用的 10 万级别 CL-100K 词表；
    RegexO200KBase：≈Meta LLaMA、Mistral 等开源模型偏好的 20 万级别 O-200K 词表
  2. 高效的特殊token切分：如果是模型训练用，tokenizer需要单独高效处理特殊token。因为特殊token的目的是正文出现越少越好，因此一般不会出现在词表中，需要通过单独切分的机制进行识别和切分。
  3. 高效的缓存机制：LumTokenizer 在分词阶段，订制了一套SpanDictionary, 为了实现高效的切片搜索，也就是说一个stirng可以基于NET的Span特性切成多个Slice，而SpanDictionary可以直接基于Span 执行Key的匹配（Span无法作为传统Dictionary的泛型），极大节省了子串string转换的开销。

Benchmark测试如下：在含有中文这种多字节字符的长文（500字符左右）处理时，具有很好的性能。

MethodtextMeanErrorStdDevRatioRatioSDGen0AllocatedAlloc Ratio
SharpToken_cl100k_baseChinese122.99 us2.314 us2.273 us5.710.120.73249.1 KB1.19
TiktokenSharp_cl100k_baseChinese96.00 us1.829 us2.106 us4.450.110.48836.34 KB0.83
LumTokenizer_cl100k_baseChinese21.56 us0.268 us0.251 us1.000.020.61047.63 KB1.00
SharpToken_cl100k_baseEnglish26.77 us0.520 us0.639 us1.020.030.67148.38 KB0.74
TiktokenSharp_cl100k_baseEnglish20.21 us0.383 us0.376 us0.770.020.42725.51 KB0.49
LumTokenizer_cl100k_baseEnglish26.13 us0.495 us0.509 us1.000.030.915511.31 KB1.00
SharpToken_cl100k_baseMixed90.97 us1.580 us1.478 us3.780.090.854510.9 KB1.23
TiktokenSharp_cl100k_baseMixed63.85 us1.274 us1.564 us2.650.080.48836.74 KB0.76
LumTokenizer_cl100k_baseMixed24.08 us0.465 us0.435 us1.000.030.70198.83 KB1.00

具体可以去仓库看详细代码。

  [MemoryDiagnoser]
  public class CompareBenchmark
  {
      internal GptEncoding _sharpToken;
      internal TikToken _tikToken;
      internal BPETokenizer _tokenizer1;
      internal BPETokenizer _tokenizer2;

      [GlobalSetup]
      public void Setup()
      {
          _sharpToken = GptEncoding.GetEncoding("cl100k_base");
          _tikToken = TikToken.GetEncodingAsync("cl100k_base").ConfigureAwait(false).GetAwaiter().GetResult();
          _tokenizer1 = BPETokenizer.CreateTokenizer(
              @"D:\Data\Personal\AI\llm\tokenizer\cl100k.txt", true, RegexType.RegexCl100KBase);
          _tokenizer2 = BPETokenizer.CreateTokenizer(
              @"D:\Data\Personal\AI\llm\tokenizer\qw_tokenizer.json", false, RegexType.RegexCl100KBase);
      }

      // ====== 1. 声明参数源 ======
      public IEnumerable<string> TextSamples()
      {
          yield return TextCatalog.English;
          yield return TextCatalog.Chinese;
          yield return TextCatalog.Mixed;
      }

      // ====== 2. 每个方法改成带参数 ======
      [Benchmark]
      [ArgumentsSource(nameof(TextSamples))]
      public int SharpToken_cl100k_base(string text)
      {
          var encoded = _sharpToken.Encode(text);
          var decoded = _sharpToken.Decode(encoded);
          return encoded.Count;
      }

      [Benchmark]
      [ArgumentsSource(nameof(TextSamples))]
      public int TiktokenSharp_cl100k_base(string text)
      {
          var encoded = _tikToken.Encode(text);
          var decoded = _tikToken.Decode(encoded);
          return encoded.Count;
      }

      [Benchmark(Baseline =true)]
      [ArgumentsSource(nameof(TextSamples))]
      public int LumTokenizer_cl100k_base(string text)
      {
          var encoded = _tokenizer1.Encode(text, false);
          var decoded = _tokenizer1.Decode(encoded, false);
          return encoded.Count;
      }
            
      public int LumTokenizer_qwen150k(string text)
      {
          var encoded = _tokenizer2.Encode(text, false);
          var decoded = _tokenizer2.Decode(encoded, false);
          return encoded.Count;
      }
  }

五、单元测试

现在单元测试可以说是越来越重要了，因为只有具有了完善的单元测试，才能放心的让ai去优化修改已有代码。
本文这个BPE Tokenizer项目单元测试分了5类。

  • P0_BasicTest：基础测试，测试编解码，数据读取，词表完善性等主要功能；
  • P1_RobustnessTests：鲁棒性测试，针对边缘条件，如仅空字符、仅特殊字符、超长文本、越界id等情况；
  • P2_VocabBpeTests：编解码准确性，要求正确的对原文进行分割，并准确编码，通过几种特定情况下的案例进行兜底。
  • P3_ChineseSubwordTests：中文字符测试，其中也包含了token压缩率的检验。主要是考虑在代码编写过程中，可能导致部分尾字节或特殊混编情况下不能准确字节合并的bug。
  • P4_EnglishSubwordTests：英文字符测试，目的同上，部分bug出现时，尽管decode正常，但encode编码也可能未达到预期（忽略了某些合并环节导致压缩率过高）。

编解码准确度与常用库比较：

LumTokenizer_cl100k_base
34655,61078,11,832,315,42482,596,77069,323,1455,73135,11335,11,10975,279,3446,315,279,46337,323,12280,12970,61078,11,889,65928,813,26135,11,439,568,1587,813,3611,38705,11,4184,311,52671,323,74571,13,61078,753,8060,439,264,7126,2995,360,3933,5678,323,813,1917,304,63355,323,31926,16134,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,29
King Lear, one of Shakespeare's darkest and most savage plays, tells the story of the foolish and Job-like Lear, who divides his kingdom, as he does his affections, according to vanity and whim. Lear’s failure as a father engulfs himself and his world in turmoil and tragedy.<|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|>

SharpToken_cl100k_base
34655,61078,11,832,315,42482,596,77069,323,1455,73135,11335,11,10975,279,3446,315,279,46337,323,12280,12970,61078,11,889,65928,813,26135,11,439,568,1587,813,3611,38705,11,4184,311,52671,323,74571,13,61078,753,8060,439,264,7126,2995,360,3933,5678,323,813,1917,304,63355,323,31926,16134,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,29
King Lear, one of Shakespeare's darkest and most savage plays, tells the story of the foolish and Job-like Lear, who divides his kingdom, as he does his affections, according to vanity and whim. Lear’s failure as a father engulfs himself and his world in turmoil and tragedy.<|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|>

TikTokenr_cl100k_base
34655,61078,11,832,315,42482,596,77069,323,1455,73135,11335,11,10975,279,3446,315,279,46337,323,12280,12970,61078,11,889,65928,813,26135,11,439,568,1587,813,3611,38705,11,4184,311,52671,323,74571,13,61078,753,8060,439,264,7126,2995,360,3933,5678,323,813,1917,304,63355,323,31926,16134,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,1822,91,318,5011,91,29,15339,220,220,57668,53901,27,91,318,6345,91,29
King Lear, one of Shakespeare's darkest and most savage plays, tells the story of the foolish and Job-like Lear, who divides his kingdom, as he does his affections, according to vanity and whim. Lear’s failure as a father engulfs himself and his world in turmoil and tragedy.<|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|>


LumTokenizer_qwen150k
33555,59978,11,825,315,41382,594,75969,323,1429,72035,11088,11,10742,279,3364,315,279,45237,323,12011,12681,59978,11,879,64828,806,25079,11,438,566,1558,806,3527,37605,11,4092,311,51571,323,73471,13,59978,748,7901,438,264,6981,2922,360,3848,5561,323,806,1879,304,62255,323,30826,13,151644,14990,220,220,108386,151645,151644,14990,220,220,108386,151645,151644,14990,220,220,108386,151645,151644,14990,220,220,108386,151645,151644,14990,220,220,108386,151645,151644,14990,220,220,108386,151645,151644,14990,220,220,108386,151645,151644,14990,220,220,108386,151645
King Lear, one of Shakespeare's darkest and most savage plays, tells the story of the foolish and Job-like Lear, who divides his kingdom, as he does his affections, according to vanity and whim. Lear’s failure as a father engulfs himself and his world in turmoil and tragedy.<|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|><|im_start|>hello  你好<|im_end|>

六、最后

LumTokenizer这个项目现在版本是1.0.6.1，整体效果较好，很快速稳定，现在自己训练模型就在用它，尽管目前某些常用习惯写死了，但大家需要的可自行适配和扩展。MiniGPT和MiniMind都是很好的LLM学习入门python项目，但C#基本没有。Tokenier是C#开发LLM的重要环节，奈何.Net生态还是差很多，资料也少，现在AI生成的内容都千篇一律，很多现有库更新的又很慢。真要用C#来干LLM真是难上加难（估计也没人这么干）。

如果您觉得有收获的话，请多多支持本系列。再次感谢您的阅读，本案例及更加完整丰富的机器学习模型案例的代码已全部开源，新朋友们可以关注公众号回复Tokenizer查看仓库地址，获取全部完整代码实现。

QR

cmdos
关注
别错过这个！AI应用架构师分享AI驱动虚拟世界构建秘籍
AI天才研究院
07-27 958
作为一名主导过3个千万级用户AI虚拟世界项目的架构师，我将在本文中系统拆解“AI驱动虚拟世界”的完整构建方法论。从底层架构设计、核心技术模块选型，到数据流转链路、落地避坑指南，再到实战代码示例，全程“干货无废话”，带你从零开始搭建一个会“感知、决策、进化”的智能虚拟世界。
[代码生成-力扣评估]DeepSeek-Coder: When the Large Language Model MeetsProgramming - The Rise of Code Int长文
强化学习曾小健
10-24 1015
这篇论文介绍了DeepSeek-Coder系列，这是一系列开源代码模型，其规模从1.3B到33B不等，通过在2万亿个标记上进行训练而开发。这些模型在多个基准测试中不仅达到了开源代码模型的最先进性能，而且还超越了现有的闭源模型，如Codex和GPT-3.5。此外，DeepSeek-Coder模型在允许研究和商业使用的许可下发布。
AI的提示词专栏：控制输出格式Markdown、HTML、LaTeX 的技巧
热门推荐
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
11-08 16万+
本文聚焦大语言模型输出格式控制，解析 Markdown、HTML、LaTeX 三种主流格式的 Prompt 设计方法。首先阐述格式控制核心原理，即通过 Prompt 传递格式规则与边界，引导模型按预期生成内容。针对每种格式，分别给出核心 Prompt 设计公式、场景案例与避坑指南，如 Markdown 强调层级结构与特殊元素指定，HTML 注重标签闭合与模块嵌套，LaTeX 关注环境定义与语法严谨性。还提出跨格式通用技巧，包括 “格式示例 + 规则” 约束、明确格式边界、多轮迭代修正，最终总结规则明确……
大型语言模型（LLM）的基础：分词机制的原理与演进（深度解析）
2403_88422250的博客
11-08 851
本文解析了一个基础的词级分词器(SimpleTokenizeV1.py)实现，展示了从原始文本到ID序列的转换过程。该分词器通过正则表达式将文本切分为词元(包括标点和空白)，构建词汇表映射，实现编解码功能。虽然简单直观，但存在无法处理未知词汇(OOV)的致命缺陷。这促使了后续改进方案：引入特殊标记解决OOV问题(SimpleTokenizeV2)以及采用更先进的子词分词机制(BPE)。该基础实现为理解现代分词技术奠定了基础，凸显了分词器在自然语言处理中的核心作用。
AI与.NET技术实操系列（九）：总结篇 ── 探讨.NET 开发 AI 生态：工具、库与未来趋势
weixin_33213911的博客
05-03 51
我们将分析 Microsoft 的 AI 战略、核心工具和库（如 ML.NET、Azure AI SDK 和 Semantic Kernel）、.NET 9 的新特性，以及社区资源和未来趋势，从而在总体上为 .NET 开发者提供一个清晰的 AI 开发路线图。从 ML.NET 的本地机器学习到 Azure AI 的云端能力，到 Semantic Kernel 的创新应用，再到 Microsoft.Extensions.AI 的统一集成，.NET 开发者拥有构建智能应用的全部必要工具。
LLM时代的transformer参数量、计算量、激活值的分析
weixin_44343319的博客
09-10 1853
transformer的参数量的复杂度是Oh2lO(h^2l)Oh2l级别的，粗略估计可以认为是12h2l12h^2l12h2l或者4h3Ihl(4h+3I)hl4h3Ihl如果MLP是传统FFN那样的结构，calculated params=2Vh12h213hl2Vh12h213hl如果attention部分使用了GQA，则calculated params=2Vh10h211h2gah2。
从零训练一个多模态LLM
hellozhxy的博客
07-21 1333
本文尝试梳理一个完整的多模态LLM的训练流程。包括模型结构选择、数据预处理、模型预训练、指令微调、对齐、融合多模态以及链接外部系统等环节。目前主要有三种模型架构，基于Transformer解码器，基于General Language Model，以及混合专家模型。这一步可以直接选择开源的的基座模型，例如基于Transformer解码器架构的LLaMA模型族，模型结构及一些重要参数如下图。假设选择LLaMA-65B，Tokenizer选择LLaMA的基于BPE算法构造的tokenizer。
AI的提示词专栏：通过 “Logit Bias” 精细调控词汇生成
优快云博客专家，系统架构师，有合作、疑惑请私信博主。
12-02 10万+
本文围绕 “Logit Bias（对数几率偏移）” 展开全面解析，先阐释其核心概念，说明它通过干预模型词汇对数几率实现精准调控，区别于 Temperature 等全局参数；接着介绍其在敏感信息管控、核心信息强化、输出格式固定等场景的应用，如电商客服合规话术生成、产品卖点突出等；随后给出实操指南，包括配置流程、Bias 值设定及常见问题解决方案，还探讨其与结构化 Prompt、RAG 技术的结合应用；最后展望多模态扩展、动态调控等未来趋势，强调 Logit Bias 对提升文本生成质量的重要性……
你写的，是代码，还是框架的剧本？——从前端到 AI 训练，透视“框架 vs 库”的边界与哲学
wandugu的博客
06-14 1022
框架是你调用它，还是它调用你？ 本文从 Vue 到 PyTorch、从 React 到 TRL，深入探讨“框架 vs 库”的边界与哲学：谁控制流程？谁写剧本？谁掌握主动权？ 无论是前端开发、后端服务，还是 AI 模型训练，工具只是手段，关键是你是否知道自己在做什么选择。 写代码的你，到底是在创作自由？还是按剧本表演？
Google视觉机器人超级汇总：从RT、PaLM-E、RT-2到RT-X、RT-H(含Open X-Embodiment数据集详解)
结构之法 算法之道
04-05 1万+
随着对视觉语言机器人研究的深入，发现Google的工作很值得深挖，比如RT-2​想到很多工作都是站在Google的肩上做产品和应用，​Google真是科技进步的核心推动力，做了大量大模型的基础设施，服故有了本文，单独汇总Google在机器人领域的重大结果、进展。
AIGC领域，AIGC游戏的崛起与发展
大模型应用工坊
04-30 628
随着全球游戏市场规模突破2000亿美元（2023年Newzoo数据），内容产能不足与玩家个性化需求之间的矛盾日益尖锐。传统游戏开发面临美术资源耗时90%、剧情脚本人力密集、玩法迭代依赖经验试错等痛点。本文聚焦AIGC技术如何突破这些瓶颈，覆盖从底层算法原理到游戏引擎集成，从独立开发者工具到3A大作工业化应用的全维度，解析技术价值与落地挑战。本文遵循"技术原理→工程实现→产业应用"的逻辑，首先拆解AIGC核心技术栈，通过数学模型与代码示例阐释生成机制；
AI元宇宙营销的MLOps实践：架构师如何实现模型的持续迭代？
AI天才研究院
07-28 349
以“数据-模型-部署-监控-反馈”为核心，融合云原生技术（Kubernetes+Istio）、LLMOps最佳实践（大语言模型持续微调）、多模态数据治理（时空特征融合）与虚拟环境集成（Unity/Unreal Engine API），实现模型从开发到迭代的全流程自动化。传统MLOps体系因缺乏对虚拟环境的适配性、多模态数据治理能力不足、模型更新链路断裂，导致营销模型迭代周期长（通常2-4周）、精度衰减快（虚拟用户行为变化率高达30%/月）、资源浪费严重（GPU利用率不足40%）。
（26页PPT）基于大数据的某省市智慧中心建设.pptx
12-20
（26页PPT）基于大数据的某省市智慧中心建设.pptx
Python数据分析入门与实战项目基于PandasNumPyMatplotlib和Seaborn等核心库涵盖数据清洗转换聚合可视化及统计建模全流程结合真实案例数据集.zip
12-20
Python数据分析入门与实战项目基于PandasNumPyMatplotlib和Seaborn等核心库涵盖数据清洗转换聚合可视化及统计建模全流程结合真实案例数据集.zip
基于智能排班与考勤管理系统.zip
12-20
基于智能排班与考勤管理系统.zip
MySQL数据库连接与操作辅助工具_支持Python2与Python3双版本兼容的MySQL数据库连接池管理_提供高效稳定的数据库连接复用机制与自动事务管理功能_包含连接池配置参数.zip
12-20
MySQL数据库连接与操作辅助工具_支持Python2与Python3双版本兼容的MySQL数据库连接池管理_提供高效稳定的数据库连接复用机制与自动事务管理功能_包含连接池配置参数.zip
551515151和vu给vuvuvuvu
12-20
595959595959595959hi吧hi哔哔哔iubi
如何解决android6.0以上不能读取外部存储权限的问题
最新发布
12-20
下载前可以先看下教程 https://pan.quark.cn/s/2372793cc03c yolov5-fpga-hardware-acceleration ## 写在前面 网络训练、图像预处理以及部分head功能是基于pc端实现的，只有主干网络部署在fpga上，片上资源无法支持整个网络所需资源，建议添加外部存储及DDR 注意，这里只添加了模块代码，考虑到不同板子对应的eda不同，只将fpga中纯source源码给出，经过仿真无误。 可添加相关ip核及引脚配置进行组网
V3列表查询任务开发.zip
12-20
【V3】列表查询任务开发.zip
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值