Python学习与数据挖掘

今天来聊一聊BERT和GPT的向量化，从而了解大模型的第二步：Embedding。Embedding（嵌入）是大语言模型（如 BERT 和 GPT）的核心组件，其作用是将人类语言转换为机器能理解的数值向量。这一过程类似于为每个词、子词或符号赋予一个“数字身份证”，使得模型能够捕捉语义信息，让相似的词（如“快乐”和“高兴”）在向量空间中距离更近。

今天来聊一聊BERT和GPT的分词器，了解大模型的第一步：Tokenizer。Tokenizer（分词器）是大语言模型（如BERT和GPT）预处理文本的核心组件，其作用是将原始文本拆解为子词、单词或字符，同时保留语义和结构信息。

在探索最新的大语言模型（LLM）时，“MoE”这一术语频繁出现在各种标题之中。DeepSeek-V3便是一个实力强劲的混合专家（MoE）模型，其总参数量高达6710亿，且在处理每个标记（token）时，能够智能地激活约370亿的参数，实现高效计算。同样引人注目的还有Qwen2.5-Max，这一大规模MoE模型通过精心设计的监督微调（SFT）流程以及基于人类反馈的强化学习（RLHF）方法进行了后训练，大大提升了其性能与实用性。这个“ MoE ”代表什么？为什么这么多大语言模型（LLM）都在使用它？

Qwen3正式发布并全部开源8款「混合推理模型」。

大模型的提示工程（Prompt Engineering） 是通过精心设计输入文本（Prompt），引导大语言模型（LLM）生成符合预期输出的技术。在Text2SQL（自然语言转SQL）和Text2API（自然语言调接口）场景中，提示工程的核心目标是将自然语言问题转化为准确的 SQL 查询和具体的 API 调用参数。

Ollama是一款专注于简化大型语言模型本地部署和运行的开源框架，基于Go语言实现，支持跨平台运行，并以“开箱即用”为核心理念，适合个人开发者和轻量化场景。而vLLM是一个高效的大模型推理与服务引擎，基于PyTorch构建，创新性地引入了PagedAttention技术，旨在解决大模型服务中的显存效率与吞吐量瓶颈，支持张量并行和流水线并行，可横向扩展至多机多卡集群。节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。

薪资真香、技术难度真大、要求真的很全面，但不是没有方法可循、可借鉴的。业务知识 + 专业知识 + 编程基础能力+刷题(LeetCode/剑指Offer) + 项目 + 实习 + 竞赛 +顶会/顶刊+学校针对岗位要求，我在知识星球和《算法面试宝典》中详细给大家介绍。让加入的朋友了解最前沿的知识点，有问题给予专业指导，少栽跟头。这份《算法面试宝典》，文档字数 30w+，我们也在一直更新，涵盖算法岗的方方面面，相信你读完并思考实践后，你一定能有所收获。

对于一个输入序列中的某个词，都会与序列中的所有词计算相关性。假设有一个输入序列：对于每个词 ，我们计算它与所有其他词的相关性，并赋予不同的权重，然后将这些信息进行加权求和，得到新的表示。当前这里的每个词都要在经过Embedding之后，再做权重转换。

清华之前出了 5 份 DeepSeek 的相关教程，北大近期了也出了两个，做个整理。。。

节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新人如何快速入门算法岗、如何准备面试攻略、面试常考点、大模型项目落地经验分享等热门话题进行了深入的讨论。2025开年相信大家都被DeepSeek刷屏了，DeepSeek以极地训练成本这么低，就获取了跟ChatGPT相近的性能，给美国科技圈一记暴击。有不少粉丝都问道DeepSeek应该怎么使用？只要你会将文字输入到AI对话框里，就能使用AI工具提高工作效率，下面就有把手教你如何使用DeepSeek解决Excel问题。

从避免AI幻觉的小窍门，到设计出色提示语的秘籍，每一页都凝聚着干货知识，让用户能够直接上手操作，快速掌握DeepSeek的精髓。这份文档不仅为用户提供了关于DeepSeek的全面知识，还体现了中国科技在人工智能领域的快速发展。《DeepSeek：从入门到精通》以通俗易懂的方式，全面介绍了DeepSeek的使用方法，为用户提供了极具价值的指导。这份文档内容丰富，篇幅长达104页，涵盖了众多实用技巧。

节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新人如何快速入门算法岗、如何准备面试攻略、面试常考点、大模型项目落地经验分享等热门话题进行了深入的讨论。过年这几天，DeepSeek 算是彻底破圈了，火遍大江南北，火到人尽皆知。虽然网络版和 APP 版已经足够好用，但把模型部署到本地，才能真正实现独家定制，让 DeepSeek R1 的深度思考「以你为主，为你所用」。

基于去年我们写的《大模型面试宝典》(2024版)的基础上，我根据自己实践经验和星球小伙伴的面经分享总结推出《大模型面试宝典》(2025版)，共计52w+字。与去年相比，内容增加了星球成员面试真题分享、大模型最新考试要点总结、DeepSeek 项目实战、业内同行大模型实战项目总结，同时删除了一些老旧内容。相信读完后，无论你是学生还是在职人员，在求职面试和工程实践方面一定能会有所收获。

最近已有不少大厂都在秋招宣讲了，也有一些在 Offer 发放阶段。节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新人如何快速入门算法岗、如何准备面试攻略、面试常考点、大模型项目落地经验分享等热门话题进行了深入的讨论。背景：电子科技大学 985硕士 字节算法岗Offer我最近已有几次大厂面试经历，目前还在刷面经和复盘，想想面试的时候，什么地方回答的不好(主要是项目经历的部分)总结整个面试下来，基础题偏多，算法原理的内容也不少，工程方面偏向于工程落地实现。

薪资真香、技术难度真大、要求真的很全面，但不是没有方法可循、可借鉴的。业务知识 + 专业知识 + 编程基础能力+刷题(LeetCode/剑指Offer) + 项目 + 实习 + 竞赛 +顶会/顶刊+学校针对岗位要求，我在知识星球和《算法面试宝典》中详细给大家介绍。让加入的朋友了解最前沿的知识点，有问题给予专业指导，少栽跟头。这份《算法面试宝典》，文档字数 30w+，我们也在一直更新，涵盖算法岗的方方面面，相信你读完并思考实践后，你一定能有所收获。

暑期实习基本结束了，校招即将开启。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。想象一下，能够像和最好的朋友交谈一样与你的数据对话，这就是 Pandas AI 的功能！这个 Python 库具有生成式人工智能能力，可以将你的数据框变成会话者。它像一个超级英雄的助手，会帮助你解决问题，让你的生活更轻松。

节前，我们星球组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学。针对算法类的技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。暑期实习基本结束了，校招即将开启。不同以往的是，当前职场环境已不再是那个双向奔赴时代了。求职者在变多，HC 在变少，岗位要求还更高了。最近，我们又陆续整理了很多大厂的面试题，帮助一些球友解惑答疑，分享技术面试中的那些弯弯绕绕。

这段时间面试了很多家，也学到了超级多东西。楼主这边背景是做基座预训练算法端为主的，对框架端和RL的内容有一定了解（面试能凑合），对于后端的知识比如ML compiler，kernel，cuda相关的了解就比较浅了（问到觉大概率挂）。硬件几乎不太懂。感觉一圈聊下来几点感悟:大模型这方向真的卷，面试时好多新模型，新paper疯狂出，东西出的比我读的快。Research岗位对工程也有要求，工程端也需要了解模型。感觉比较硬核的岗位，尤其初创公司都是对好几个点都有要求的（应用，模型，框架，底层后端，硬件）。

如果使用H800，CUDA版本要在11.8及以上，同时，PyTorch版本要在2.0.0以上。下面是我使用CUDA为11.7，同时PyTorch为1.13.1的报错信息。

完整

假如我们想要用 openai api 对一个段文本进行总结，我们通常的做法就是直接发给 api 让他总结。但是如果文本超过了 api 最大的 token 限制就会报错。这时，我们一般会进行对文章进行分段，比如通过 tiktoken 计算并分割，然后将各段发送给 api 进行总结，最后将各段的总结再进行一个全部的总结。LangChain 很好的帮我们处理了这个过程，使得我们编写代码变的非常简单。# 导入os,设置环境变量。导入文本加载器、总结链、文本分割器及OpenAI模型import os。