- 博客(38)
- 收藏
- 关注
RSS订阅原创 大模型推理优化/测试（面1）
pd分离原理是让prefille阶段和decode阶段部署到不同实例，p阶段处理输入生成kvcache再将kvcache传入d，由d逐token输出，这样做是为了减少两阶段相互干扰，并分别优化和扩容。生成新 token 时，只计算新 token 对应的 Q、K、V，并使用历史 KV 做注意力计算，避免重复计算历史 token 的 K、V，以显存换速度。前缀缓存是进一步的优化：不同请求具有相同前缀时，可以复用其 KV Cache。4、推理服务中tp、ep、pp是什么含义，有什么作用。2、kvcache原理。
2026-11-10 17:26:54
167
原创 大模型推理优化(2)
算子：DiT 的 Attention 前置融合，RMSNorm+RoPE 合并单 kernel，原地更新 Q/K；带宽瓶颈场景，减少显存读写实现加速。核心 CUDA 工程：warp-per-head，warp-shuffle 归约求和；NeoX 模式用 shuffle_xor 跨 lane 交换向量对；128bit 向量对齐访存提升带宽。host 侧负偏移统一 QK 寻址。模板 + JIT 编译缓存。百度昆仑移植：kernel 代码原样复制，仅调整目录；
2026-09-28 14:12:45
373
原创 大模型推理优化(1)
这个阶段包含大量 GEMM，计算密度较高，所以通常是 compute-bound，主要看 GPU 的 Tensor Core 算力。由于每轮只处理少量 token，却需要读取大量模型权重和不断增长的 KV Cache，所以通常是 memory-bound，主要受 HBM 显存带宽限制。第四，提高 Prefill 本身的执行效率，例如使用更小或低精度模型、高效 Attention kernel、更强硬件，以及合理的 Tensor Parallel。第三，高并发时降低排队和阶段间干扰。
2026-09-02 17:49:13
190
原创 AI集群搭建k8s实战(docker)
k8s集群初始化命令：kubeadm init --config=kubeadm-config.yaml --upload-certs --v=9。cri服务：k8s通过cri-dockerd来连接docker,本来1.24版本以前可以直接使用，1.24版本以后需要该工具来连接docker。防止自动更新：sudo apt-mark hold kubelet-kubeadm kubectl。然后systemctl enable --now cri-docker启动。3、云原生负载均衡器kube-vip准备。
2026-08-13 17:20:09
228
原创 vllm框架深挖
模型将刚刚吐出的 Token 拼接到原问题后面，作为新的历史上下文，重新送入神经网络，重复第 3 至 6 步。如此周而复始，逐字生成，直到吐出代表“结束”的特殊符号（EOS Token）为止。基于这组隐藏状态矩阵，模型在内部巨大的词表中，为每一个可能的“下一个 Token”计算出一个精确的概率值。模型按照这些概率进行“掷骰子”（采样），抽中一个 Token，并将其翻译回人类能看懂的文字，输出在屏幕上。经过上百层的层层计算，模型精准理解上下文的深层逻辑，并将整句话的语义压缩成一组。
2026-07-01 18:53:36
239
原创 生产环境离线部署大模型
d '{ "model": "qwen3-235b", "messages": [ {"role": "user", "content": "你好，我是一名AI工程师，正在测试Qwen3-235B模型"} ], "temperature": 0.7, "max_tokens": 1024 }'但是注意该服务器一定得解决一下问题:一般服务器只有2个左右插槽，以及散热问题，以及大功率电源。1、服务器插槽装载8张INVIDA RTX 4090的显卡(单显卡48GB)//安装完成后再重启服务器，然后验证。
2026-04-13 17:35:16
562
原创 Docker和K8S
Docker主要适用于服务器不多，但是需要用到组件比较多的场景。1、yum命令安装部署docker,安装docker镜像加速器。将程序以及环境打包成容器。
2026-03-22 15:41:57
47
原创 大数据运维(1)
Ambari Server/Agent存活状态、心跳延迟；集群节点时间同步偏差（≤5s）、核心端口监听状态、组件日志磁盘占用率、Kerberos认证状态。
2026-03-11 16:57:30
477
原创 Doris(2)
Doris 集群常见问题主要集中在查询慢、OOM、数据倾斜、Compaction 跟不上、写入慢、元数据压力大、BE 宕机、数据不均衡这几类，大部分都和分区分桶不合理、数据倾斜、Compaction、内存配置相关。
2026-03-05 16:43:49
303
原创 Doris(1)
向量化执行，就是把 “一行一行处理” 改成 “一批一批处理”，用 CPU 的 SIMD 指令，一次算多条数据，从而极大提升查询速度。Doris 是原生分布式 MPP，扩缩容简单、Join 强、MySQL 兼容，更适合企业级复杂数仓场景。，数据存在 HDFS 上，Hive 读取时需要先把 Parquet 列数据解析成 “行记录”，仍是。Doris 数据在 BE 节点本地磁盘以列式存储，读取时直接按列读取、按列计算，ck扩缩容麻烦，重新分配shard节点，doris在线扩缩容、自动均衡、无感知。
2026-03-05 15:45:44
175
原创 Flink算子
作用：自定义聚合逻辑（比 sum/avg 更灵活），支持增量聚合。场景：复杂统计（如累计金额 + 订单数）。java运行// 示例：统计每个用户的累计金额和订单数（Tuple3：用户ID, 累计金额, 订单数）// t1：历史聚合结果；t2：新到来的元素// 累计金额0 : t1.f2);// 订单数// 初始值// 输出：(user_01,100.0,1) → (user_01,250.0,2) → (user_03,300.0,1)基础转换map（一对一）、flatMap（一对多）、
2026-03-02 15:19:37
321
原创 Docker
Docker 是轻量级容器，打包了应用程序依赖以及运行环境，解决了应用程序在不同linux操作都能运行的问题。docker run后面的参数不会覆盖，强制覆盖的话加上 --entrypoint参数。用&&拼接命令减少镜像层数，--no-cache-dir避免缓存，减小镜像体积。格式：CMD ["命令", "参数1", "参数2"]（exec格式，推荐）进入容器：docker exec -it 容器ID /bin/bash。运行时加 --gpus all 或 --gpus device=0。
2026-03-02 14:57:01
725
原创 数仓开发(查询引擎)-主打查询，增删改查另说
支持分区、分桶（分片）策略，可按时间、地域等维度拆分数据，减少扫描范围；支持 LZ4、ZSTD 等高效压缩算法，压缩比可达 10:1~50:1，节省存储空间，这是二者比传统行式数据库（如 MySQL）分析性能更强的核心基础。，针对 OLAP 场景做了深度优化（如向量化执行、谓词下推、分区裁剪），可支撑十亿 / 百亿级数据的秒级聚合查询。：大数据生态的统一 SQL 网关，通过统一接入、统一管控，让多底层查询引擎的使用更简单、更规范。，无第三方依赖，集群部署和扩缩容极其简单，核心特点是。
2026-01-22 08:50:31
697
原创 大数据开发运维都重要的知识点
维度模型主要分星型和雪花，星型是单张事实表直接关联多张维度表，维度表不做拆分，优点是模型简单、查询速度快，是生产最常用的；雪花模型是在星型基础上，对维度表做范式化拆分形成子维度表，虽降低了数据冗余，但增加了联表层级，查询性能差，生产中一般很少纯用，仅局部场景适配。数据建模中ER模型和维度模型是两大核心，ER模型是范式化建模，适配OLTP业务系统，追求数据一致性、低冗余；维度模型是反范式化建模，专为OLAP分析场景设计，牺牲少量冗余提升查询效率，所以数仓生产环境主流用维度模型。
2026-01-21 08:54:26
113
原创 湖仓一体(2)
日志数据：客户通过http发送到kafka,我用flink-sql，配置kafka连接器，消费到hudi表中(经典的数据分析流程source-channel-sink)2、Hudi集成Flink(总结起来就是，Hudi的jar包放到flink的lib下，然后flink再连接到hive)我通过fliink-cdc方式读取mysql的binlohg日志，实时监测数据，消费到hudi的维度表中。安装配置你的hive仓库,然后将以下两个Hudi的jar包放到hive目录的lib目录下。3、Hudi集成Hive。
2026-01-19 09:27:45
64
原创 基础数据类型
布尔型boolean（基本类型）boolJava 首字母大写（true/false），Python 小写Boolean（包装类）整数型intPython 无长度区分，自动适配大整数浮点型floatPython 均为双精度，Java 分单 / 双精度字符 / 字符串char（单个字符）strPython 无 char 类型，统一用 strString（字符串）空值nullNoneJava 引用类型可赋值 null，Python 仅 None列表 / 数组。
2026-01-16 15:32:06
92
原创 湖仓一体(1)
雪花模型:在星型模型基础上，维度表有子表(拆分成子表的原因是规范化拆分，消除冗余) //例如国家子表，省子表，市子表。Hadoop 生态（HDFS、Hive、Spark）、云存储（S3、OSS）、Delta Lake、Iceberg。DWS层：按照大业务场景，数据轻量汇总，生成宽表，减少ADS层数据重复处理。事实表:存储具体值，必须包含维度表的主键(特征是数据量巨大)ADS层：面向具体业务，高度聚合数据，数据直接用于展示在前台。DIM层：存储维度表数据，供DWD层复用。星型模型:一张事实表，多张维度表。
2026-01-15 11:21:11
105
原创 sql窗口函数
2、dense_rank()over(partitions by b order by a desc) //按照分组并列排名。1、dense_rank()over(order by a desc) //并列排名。3、//连续出现三次以上的数字。
2026-01-13 13:38:53
66
原创 常用shell脚本
1、需求是当存在/home/1.conf和/home/2.conf两个文件时，判断服务3.conf是否在启动,没有启动的话重启。2、现在有table.txt文件,要实现将这十张表进行同一个sql语句查询，写的脚本在/tmp/jb.sh。将上面的脚本放在/bin/vi /tmp/tmp.sh里，然后执行在定时任务,每五分钟执行一次。echo '进程不在，将启动'echo '进程还在'echo '不存在有关服务的两个文件'echo '存在有关服务的两个文件'echo '查询表$table'
2025-06-02 22:00:10
230
原创 大数据技术之hbase命令
向 employee 表插入数据，行键是 emp1，第一行插入 personal_info 列族下 name 列限定符的值为 John Doe，第二行插入 work_info 列族下 department 列限定符的值为 HR。创建在test_namespace命名空间的名为employee的表,包含 personal_info 和 work_info 两个列族,并且设置了保留版本。授予用户 user1 对 employee 表的读取（R）、写入（W）、执行（X）、创建（C）和管理（A）权限。
2025-04-18 17:50:08
747
原创 大数据技术之redis三种模式比较(二)
分布式：将数据分散存储在多个节点上，每个节点负责一部分数据的存储和处理，提高了系统的扩展性。故障转移：当主节点发生故障时，哨兵节点从从节点选举出一个新的主节点，并重新进行主从节点配置。高可用性：通过多个哨兵节点的协作，确保在部分哨兵节点故障的情况下，仍然能正常进行故障转移。写操作瓶颈依旧存在：和主从模式一样，所有的写操作都集中在主节点上，写性能仍然是系统的瓶颈。自动监控：哨兵节点实时监控主从节点的状态，一旦发现主节点故障自动进行故障转移。所有的写操作都必须发送到主节点，主节点的写性能大大影响系统的可用性。
2025-04-18 17:21:41
280
原创 大数据技术之redis部署(一)
生产环境常选用cluster集群部署方式原因:redis3.0版本开始自带的集群部署方式，使用分布式(分片存储，单节点的数据不是全量的，当数据量过大，会让其他节点分摊数据)和高可用(副本、数据备份)replicaof 192.1.1.1 6379 //指定主节点的ip和端口号。配置Redis Cluster集群,需要至少3个master节点。redis集群部署方式:cluster集群(生产环境常用)三、对主节点(第一台)配置文件进行修改。
2025-04-18 16:29:24
386
原创 大数据技术之elasticsearch基础操作
6、引名包含estest，对第三列进行排序。5、统计索引名包含estest的数量。4、查看集群所有索引信息。7、查看es集群健康状况。3、查看单个索引信息。
2025-04-13 21:46:54
225
原创 大数据技术之kafka基础操作
*查看单个topic对应的schema。**topic消费之后重置偏移量。**查看单个topic。**查看所有topic。**topic生产命令。**topic消费命令。
2025-04-13 21:28:04
638
原创 大数据技术之HDP基础操作
hdfs dfs -getmerger /warehouse/tmp /tmp/tmp.csv //从hdfs下载文件。hdfs dfs -get /warehouse/tmp /tmp/tmp //从hdfs下载文件夹。hdfs dfs -put /tmp/1.csv /warehouse/tmp //上传到hdfs。hdfs dfsadmin -report //hdfs存储规模。parquet:列式存储，可以只读取需要的列数据，提高查询性能。
2025-04-13 20:37:12
218
原创 大数据技术之linux进阶(1)
iptables-save > /etc/iptables.rules //将当前规则保存在ipta文件bles.rules。s/new2/old2/g' 1.txt,2.txt //多个文件替换多个内容。sed -i 's/new/old/g' 1.txt //1.txt文件中old替换成new。:5,10s/old/new/g //5-10行内替换old为new。:%s/old/new/g //全局替换old为new。
2025-04-13 20:37:00
332
原创 大数据技术之linux基础(2)
只能进行像同步时间等操作，而无法修改服务器配置或者发送 trap 消息。//-- 增加内容如下（让硬件时间与系统时间一起同步）当该节点丢失网络时间，依然采用本地时间作为时间服务器。三台机器时钟同步192.168.1.1-3。1、主节点操作(修改两个文件)
2025-04-13 17:27:51
269
原创 大数据技术之linux基础(1)
ssh-copy-id -i id_rsa.pub 10.58.11.1 //将公钥发送到其他节点。/dev/sdb磁盘1T要分为两个平均大小分区/dev/sdb1、/dev/sd。cat /etc/*release //详细操作系统信息。ssh-keygen -t rsa //生成公钥和私钥。cd ~/.ssh //进入.ssh文件。free -h //内存信息。df -h // 磁盘信息。p //分区。
2025-04-13 16:36:23
327
原创 springboot+vue(1)
4、在maven的conf目录下的settings.xml文件里的settings里添加jdk的信息。vue引入axios：npm install vue-axios --save(进行http请求)2、在解压后的node.js文件里，新建node_cache和node_global文件夹。npm install -g pnpm //下载pnpm,用pnpm下载比npm快。//删除指定npm缓存文件的存放路径的配置。//查看node.js和npm版本。//指定npm缓存文件的存放路径。
2025-03-18 21:03:25
371
原创 pytorch基础(2)
PyTorch 提供了类似于 NumPy 的张量操作，这些操作可以在 CPU 和 GPU 上执行，从而加速计算过程。： PyTorch 的计算图是动态的，这意味着它们在运行时构建，并且可以随时改变。这为实验和调试提供了极大的灵活性，因为开发者可以逐行执行代码，查看中间结果。： PyTorch 虽然以 Python 为主要接口，但也提供了 C++ 接口，允许更底层的集成和控制。： PyTorch 提供了大量的预定义层、损失函数和优化算法，这些都是构建深度学习模型的常用组件。1、pytorch简介。
2025-03-03 22:52:32
730
原创 Pytorch安装(1)
下载完是zip压缩包，解压在C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7。ctrl+shift+p打开命令面板输入:Python: Select Interpreter。创建虚拟环境:conda create -n pytorch python=3.12。查看所有安装环境:conda info --envs。5、在anaconda prompt验证。下载完是exe文件，安装完设置环境变量。在cmd验证CUDA安装。4、下载pytorch。
2025-02-19 22:43:43
459
原创 大数据技术之windows虚拟机部署kerberos
4、hosts文件中加入ip和主机名的映射(这里是你要访问的linux集群节点ip、主机名)，windows系统下hosts文件在：C:\Windows\System32\drivers\etc下。3、将集群中kdc节点的/etc/krb.conf文件拷贝到C:\Program Files\MIT\Kerberos\路径下面，改名为krb.ini。在非安全网络环境下，windows客户端要访问集群的服务(yarn界面、hdfs界面等)，集群要认证你是否是它的客户端，身份验证。7、火狐浏览器相关配置。
2025-02-17 22:41:46
538
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人