- 博客(84)
- 收藏
- 关注
RSS订阅原创 deepseek大模型推理prefill/decode阶段研究分析
数据流向Prefill：所有输入token并行通过所有层Decode：一次只有一个新token通过所有层缓存使用Prefill：创建KV缓存Decode：利用已有KV缓存计算模式Prefill：批量处理Decode：自回归处理二、 Prefill阶段的目标与工作原理Prefill阶段的核心目标是将理解用户输入token的含义，生成输出第一个token，是后续decode阶段的首个输入。三、举例说明prefill、decode阶段在单台服务器上的物理推理模型。
2025-03-18 15:15:37
1136
原创 关于deepseek R1模型分布式推理效率分析
DeepSeek R1 采用了混合专家（Mixture of Experts，MoE）架构，包含多个专家子网络，并通过一个门控机制动态地激活最相关的专家来处理特定的任务。延迟是此阶段的关键问题。在分布式环境中，不同的节点可以并行处理输入的不同片段或不同的层，从而可能显着提高速度。在推理期间，当一个 token 被路由到一组特定的 8 个专家时，只有托管这些专家的节点才需要执行涉及其参数的大量计算。然而，在每个 token 生成步骤中，激活专家的计算仍然可以分布在多个节点上，从而降低每个步骤的延迟。
2025-03-17 18:43:27
1327
原创 私有化部署大模型推理性能分析
从用户感知角度分析私有化部署的大模型推理性能，这里的用户感知包括响应速度、生成速度、系统可用性以及系统稳定性。核心性能指标对用户感知的影响包括1、延迟指标2、吞吐量指标3、资源利用4、并发能力性能指标与用户感知的映射关系从网上搜索了一些信息汇总，
2025-03-02 23:29:06
1360
原创 从零开始：H20服务器上DeepSeek R1 671B大模型部署与压力测试全攻略
最近，我有幸在工作中接触到了DeepSeek R1 671B模型，这是目前中文开源领域参数量最大的高质量模型之一。DeepSeek团队在2024年推出的这款模型，以其惊人的6710亿参数量和出色的推理性能，引起了业界广泛关注。作为一名AI基础设施工程师，我有机会在H20服务器上部署这个庞然大物，并对其进行了全面的压力测试。这篇文章将详细记录我的部署过程和性能测试方法，希望能为大家提供一些参考。💡为什么选择DeepSeek R1？超大规模参数量（671B）优秀的中英文理解能力开源可商用的许可证。
2025-03-02 13:26:28
8271
8
原创 CUDA系统学习之一软件堆栈架构
所以看出CPU用于控制运行application，做复杂控制，GPU只用于大规模并行计算，GPU不能离开CPU单独使用，由CPU来统一管理系统资源，GPU专注计算任务。CUDA组件必须运行在CPU上，作为CPU和GPU之间的桥梁，管理和协调两种处理器的工作。1. PyTorch(应用层)调用cuDNN(Libraries层)的优化函数。# 安装NVIDIA驱动(适用于A800的最新驱动，如535)# 拉取NVIDIA优化的PyTorch容器(以最新版为例)# 设置环境变量(添加到 ~/.bashrc)
2024-11-06 17:02:54
1391
原创 天翼云AccessOne之零信任功能测试分析
通过实验及对部署过程与部署软件的分析，我认为这个零信任网关在服务侧是wireguard客户端连接了分布式cdn节点专门用于accessone服务的节点，这些节点组成了一个软件定义的基于互联网的局域网组网，并且比普通wireguard增强的是安全控制中心可以对用户访问流量做到精细控制，默认全部拒绝，这种模式下，用户通往内网的所有流量在零信任网关的节点被解密后进行了分析控制，只有规则明确允许的才能访问，规则可以在远程通过图形化的控制台集中控制下发，即时生效。1、用户访问基于互联网加密隧道，不依赖物理专线。
2024-03-12 23:32:55
2295
1
原创 天翼云搭建AIGC开发环境综合教程
天翼云GPU云主机安装全套英伟达开发环境，主要流程1、下载安装对应系统版本nVidia驱动程序安装验证2、CUDA开发套件安装验证3、深度学习框架安装验证4、容器化CUDA环境安装验证5、制作天翼云主机私有镜像6、分享镜像给其他用户，实现天翼云A10显卡英伟达驱动环境共享
2024-01-05 00:28:46
1619
1
原创 探索天翼云：实现跨地域网络互通的步骤和挑战
通过武汉到襄阳的互联网测速可以验证天翼云云间高速内网限制有缺陷，只实现了单向业务通，我的测速环境没有问题，相同的应用，相同的网卡，不同的路径，通过eip正常测速，通过云间高速只能单通。2、襄阳云池是天翼云3.0，下行互联网带宽测速为200M，上行互联网带宽大于约定的5m，武汉云池是天翼云4.0，下行互联网带宽测速为13M，上行互联网带宽大于约定的5M，但是比起襄阳云池下行带宽，天翼云4.0的下行流量做了限速。3、内外带宽测试--襄阳方向测试云间高速到武汉云池的速度为1M-云间高速的互联带宽申请1M。
2023-12-28 23:32:20
1756
原创 异步通信的利器：RocketMQ和Kafka的优劣分析与应用场景
本文探讨了消息队列在分布式系统中实现异步通信的技术原理和应用场景。消息队列是一种数据结构，它可以存储和转发一系列的消息，从而解耦生产者和消费者，提高系统的可扩展性和容错性。本文以RocketMQ和Kafka为例，比较了两种消息队列产品在功能、性能和适用场景上的异同，并给出了选择消息队列时需要考虑的因素。本文旨在为分布式系统设计者提供一个参考框架，帮助他们选择合适的消息队列技术。
2023-05-28 19:14:41
1298
原创 对标测评YD云电脑和天翼云电脑公众版
天翼云电脑和YD云电脑在技术上已经有代差，天翼云电脑技术领先至少1年，YD云电脑非常注重商务生态方面整合，但在云计算技术自主掌控上与天翼云还有相当差距。YD云电脑在计算能力、存储能力、网络能力方面全面落后于天翼云电脑，详细测试情况请向下看。
2022-12-18 19:46:58
7206
4
原创 天翼云上实现线下专网用户间接访问互联网需求
一、用户需求一个用户提出本地DC机房中的服务器需要访问互联网认证资源，但是DC的安全策略限制无法直接接入互联网，希望电信可以通过天翼云服务器实现间接访问互联网，本地服务器与与天翼云服务器之间使用云专线连接。二、组网拓扑拓扑说明：本地服务器地址为10.37.1.1与天翼云vpc专网服务器10.37.6.50可以通过云专线打通实现ip访问，10.37.6.50可以通过安装配置程序实现用户10.37.1.1访问指定互联网网站的业务需求。三、实现方案一nginx的正向proxy功能1、优点
2021-05-22 22:15:54
1433
原创 云迁移实操疑难案例分享-VMware Converter standalone迁移ubuntu18填坑
VMware Converter Standalone是Vsphere私有云中非常有效率的迁移工具，前两天用它来迁移一台Ubuntu18.04物理机到云上出现了故障，首先是转换到了97%就出错退出，出错原因是FAILED: An error occurred during the conversion: 'GrubInstaller::InstallGrub: /usr/lib/vmware-converter/installGrub.sh failed with return code: ...
2020-08-23 15:19:04
4241
1
原创 openstack学习三-虚拟机上手工最小化安装stein（6）neutron控制节点
Neutron组件管理OpenStack环境中虚拟网络基础架构（VNI）的所有网络以及物理网络基础架构（PNI）的访问层。OpenStack Networking使项目能够创建高级虚拟网络拓扑，其中包括防火墙，负载均衡器和虚拟专用网络（）等服务。OpenStack通过Neutron提供网络，子网和路由器作为对象实例。每个实例都具有模仿物理对象的功能：VPC包含子网，VPC路由器可...
2020-08-08 22:40:20
550
1
原创 玩转对象存储之将OOS挂载到vsphere存储池使用
在天翼云上申请了OOS，通过在本地vsphere虚拟化集群中一台VM上安装部署对象存储网关软件+NFS服务器，最终实现把天翼云上的OOS挂载进vsphere6.7集群的存储资源池。一、组网拓扑二、实现主要思路1）、为什么这么玩？ 为了实现将对象存储当成本地硬盘的效果，我尝试了很多方法，最后成功的只有一种，先介绍我失败的方法：1、通过S3FS将对象存储挂载到VM的目录上，然后通过NFS将目录挂载共享，此时NFS客户端加载没有问题，但是向共享目录保存文件时大量...
2020-05-26 08:57:28
2396
原创 网页防篡改使用详解及体会
最近有个客户需要使用网页防篡改服务，顺道学习了天翼云上网页防篡改产品的部署及使用，本文对网页防篡改服务的工作原理及部署过程及部署中需要注意的方面进行回顾。一、网页防篡改工作原理1、系统架构网页防篡改服务的经典场景如上图，在客户需要防护的vpc内新建一台云主机，使用网页防篡改镜像加载即可，保证防篡改服务器云主机与准备防护的客户网站云主机在同一个vpc内，网页防篡改架构是标准的...
2020-05-07 20:17:35
6996
原创 天翼云应用实操-H3C路由器ICG5000通过IPSEC与天翼云实现混合云组网
接上一篇通过内网ROS软路由与天翼云实现内网互通，本次通过内网硬件路由器H3C的ICG5000实现与天翼云的内网互通，由于天翼云网站上已经有华为与思科设备的对接方案，没有提供H3C的对接方案，如果各位有H3C的路由器防火墙需要通过IPSEC与天翼云的内网互通可以参考该方案。一、组网示意图 组网情况是内网出口路由器ICG5000配置公网地址1.1.1.1，内网IP10.3...
2020-01-17 16:44:08
1760
原创 天翼云应用实操-内网通过软路由ROS与天翼云资源池实现混合云组网
今天介绍一下通过软路由MikroTik通过IPSEC Site-to-Site方式连接天翼云与内网，实现混合云组网，本文在上一篇天翼云不同资源池之间互通的基础上进行扩展，重点介绍的是软路由侧的操作，关于天翼云侧的详细操作请自行参考上一篇博文内容。一、混合云组网环境介绍内网网段10.37.0.0/16，有一台通过vsphere部署的ros虚拟机运行了6.4版本的软路由，开启IP...
2020-01-17 11:01:08
4172
原创 天翼云应用实操-天翼云资源池间通过IPSEC实现高速互通
天翼云的资源池是2+31+N，分布在全国各地，每个省及大点的地市几乎都有资源池，如果你的客户在不同省份的资源池都部署了云上应用并且想把这些资源池共享数据，你可以首先通过互联网的EIP实现，其次如果想要数据安全传输，可以用天翼云云间高速产品通过专线实现不同云池间的高速安全连接，但是价格也非常感人，一般人是根本不敢用，那有么有既保障安全又可以高速连接的方法呢？下面的内容就是介绍如何实现在不同...
2020-01-16 16:59:10
8805
2
原创 天翼云应用之-对象存储挂载
最近学习了使用如何使用天翼云对象存储挂载，通过FUSE实现对将对象存储挂载进用户的空间文件系统。 用户空间文件系统（Filesystem inUserspace，简称FUSE）是一个面向类Unix计算机操作系统的软件接口，它使无特权的用户能够无需编辑内核代码而创建自己的文件系统。当前Linux通过内核模块对此进行支持。一些文件系统如ZFS、glusterfs和lustre使...
2019-11-18 14:41:14
6633
原创 云网融合学习之-VRRP协议实现网关保护探讨
众所周知在链路层实现链路保护可以通过链路聚合实现，那么在链路层之上的网络层如何实现网关设备的保护呢？比如一组非常重要的服务器网络它们只能配置一个网关IP地址，如果这个网关IP地址所在的路由器或防火墙设备的上下行链路、设备本身出了问题，则该网关内广播域中的服务器都会业务中断，为了避免出现这类情况，人们研究了一种VRRP（Virtual Router Redundancy Protocol，虚...
2019-11-11 23:06:14
606
原创 天翼云主机部署配置ftp服务详解
大家知道在服务器上上传下载文件有很多种方案比如最著名的ftp协议，或者安装lrzsz,这款工具比ftp服务安装配置要简单很多，今天我主要介绍ftp服务在centos7下的安装配置，首先来回顾一下ftp服务的两种工作模式：一、ftp工作模式ftp协议是tcp协议，有两个端口可以控制：tcp 20用于数据传输tcp 21用于控制或建立tcp连接模式一（PORT模式又叫主动模式）...
2019-10-15 09:54:35
3919
原创 openstack学习三-虚拟机上手工最小化安装stein（8）neutron服务验证
1、在控制节点上以admin用户环境登陆2、列出已加载的扩展以验证是否成功启动了该neutron-server进程：openstack extension list --network+---------------------------+---------------------------+----------------------------+| Name ...
2019-09-03 16:11:36
262
原创 openstack学习三-虚拟机上手工最小化安装stein（7）neutron控制、计算节点
Neutron组件管理OpenStack环境中虚拟网络基础架构（VNI）的所有网络以及物理网络基础架构（PNI）的访问层。OpenStack Networking使项目能够创建高级虚拟网络拓扑，其中包括防火墙，负载均衡器和虚拟专用网络（VPN）等服务。OpenStack通过Neutron提供网络，子网和路由器作为对象实例。每个实例都具有模仿物理对象的功能：VPC包含子网，VPC路由器可以在不同...
2019-09-03 16:05:48
522
原创 openstack学习三-虚拟机上手工最小化安装stein（5）nova-计算节点
转到计算节点安装，首先安装计算节点软件包，在第二部分安装时我们已经装过了，如果忘记参考下面的安装命令yum install openstack-nova-compute -y一、修改防火墙配置firewall-cmd --add-port=5900-5999/tcp --permanent && firewall-cmd --reload && fir...
2019-08-26 08:08:23
533
原创 openstack学习三-虚拟机上手工最小化安装stein（4）nova-控制节点
nova组件是openstack云管架构的核心模块，现在的很多模块原来都是nova中的一个组件，现在都单独成立了项目比如nurton。nova组件请求OpenStack Identity服务进行认证；请求OpenStack Image服务提供磁盘镜像；为OpenStack dashboard提供用户与管理员接口。磁盘镜像访问限制在项目与用户上；配额以每个项目进行设定（例如，每个项目下可以创...
2019-08-25 19:50:55
442
原创 openstack学习三-虚拟机上手工最小化安装stein（3）glance
接上两篇安装，上面已经完成了stein最小安装的控制、计算节点软件安装，数据库配置及keystone安装，如果你上面的步骤完全正确，通过openstack token issue进行验证，如果可以正常通过用户名密码获取token就说明安装成功了，要注意的是需要首先编辑好用户环境文件，要么将环境文件置为可执行，在执行openstack命令前先执行用户环境文件，要么通过source 环境文件来将用户认...
2019-08-21 22:01:17
334
原创 openstack学习三-虚拟机上手工最小化安装stein（2）
接上一篇博客内容，本篇需要完成分别在控制、计算节点上安装openstack各组件软件包，并在控制节点的数据库中完成keystone、glance、nova、placement、neutron等组件数据库、组件用户的初始化创建，最终完成keystone组件的完全安装。一、安装各组件软件包因为这些软件包的安装需要从网上下载，所以建议搭建时先行统一下载安装，在后面再进行分别配置部署，当然也可以选...
2019-08-20 07:46:40
566
3
原创 openstack学习二-虚拟机上手工最小化安装stein（1）
openstack目前最新稳定版本是stein，通过手工安装一遍可以最大限度的了解openstack的架构，更加深刻的理解openstack各组件之间的关联关系，本次实验的目标是在一台虚拟机上通过手工最小化安装openstack的基础服务及keystone、glance、placement、nova、neutron组件安装，这些组件安装后即可通过openstack命令行来开通虚拟机，如果需...
2019-08-18 22:26:40
821
原创 centos7下对原有磁盘分区进行在线扩容
1、将新硬盘分区并格式化为xfs格式fdisk -l 查看分区情况fdisk /dev/sdb再次查看分区效果 fdisk -l格式化/dev/sdb1分区 mkfs.xfs -f /dev/sdb12、将/dev/sdb1创建新PVpvcreate /dev/sdb13、在当前VG下扩容VG容量，将第二步创建的PV加入现有VG中v...
2019-08-15 13:00:56
15365
13
原创 openstack学习一：openstack共享服务之身份服务-keystone
OpenStack Identity服务提供单点集成，用于管理身份验证，授权和服务目录。通常是用户与openstack交互的第一个服务。经过身份验证后，最终用户可以使用其身份访问其他OpenStack服务。Identity服务还可以与某些外部用户管理系统（例如LDAP）集成。 用户和服务可以使用由Identity服务管理的服务目录来查找其他服务。每个服务可以有一个或多个端点，每个端点...
2019-08-12 16:13:04
1466
原创 企业上云培训二---zookeeper3.4.14和kafka2.11-1.0安装配置调优
本次需要完成的任务在上一篇博客的基础上持续添加软件zookeeper和kafka，指定zookeeper的端口为12181，kafka端口为19092，新建一个kafka的topic：audit，设置该topic分区数量为2，最后设置kafka的日志最大留存时间为48小时，kafka分区最大留存大小为2Gb。一、zookeeper 简单介绍 Apache ZooKeep...
2019-08-08 10:06:27
445
原创 企业上云培训一手工编译安装gcc7.3.0，mariadb10.4.6，redis5.0.5,导入csv数据进数据库表
为了满足企业上云业务的培训需求，近日启动企业上云系列培训教程，将从基础IT配置讲到云原生应用开发部署及调优，本次课程的目标如下： 目标一：手工编译安装mariadb和redis并启动 目标二：设置mairadb默认字符集为utf8，创建hubeitel数据库，创建message数据表 目标三：将data.csv文件导入hubeitel数据库的message表中...
2019-08-06 15:25:27
340
原创 云迁移案例之基于ThinkPHP架构网站数据恢复实战
一个客户部署在阿里云服务器上的2个网站因欠费被关停，客户的软件开发方2016年8月做过一次网站数据库备份，对网站目录做了一次打包备份，两个网站数据接近30G，网站基于PHP-MYSQL开发，采用国内比较流行的ThinkPHP架构，原站部署采用WAMP（WIN2008+APACHE+MYSQL+PHP）方式，由于客户没有购买软件方维保服务，所以客户软件方没有提供任何有价值的部署文档，只提供网站...
2019-07-28 00:01:55
431
原创 docker进阶实战一：部署私有仓库
这段时间开始一个新项目需要使用docker私有镜像仓库，然后通过私有镜像仓库完成新的docker镜像制作，包括tomcat、nginx负载均衡，最后开发web程序完成对从oracle数据库迁移至本地mysql数据库的数据表查询，查询程序与tomcat镜像包一并以docker镜像方式提交，这个项目的第一步是构建一个docker私有镜像仓库，所以今天我们先来完成docker私有镜像仓库的...
2019-06-05 09:33:53
621
原创 自动化运维之-linux自动配置发布ntp服务及ipv6的ntp服务
一、ntp是什么网络时间协议（英语：Network Time Protocol，简称NTP）是在数据网络潜伏时间可变的计算机系统之间通过分组交换进行时钟同步的一个网络协议。自1985年以来，NTP是当前仍在使用的最古老的互联网协议之一。NTP由特拉华大学的David L. Mills设计。二、ntp解决什么问题天翼云主机上线交付后，每台云主机都应该配置ntp时间服务，确保每台主机的时钟...
2019-04-24 11:40:18
2393
原创 天翼云主机安全-centos7自动更新安全补丁-ansible自动部署
网络安全形式越来越差，系统漏洞发现的频率越来越高，对于重要的漏洞操作系统往往会同步发布补丁，而如果采用人工维护模式不可能及时打上补丁，对于在互联网上运行的系统来说是非常危险，如何自动让操作系统给自己打补丁呢？本文记录如何实现每天、每小时自动更新操作系统安全补丁的技术实现。 一、安装yum-cron软件包yum install yum-cron -y 二、启...
2019-04-22 17:38:25
1198
原创 云迁移--mysql双主同步优化加实战mysql数据库迁移
本部分内容在上一篇《vsphere集群应用部署之--搭建mysql-5.7高可用主主-双从-HA》的基础上进行了大量改进，启用了新功能并实战将一个业务数据库导入到我们新建的mysql双主集群，实现mysql数据库数据迁移。一、主要流程介绍1、mysql数据库存储位置更改（通过mysql配置文件实现）2、开启mysql-Gtid复制模式，实现无主键冲突风险的复制并且配置主从复制...
2019-03-20 23:30:03
791
原创 vsphere集群应用部署之--搭建mysql-5.7高可用主主-双从-HA
云平台上线前，各种业务各占一台物理服务器，每台机器上都会部署不同的业务及数据库，如果业务量大则有可能数据库服务器单独设置一台，这种情况非常浪费，在云计算时代需要对这类架构进行改革，统一设置高可用数据库，然后将各类业务系统的数据库迁移至高可用数据库中，最后修改业务系统的链接既可实现多业务系统共享使用一套高可用数据库集群，本期就来学习实现如果利用vsphere平台上新建4台虚拟机搭建基于...
2019-03-13 17:32:37
1279
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人