云计算
文章平均质量分 93
flyair_China
深度学习、仔细思考
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【数据科学】【人工智能】【大数据】大数据主要算法04
空间科学领域在大数据批处理中的应用核心算法/模型参数列表约束条件依赖关系数学/物理基础地理信息系统空间数据批处理空间索引,空间连接坐标参考系统,空间范围,精度数据格式,投影一致性空间库(如GDAL,JTS)几何学,拓扑学遥感影像处理卫星影像批处理影像分类,变化检测波段,分辨率,辐射定标参数大气校正,云掩膜遥感图像处理库辐射传输理论,光谱学地理空间分析空间统计分析空间自相关,空间插值距离阈值,邻接矩阵,插值方法空间平稳性,各向同性空间统计软件空间统计学,地质统计学轨道力学卫星轨道数据处理轨道预测,轨道确定轨道原创 2025-12-31 23:57:48 · 884 阅读 · 0 评论 -
【人工智能】【数字孪生】【游戏科学】主要数学模型-第五篇-动植物的数学建模
ETSI MEC PoP覆盖安全与隐私模型构成了一个复杂、多维、动态的系统,涉及从物理层到应用层,从技术实现到管理治理的各个方面。这些模型不是孤立的,而是通过复杂的关联网络相互联系、相互影响。系统化思维:考虑各模型间的关联和权衡风险导向:基于风险评估确定安全投资优先级隐私保护:从设计开始考虑隐私,贯穿整个生命周期持续改进:安全不是一次性的,而是持续的适应和改进过程合规驱动:满足法规要求是基本,超越合规创造价值技术创新:利用新技术提高安全效率和效果成本效益:平衡安全投入与业务收益。原创 2026-01-01 21:20:57 · 1009 阅读 · 0 评论 -
【人工智能】【边缘计算】边缘计算场景和函数方程
:边缘计算的高效运行需构建 。原创 2025-08-17 07:43:20 · 757 阅读 · 0 评论 -
【智算中心】智算中心Infiniband组网
维度训练区(IB网络)推理区(IB网络)公共服务区(VxLAN)存储区(IB存储网络)管理区(以太网)网络技术InfiniBand HDR 200G/NDR 400GInfiniBand HDR 200G以太网VxLAN/EVPNInfiniBand HDR 200G + NVMe-oF以太网10/25G拓扑架构双层Fat-Tree优化双层Fat-Tree简化三层CLOS(Spine-Leaf)专用IB存储Fabric双层CLOS交换层数2层(Leaf-Spine)2层(Leaf-Spine)3层(A原创 2026-01-01 15:38:15 · 752 阅读 · 0 评论 -
【数据科学】【大数据】【人工智能】大数据主要算法03
这个深度扩展的表格系统展示了Apache Hadoop HDFS的完整技术体系:文件系统操作:打开、创建、重命名、删除、目录操作流操作:输入流、输出流、随机访问、刷新同步管理命令:文件操作、集群管理、高可用管理配置管理:配置读取、类型安全、默认值支持分布式存储算法:副本放置、数据平衡、数据修复、垃圾回收一致性算法:租约机制、版本控制、原子操作、元数据同步存储优化:视频、音频、图像、3D模型、点云、医学影像处理流水线:采集、预处理、特征提取、分析、后处理、归档管理界面:Web UI、命令行、图形客户端、移动端原创 2025-12-31 19:41:31 · 717 阅读 · 0 评论 -
【产品运营】云计算产品运营
IaaS(基础设施即服务)是云计算的基础层,提供虚拟化的计算、存储、网络等基础设施资源。重资产运营:依赖大规模数据中心、服务器、网络设备等物理资产规模经济效益:规模越大,单位成本越低,竞争优势越明显资源利用率核心:硬件资源利用率直接决定盈利能力技术复杂度高:涉及虚拟化、软件定义网络、分布式存储等核心技术价格敏感性高:市场竞争激烈,价格是重要竞争手段客户技术能力强:用户是专业技术人员,对性能和稳定性要求极高云计算IaaS产品的成功运营是一个复杂而系统的工程,需要三个层面、八个维度的协同。原创 2025-12-31 08:42:23 · 1151 阅读 · 0 评论 -
【容灾备份】云数据中心各类CPU计算型业务跨数据中心容灾设计方案
分层解耦:网络、安全、存储、计算、服务分层设计,相互解耦高可用性:确保各层设计满足高可用要求,RTO/RPO满足业务需求可扩展性:支持水平扩展,适应业务增长安全性:多层安全防护,满足合规要求可管理性:统一管理,简化运维成本优化:在满足需求的前提下,优化成本本方案详细设计了云数据中心CPU计算型业务跨数据中心容灾的全面方案,涵盖网络、安全、存储、计算和服务五个核心维度,每个维度都细分为数据中心内和数据中心间的具体设计。原创 2025-12-29 23:25:16 · 480 阅读 · 0 评论 -
【智算中心】【容灾备份】智算中心业务容灾-第二部分
设计维度子类具体方案关键指标特征说明使用函数函数参数用途数据中心内1. 音频流传输网络2. 实时识别网络3. 模型更新网络4. 语音数据同步网络音频传输延迟:<50ms识别网络延迟:<100ms模型更新带宽:>10Gbps数据同步吞吐:>5GB/s1. 实时流传输协议2. 低延迟识别服务3. 增量模型更新4. 语音数据备份audio_stream: 音频流codec: 编码格式bitrate: 比特率audio: 音频数据。原创 2025-12-29 22:45:41 · 422 阅读 · 0 评论 -
【智算中心】【容灾备份】智算中心业务容灾-第一部分
设计原则具体实施关键技术监控指标恢复策略测试验证冗余设计1. 多副本数据存储2. 多路径网络连接3. 多活计算资源4. 多实例服务部署1. 数据复制技术2. 负载均衡技术3. 集群管理技术4. 容器编排技术1. 副本健康状态2. 路径可用性3. 资源利用率4. 服务实例状态1. 自动故障转移2. 数据一致性修复3. 资源重新调度4. 服务重新注册1. 故障注入测试2. 切换演练3. 性能压测4. 数据一致性验证自动化恢复。原创 2025-12-29 22:11:57 · 922 阅读 · 0 评论 -
【智算中心】各类智算中心业务在数据中心间容灾场景下详细设计
业务类型网络设计安全设计存储设计计算设计服务设计关键函数与参数业务名称网络设计描述安全设计描述存储设计描述计算设计描述服务设计描述1. 函数名(参数列表) 2. 函数名(参数列表) 3. 函数名(参数列表)业务类型网络设计安全设计存储设计计算设计服务设计关键函数与参数AI大模型训练RDMA/RoCE网络,400G/800G带宽,GPU Direct通信,多路径负载均衡,NCCL集合通信优化,动态带宽分配,网络拓扑感知调度模型参数加密传输,梯度差分隐私,模型水印,训练数据访问控制,零信任架构,原创 2025-12-29 21:59:31 · 561 阅读 · 0 评论 -
【智算中心】智算中心存储系统的各类、分片方案
简单性原则:在满足需求的前提下,选择最简单的架构和实现可扩展性原则:设计应考虑水平扩展能力,避免单点瓶颈韧性原则:系统应具备故障容忍和自我修复能力安全性原则:安全应内置而非外挂,遵循最小权限原则成本效益原则:在性能和成本之间寻求最佳平衡可观测性原则:系统应提供充分的监控和诊断能力演进性原则:设计应支持平滑演进和技术更新架构先行:设计前瞻性、可扩展的存储网络架构性能与成本平衡:在性能、可靠性和成本之间找到最优平衡点安全合规内嵌:将安全和合规要求融入设计和实施全过程自动化智能化。原创 2025-12-29 21:26:59 · 873 阅读 · 0 评论 -
【智算中心】超大规模智算中心跨地域互联与协同架构方案-第二篇
任务分配、路径规划、行为协调与冲突消解算法是构建智能自主系统的基石。任务分配是决策“谁做什么”,追求系统整体效能最优。路径规划是决策“怎么走去哪里”,保障个体移动的安全与效率。行为协调是设计“如何一起干”,确保群体协作的有序与高效。冲突消解则是制定“打架了怎么办”的规则,解决协作过程中的矛盾。这些算法广泛应用于无人机编队飞行、多机器人协同搜索与救援、智能仓储物流(AGV调度)、自动驾驶车队以及工业自动化。原创 2025-08-31 12:40:51 · 492 阅读 · 0 评论 -
【智算中心】超大规模智算中心跨地域互联与协同架构方案
当连接池为空且无法创建新连接时,异步API允许请求非阻塞地等待,直到有连接被归还或超时,这比同步阻塞线程高效得多。除了有效性检查,还应实现一个后台任务,定期(如每分钟)检查池中连接的健康状态,并关闭那些闲置过久或已失效的连接。池中的连接不是原始的数据库连接或网络套接字,而是经过封装的“池化连接”对象。在高并发场景下,多个线程会同时申请和归还连接,因此存放空闲连接的集合必须是线程安全的。这样,当第一波请求到来时,可以直接使用现有连接,避免临时创建连接带来的延迟。(如空闲、忙碌、检查中、已失效)。原创 2025-10-16 15:27:06 · 692 阅读 · 0 评论 -
【智算中心】DDC网络-满足大规模训练、推理、存储区网络(Roce2组网)-第四篇 跨地域互联(管理区和推理区)
智算中心互联原创 2025-07-05 14:11:15 · 391 阅读 · 0 评论 -
【智算中心】DDC网络-满足大规模训练、推理、存储区网络(Roce2组网)-第三篇 流量采集和监控
1.2 详细采集协议部署矩阵 协议类别协议名称部署位置采集频次采集策略采集内容采样率数据量(GB/天)处理方式物理层采集LLDP/CDP所有网络设备30秒轮询全量采集邻居信息、设备能力100%0.1实时处理PoE状态接入交换机60秒轮询全量采集PoE供电状态、功率100%0.05实时处理温度/风扇所有网络设备30秒轮询全量采集温度、风扇转速100%0.1实时处理光功率光模块60秒轮询全量采集发送/接收光功率100%0.2实时处理网络层采集NetFlow v9核心/边界30秒导原创 2025-12-29 12:29:02 · 469 阅读 · 0 评论 -
【智算中心】DDC网络-满足大规模训练、推理、存储区网络(Roce2组网)
特征维度具体特征网络影响设计考虑通信模式集体通信为主(All-Reduce/All-Gather)多对多通信模式需要高带宽、低延迟的All-to-All连接流量模式同步、周期性、模式可预测突发带宽需求高需要高效的拥塞控制和流量调度延迟敏感性端到端延迟敏感(μs级)尾延迟影响训练时间需要无损网络、确定性延迟带宽需求持续高带宽(100-400Gbps/节点)网络容量压力大需要高带宽、无阻塞网络扩展规模数千到数万GPU节点可扩展性挑战需要层次化、模块化设计存储访问大块顺序读写为主存储带宽需求高需要高带原创 2025-12-29 10:14:16 · 1223 阅读 · 0 评论 -
【智算中心】Roce/Infiniband网络设计
智算中心通常用于AI训练和推理,对网络的要求极高,特别是低延迟、高带宽、无损和可扩展性。RDMA(特别是RoCE)是关键。我们将从以下几个方面展开:定义各个区域(训练区、推理区、存储区)的网络需求。针对每种架构(DDC, CLOS, Fat-tree, Torus, Dragonfly, Slim Fly, 通用三层)分析在物理部署、逻辑连接、空间布局、连接关系等方面的参数。考虑网络设备(RDMA网卡、RoCE交换机)的物理部署参数(如位置、距离、链路长度等)。构建数学模型,包括延迟矩阵、流量路径、多路径重原创 2025-12-29 08:27:57 · 1200 阅读 · 0 评论 -
【SDN/NFV】NFV与SDN模块的数学建模-第二篇-存储及存储虚拟化
:运营商组织是“权力下沉、资源上收”的典型。。原创 2025-08-25 15:52:37 · 1879 阅读 · 0 评论 -
【企业经营】【云计算】中国企业云计算市场活动指标体系
状态等级代码增长率参数标准规模参数标准比率参数标准指数参数标准评分严重恶化1增长率<-2σ规模<基准-2σ比率<基准-2σ指数<基准-2σ1轻度恶化2-2σ≤增长率<-1σ基准-2σ≤规模<基准-1σ基准-2σ≤比率<基准-1σ基准-2σ≤指数<基准-1σ2正常3-1σ≤增长率≤1σ基准-1σ≤规模≤基准+1σ基准-1σ≤比率≤基准+1σ基准-1σ≤指数≤基准+1σ3轻度改善41σ<增长率≤2σ基准+1σ<规模≤基准+2σ。原创 2025-12-28 11:23:16 · 1086 阅读 · 0 评论 -
【企业管理】中国IT、CT、云计算市场活动指标体系
1.1.1.2 软件市场1.1.1.3 IT服务1.1.2 CT市场参数1.1.2.1 通信网络1.1.2.2 通信设备1.2.3 通信服务1.1.3 云计算市场参数1.1.3.1 市场规模1.3.2 细分市场1.3.3 云服务1.4 企业级市场参数1.5 技术发展参数1.2、参数衔接关系有向图矩阵1.2.1 产业传导矩阵1.2.2 参数关联矩阵1.2.3 时滞传导矩阵原创 2025-12-28 11:13:09 · 876 阅读 · 0 评论 -
【人工智能智算中心】计费系统篇01
精准性:MFU系数实现“算力即服务”,避免粗粒度计费不公平灵活性:规则引擎支持动态策略(如突发流量溢价)可信性:区块链存证 + 国密加密保障计费不可篡改国产化:全栈适配国产芯片/数据库/加密算法创新计费模式MFU阶梯激励:MFU>60%时单价降低,鼓励高效编程碳积分抵扣:绿色计算(PUE<1.2)奖励免费算力。原创 2025-07-02 08:35:54 · 1455 阅读 · 0 评论 -
【空间计算】【复杂系统】运动几何及运动测量-第二篇
F₀F₁-ATP酶旋转加速度。DNA/RNA聚合酶运动。ATP酶构象变化加速度。等离子体集体运动加速度。隧穿过程中的有效加速度。隧穿过程中的有效加速度。量子跃迁过程中的加速度。鸟类/昆虫飞行加速度。翅膀/肢体拍打加速度。纤毛/鞭毛拍打加速度。肌球蛋白/驱动蛋白等。双极扩散引起的加速度。辐射压力引起的加速度。光场本身的"加速度"非线性过程中的加速度。真空涨落引起的加速度。原创 2025-12-25 10:55:05 · 955 阅读 · 0 评论 -
【空间计算】空间计算的空间和时空表达与6G通感算融合
空间表示的基础数学理论提供了形式化的描述框架,包括集合论、代数结构、几何结构和分析工具等多个层次。原创 2025-12-24 07:34:00 · 1000 阅读 · 0 评论 -
【人工智能】【边缘计算】【空间计算】边缘计算网络空间
多尺度统一:从度量空间到流形拓扑的统一描述拓扑数据驱动:用持续同调提取拓扑特征几何深度学习:结合几何与深度学习的网络分析动态演化建模:用随机场和微分方程描述网络演化数学分支核心工具应用场景优势度量几何豪斯多夫维数、覆盖数网络部署密度量化空间复杂性代数拓扑同调群、Betti数连通性分析提取拓扑不变量微分几何曲率、测地线路由优化考虑空间弯曲计算几何覆盖控制精确几何计算随机几何点过程、随机场节点分布建模随机性动力系统反应-扩散方程网络演化描述时空动力学。原创 2025-12-24 07:37:50 · 632 阅读 · 0 评论 -
【智算中心】数据中心DaaS场景及算法
Flink, Kafka Streams, 时序数据库。Flink, Kafka Streams, 流处理引擎。Presto, ClickHouse, 查询加速引擎。Presto, ClickHouse, 查询加速引擎。延迟<50ms,可用性>99.99%,QPS>10K。REST API, GraphQL, API网关。Tableau, Power BI, 自助BI。Tableau, Power BI, 可视化库。Spark, Hadoop, 分布式计算框架。Spark, Hadoop, 分布式计算。原创 2025-12-24 07:35:18 · 535 阅读 · 0 评论 -
【智算中心】智算中心全业务场景矩阵
技术:MPI/OpenMP优化、InfiniBand/RoCE网络、Lustre/GPFS并行文件系统。技术:NVLink/NVSwitch高速互联、RDMA网络、检查点存储、混合精度训练。技术:Kubernetes运营商、服务网格、Serverless框架。技术:VXLAN/EVPN、SRv6、智能网卡、DPDK/智能网卡。运营:AI框架优化、显存优化、容错训练、多租户GPU隔离。技术:KVM/ESXi虚拟化、SR-IOV、智能网卡、快速发放。原创 2025-12-23 10:20:39 · 600 阅读 · 0 评论 -
【智算中心】智算中心训练业务流量分析
层次性明显:从服务器到机架到POD到全局,流量模式逐层聚合时空相关性:训练迭代产生周期性模式,拓扑结构决定空间模式可预测性:基于训练作业的参数可预测流量模式可优化性:通过智能调度和路由可优化流量分布设计关键原则:匹配原则:流量模式与拓扑结构匹配均衡原则:流量面积在空间中均衡分布局部性原则:最大化流量局部性,减少跨域流量可预测原则:利用训练作业的可预测性优化网络技术发展趋势:AI驱动优化:使用机器学习预测和优化流量模式可编程网络:通过P4等实现流量感知的智能网络协同设计:训练框架与网络协同设计量子启发。原创 2025-12-23 11:03:30 · 911 阅读 · 0 评论 -
【企业网、园区网、数据中心、广域网】各类业务网络及其网络演算算法
场景第一优先级第二优先级第三优先级园区网访问控制无线安全应用安全小区网络用户隔离设备安全内容安全企业办公终端安全数据防泄露威胁检测企业内网网络分段协议安全物理安全广域网传输加密端点安全可用性保障数据中心东西向防护虚拟化安全供应链安全。原创 2025-12-17 08:51:47 · 652 阅读 · 0 评论 -
【容灾备份】容灾备份系统中相关术语
:允许的最大数据丢失量,表示为灾难发生时刻 tfailure与最近有效备份点 tlast_backup的时间差:其中 λ(t)为数据生成速率。需满足 RPO≤Tmax(业务容忍阈值)。。原创 2025-08-18 10:24:16 · 598 阅读 · 0 评论 -
DNS容灾应急手册
,涵盖故障分级、监控预警、应急方案及演练实践,结合企业级最佳实践和真实案例,帮助快速定位并解决DNS故障,最大限度保障业务连续性。原创 2025-08-18 08:06:12 · 889 阅读 · 0 评论 -
【推荐系统】特征采样
特征采样是推荐系统的效率与效果平衡器:负采样解决数据倾斜,可学习采样提升信息密度,Bandit算法优化探索策略,图采样加速大规模训练。效果评估需警惕指标偏差,结合纠偏方法与业务指标验证。未来方向聚焦多模态融合、量子采样加速及增量学习框架。原创 2025-08-16 17:27:22 · 772 阅读 · 0 评论 -
【智算中心】低空智算中心
电信运营商通过 “技术-平台-生态”三维协同基建层:以通感一体化基站构建“空天地一体”网络,突破传统覆盖瓶颈;平台层:通过星云/星巡等平台实现空域智能调度,降低管理复杂度;生态层:联合产业联盟推动标准化,加速场景落地(如物流、巡检、安防)。未来重点:需突破高频器件集成度、跨域数据安全流通等瓶颈,实现从“通感一体”向“通感算智融合”的跃迁。原创 2025-08-03 19:04:52 · 523 阅读 · 0 评论 -
智算网络中的数学方法
根据业务负载特征(计算密集型或通信密集型)选择最优扩展策略,需结合性能瓶颈、成本效益和系统架构综合决策。:视频转码服务采用RTX 4090集群垂直扩展,单节点转码效率提升4倍,延迟降低至20ms。:电商秒杀系统通过水平扩展至1000节点 + Redis缓存,QPS从1k提升至50k。:通过提升单节点资源配置(如CPU核数、内存容量、GPU算力)增强系统性能。:通过增加节点数量 n 提升系统整体算力,需解决任务分配与协同问题。在智算网络(如分布式计算、云计算或高性能计算集群)中,。原创 2025-07-29 07:21:25 · 2303 阅读 · 0 评论 -
【跨省流量调度与网间结算】
DWBM通过动态权重因子量化差异、双边协商框架平衡利益、区块链保障透明性,实现跨省费率的精准适配。实际部署中需结合试点数据持续迭代参数,最终达成“成本可量化、争议可追溯、费率可协商”的跨省结算体系。原创 2025-07-20 22:48:50 · 1323 阅读 · 0 评论 -
【虚拟化】QEMU/KVM与 虚拟机资源配置
QEMU通过类型注册系统和QOM框架类型注册注册架构特定的CPU类型对象实例化触发架构相关的realizefn函数加速器绑定accel_ops动态调用硬件加速接口这种设计使得QEMU既能保持核心代码的简洁性,又能灵活支持从x86到RISC-V等数十种CPU架构的模拟需求。原创 2025-07-19 11:33:02 · 1555 阅读 · 0 评论 -
CPU与GPU全栈技术深度解析
CPU作为计算机的核心处理器,其本质是由数十亿晶体管构成的微架构,遵循冯·诺依曼体系完成取指、译码、执行、写回的循环流程。核心性能指标包括IPC、时钟频率和多级缓存设计。CPU广泛应用于通用计算、实时处理、并行计算等多个领域,通过AVX-512等指令集实现科学计算加速,并与操作系统深度协作完成中断处理、特权级切换等关键任务。现代CPU通过与内存、存储等硬件的协同提升性能,同时采用多级权限机制保障系统安全。不同应用场景对CPU指令集有差异化需求,如科学计算依赖AVX-512,媒体处理需要AMX扩展。未来CPU原创 2025-06-25 15:50:05 · 2264 阅读 · 0 评论 -
【服务器】服务器选型设计
为每个物料添加关键属性:CPU:核心数、主频、缓存(如L3=60MB)。RAID卡:缓存大小、支持算法(如XOR加速校验)。关联生产工艺:如SSD需启用TRIM穿透,HDD需振动抑制设计。步骤3:。原创 2025-06-25 17:30:25 · 1435 阅读 · 0 评论 -
【云计算】多云统一管理平台
。原创 2025-07-17 14:08:20 · 1566 阅读 · 0 评论 -
【高可用】大型网站架构中实现分布式数据库的高可用性与数据一致性
推荐方案:同城双活中心:采用同步更新的本地二级索引(低延迟强一致)。异地容灾中心:采用异步全局二级索引 + 最终一致性,通过预分区和覆盖列降低查询延迟。性能权衡矩阵:目标优化措施牺牲维度强一致性元数据同步 + 事务等待短暂业务阻塞高可用性异步索引 + 超时机制数据延迟(RPO≤1秒)低查询延迟覆盖列设计 + 本地优先路由索引存储空间增加注:在金融级场景中,可通过逻辑隔离的索引单元(如分机房独立索引)进一步减少跨中心干扰。原创 2025-07-17 14:39:17 · 1402 阅读 · 0 评论 -
【云数据中心】云数据中心运营管理框架
云计算数据中心运营管理的7个领域,即“云服务规划管理”“云资源管理”、“云服务交付管理”、“云运维管理”、“云资源操作管理”、“云安全管理”和“云审计管理”。划分的总体依据可以总结成以下三句话:“以交付为主线,以服务和资源为重点,以安全和审计为保障。“以交付为主线”,是指从“与用户交互角度”(服务交付管理)、“数据中心内部管理人员交互角度”(服务运维管理)到“人员与资源设备交互角度”(资源操作管理)的视角,总结云计算数据中心从“IT服务一运维一资源”的价值转变过程中涉及的关键环节的管理要点。原创 2025-07-17 11:48:16 · 1281 阅读 · 0 评论
分享