崇明新脉动:上海轨道交通22号线穿越长江

一次实时数据链路丢数排查:从 MQTT 队列积压到 SQL 统计开销 本文通过一次实时数据链路压测,排查了从MQTT到ClickHouse的端到端数据丢失问题。核心方法是为每条消息添加序号,建立独立观察点(MQTT订阅端、Kafka消费者),结合转发服务阶段统计与线程栈分析,定位到下游处理速度不足源于Druid SQL合并统计的高开销。优化措施包括关闭SQL合并、扩容代理队列、增强生产侧失败处理,并验证15分钟内实现全链路对账一致,显著缓解积压与丢包。关键收获:数据可对账、明确各阶段“成功”定义、关注客户端队列状态。 阅读详情

上海崇明线进度更新

 

近日,上海轨道交通建设迎来重大进展,22号线(崇明线)南港越江超大直径盾构区间隧道成功贯通。这一关键节点的顺利完成,标志着崇明线在长江隧道穿越中的南段部分(长兴岛-浦东)已成功穿越,为崇明与上海中心城区之间的快速联系奠定了坚实基础。

作为上海轨道交通路网中的一块重要空白,崇明线的建设一直备受瞩目。这条全长约42公里的轨道交通线路,南起浦东金桥地区,途经浦东新区、长兴岛和崇明岛,共设8座车站和6个工作井,以及2座停车场。这些车站分别为金吉路站(可换乘9号线)、申江路站(可换乘12号线)、高宝路站、凌空北路站、长兴岛站、陈家镇站、东滩站和裕安站,全部采用地下车站设计,为市民提供了更加便捷、舒适的出行体验。

 

云端股份上海智算中心

在这条充满希望的崇明线的陈家镇地铁站旁,一座智算中心悄然崛起——云端股份上海智算中心。这座智算中心毗邻智慧岛数据产业园,是崇明区目前建设的唯一一座智算中心,将成为联系上海和江苏北部地区的重要节点。

 

上海智算中心的地理位置得天独厚。它紧邻即将开通的22号线(崇明线)-陈家镇地铁站,交通十分便捷。并且毗邻电信海缆登陆站,这条横跨太平洋、触达欧美的海底光缆,使得上海智算中心成为上海地区距离该条海底光缆最近的智算中心。同时,它还距上海中心城区约45公里,距浦东国际航空港约50公里,紧邻G40沪陕高速,扼守进出上海的四大对外交通走廊之一。

目前,云端股份上海智算中心的土建工作已基本完成。这座智算中心的建成,将为上海及周边地区的数字经济发展提供强有力的支撑,推动云计算、大数据、人工智能等前沿技术的广泛应用,助力区域经济的高质量发展。

未来,随着这些基础设施的不断建成投产,将在这里汇聚先进的算力资源和技术力量。22号线(崇明线)这条新动脉不仅将崇明与上海中心城区紧密相连,也为上海智算中心带来了新的发展机遇,助力上海乃至更广泛区域的数字化转型与发展。

Spark01_Spark核心概念与环境搭建全流程 本文系统介绍Spark核心概念与环境搭建全流程。Spark是基于内存的通用大数据计算引擎,通过DAG模型减少中间结果落盘,显著提升性能。相比MapReduce,Spark支持批处理、流处理、机器学习等多场景,具备高效、可扩展特性。核心组件包括Spark Core(RDD)、SQL、Streaming、MLlib及多种集群管理器。下篇详解Standalone、Yarn及PySpark本地开发环境配置,涵盖spark-submit使用、Anaconda集成、Windows部署及History Server启用, 阅读详情

相关推荐

LTspice元器件库导入与路径管理:符号、模型、子电路全解析

在电子电路仿真中,元器件库通常由符号、模型和子电路三层构成:符号定义引脚外观,模型描述电气行为,子电路封装多端子网络。理解三者职责边界,是解决 LTspice 元器件库导入报错的关键。许多导入失败并非软件问题,而是文件类型错配、路径引用不清或引脚顺序不一致。掌握 `.include` 指令、用户库搜索路径和自制符号绑定模型,可以提升第三方模型复用效率,降低跨项目迁移成本。该思路适用于运放、MOS 管、二极管等器件建模,尤其在 UA741 等经典运放导入场景中,需要先核对 `.subckt` 引脚顺序,再选择

weixin_29182481的博客 179

云端股份上海智算中心亮相2024上海城博会崇明展区

10月31日,2024上海国际城市与建筑博览会(以下简称“城博会”)在上海世博展览馆正式开展。云端股份上海智算中心作为上海智慧岛数据产业园的重点项目,亮相上海崇明展区。上海崇明展区以“江海之心·上海东滩”为主题,由上海东滩建设集团有限公司代表参展。云端股份上海智算中心亮相上海崇明展区。

云上说的博客 674

tree_sitter多语言解析器配置实战指南

本文是一份详细的Tree-sitter多语言解析器配置实战指南。文章从零开始,手把手指导如何搭建Python环境、安装指定版本的tree-sitter库、下载并编译多种语言的语法规则,最终构建一个统一的解析器库。通过实战代码演示了如何初始化解析器、解析代码并遍历语法树,旨在帮助开发者高效处理多语言代码分析任务,并分享了高级技巧与常见问题排坑经验。

weixin_29245767的博客 267

坚持绿色发展的上海智算中心,稳步推进中

目前,云端股份上海智算中心的建设工作正按计划稳步推进。建筑中的厨房采用太阳能热水系统供应热水,研发办公楼及智算中心公共区域照明用电采用光伏供电,采用的多联机、空调等均是符合一级能效的设备,用电设备也全部符合国家能效标准,并且中心建设所采用的建筑材料距离基本不超500km,极大减少了材料运输中对于化石燃料的消耗。中心建设中还采用了液冷系统,单机柜电力可达40KW以上,与传统方法相比,大大减少了能耗和碳排放,简化基础设施需求,缩小占用空间,节约用水,采用了液冷系统的区域将单独实现更优于原先承诺节能值。

云上说的博客 797

保姆级教程:用GPU-Burn给你的NVIDIA Tesla服务器做个“压力体检”(附温度功耗监控脚本)

本文提供了一份详细的GPU服务器压力测试指南,重点介绍如何使用GPU-Burn工具对NVIDIA Tesla服务器进行全面的性能测试和温度功耗监控。从环境部署、多GPU测试策略到专业级监控指标解析,帮助运维人员构建标准化的GPU健康评估体系,确保AI训练和科学计算等关键业务的稳定性。

weixin_30619101的博客 394

Solidworks曲面建模学习(三)——样条曲线

本文主要演示平面的空间样条曲线的一些绘制。

东东不熬夜的博客 6497

GPU算力共享平台架构实践:任务分发与资源隔离

本文从工程视角拆解算力共享平台的分层架构,讨论 MIG、MPS、vGPU 与容器隔离的边界,并给出基于 Kubernetes Device Plugin 与调度扩展的配置示例,适合云游戏、在线推理与小型训练平台参考。

2601_96920793的博客 262

【Claude Code的Harness Engineering实现】:06-记忆系统(Memory)

记忆系统是Claude Code实现跨会话持久化和上下文保持的核心组件。它分为短期记忆(当前会话的对话历史)和长期记忆(跨会话保留的结构化信息),通过多层级的文件系统实现灵活的记忆管理。

rengang66的博客 240

Flink 学习日志 03:自定义一个SourceFunction,完成对Redis中数据的读取

本文介绍了在Flink中自定义SourceFunction读取Redis数据的完整流程:通过Jedis客户端连接WSL2中的Redis服务,编写RedisSource实现循环读取所有Key-value并逐条输出,结合Thread.sleep()实现每秒一条的流式效果。关键步骤包括环境准备、添加Jedis依赖、配置IDEA运行时加载provided依赖,并注意生产环境中应避免使用阻塞的keys *,改用scan命令。最终实现动态读取、实时打印,验证了Flink与Redis的数据集成能力。

木木的学习笔记 401

DeepLabv3+改进专栏

🔥【DeepLabv3+改进专栏!探索语义分割新高度】🌟 你是否在为图像分割的精度与效率发愁?📢 本专栏重磅推出:✅ 独家改进策略:融合注意力机制、轻量化设计与多尺度优化✅ 即插即用模块:ASPP+升级、解码器。

AIcurator的博客 2575

西门子 S7-1200 G2 高速计数器的使用方法介绍

西门子 S7-1200 G2 高速计数器的使用方法介绍

Robot_PLC_HMI_Automation 1683

Elasticsearch ingest pipeline 被禁用之后:性能代价、安全治理与数据入库时间的四种替代方案

生产环境为什么禁用 Elasticsearch ingest pipeline?写入路径同步执行的开销、Painless 脚本的安全治理是根因;而 _ingest.timestamp 出不了 pipeline,ES 8/9 也没有原生入库时间字段。本文给出四种替代方案:采集端注入时间戳、bulk 响应后回写、refresh=wait_for 近似、最小 set pipeline 白名单,附选型对比与踩坑清单。

Sayai的专栏 339

YOLOv11改进策略【卷积层】| DEConv: 强度信息与梯度特征融合的细节增强 适用于小目标与细节目标检测任务

本文记录的是利用 模块优化 的目标检测网络模型。(Detail-Enhanced Convolution,细节增强卷积)的设计旨在,解决 目标检测网络中传统普通卷积缺乏目标细节相关先验、对小目标边缘、目标与背景边界等关键细节捕捉能力不足的问题,同时避免引入额外参数量与计算开销,以适配 对实时推理性能与检测精度的双重需求。DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided atte

Limiiiing的博客 1496

大数据工具介绍

Hive作为离线数仓的元数据管理与SQL接口,依托HDFS存储、Spark/MapReduce计算;Spark是统一的分布式计算引擎,承担复杂数据处理;DataX实现异构数据源间离线同步;ClickHouse擅长极速单表分析;Doris则提供实时、多表关联的综合分析能力;Flink作为原生流处理引擎,支持毫秒级实时计算与状态管理。两者共同构建起从离线批处理到实时流处理的完整数据链路。

yyk33324的博客 261

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

行业研究报告采购避坑指南:从需求拆解到机构选型的实操逻辑

先说结论:买行业研究报告这件事,坑不在“哪家便宜”,而在“你拿到的数据能不能回答你的问题”。作为一个经常帮企业做采购决策的顾问,我见过太多花了几万块买回一堆PDF却用不上的案例。这篇文章把采购流程拆成五步,每一步告诉你该看什么、该避什么,尽量帮你少交学费。

2601_96585642的博客 220

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

代购系统改造:服务无状态化、分级隔离

代购系统因链路长、流量脉冲、写放大等特点,高可用设计需聚焦“消灭单点”。通过服务无状态化、分级隔离、数据库与消息队列容灾、监控告警与混沌工程验证,实现MTTR降至3分钟内,支付成功率超99.9%。核心经验:缓存雪崩防于过期策略,跨地域用短TTL GeoDNS,支付降级必须幂等。高可用本质是持续检验“无单点”假设的闭环体系。

2601_95706522的博客 160

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

ubuntu安装hadoop系统

本文详细介绍了基于VMware克隆虚拟机搭建三节点Hadoop分布式集群的全过程:使用同一Ubuntu镜像克隆出master、worker1、worker2三台虚拟机,依次配置主机名、固定IP(如192.168.82.10/11/12)、SSH服务及免密登录,确保节点间网络互通。随后安装Java,下载配置Hadoop并分发至各节点,最终初始化启动集群,验证其存储与计算功能,实现高效的大数据环境部署。

qq_43592674的博客 315

Elasticsearch:稠密向量字段类型

dense_vector字段用于存储稠密向量,支持k近邻搜索(kNN),默认启用索引并使用余弦相似度。可接受浮点数数组或Base64编码字符串输入,支持自动量化(如int8、int4、bbq)以降低内存占用。通过index_options配置索引类型(如hnsw、bbq_disk),并可启用过采样与重新评分提升精度。向量默认不存储于_source中以节省空间,可通过fields或_source.exclude_vectors显式返回。支持bit向量及GPU加速索引,适用于高维向量场景。

Elastic 中国社区官方博客 257

【消息队列】ACK确认了什么:消息队列可靠投递的完整链路

本文剖析消息系统中ACK机制在生产者、Broker、消费者三段链路中的作用,指出即使三段确认均正确配置,系统仍只能提供“至少一次”可靠性。原因在于重试、崩溃、重平衡等场景会导致重复投递,而“恰好一次”需依赖业务侧幂等性保障。关键结论:ACK仅保证不丢,不重复需靠唯一键、去重表或状态机等业务设计实现。

2503_94545876的博客 673

kafka指定分区消费

【代码】kafka指定分区消费。

hy_208的博客 50

数据科学与大数据技术专业有哪些比较好考的证书?

如果目前还没有明确方向,建议先完成Python与SQL基础学习,再选择一张与目标岗位最接近的证书。不要为了增加简历条目,在同一阶段同时准备多个不同技术方向。以数据分析方向为例,可以参考2025版CDA证书大纲安排基础学习:先掌握业务数据结构、数据库应用和统计分析,再进入指标体系、看板和用户分析。具备一定项目经验后,再学习二级涉及的统计检验、模型评估及数据治理。2025版教材介绍强调了思维、技术和实践的结合,适合用于组织学习;2027年的具体考试范围、报名条件和安排,则应依据届时发布的信息制定计划。

YangYang9YangYan的博客 308

如何在用户认证系统中使用 ElasticSearch 提升

本文介绍了如何在一个典型的企业级应用——用户认证与权限管理系统内引入并运用 ElasticSearch 技术来提高查找效率并降低数据库负载压力。读者可以通过了解其基础架构原理、正确配置方式以及典型应用场景从而掌握该工具的基本用法。如果你正在寻找一种更灵活高效的检索方案用于自己的项目当中,请考虑从以下几个方面入手实践: 1. 确认是否有必要引入新的全文搜索引擎;2. 设计好适用于该项目的数据模型以及索引规则;3. 持续优化你的 DSL 查询语句并监控运行状态;

wuchangjian的专栏 168

【Kafka】零基础学习教程

Kafka 是一个「只能追加、可以重复读」的分布式日志,不是传统意义上「读完就删」的队列。生产者写进去,消费者按自己的进度读。每个消费组自己记一个 offset(读到哪了),互不干扰。Kafka 快,是因为顺序写磁盘 + 批量 + 零拷贝;Kafka 难,主要难在「分区、副本、消费组」这几个概念和运维。Kafka 是一个分布式的、只能追加的日志(append-only log),生产者往里写,消费者按自己的进度读,消息按策略保留而不是读完就删。分布式:可以多台机器组成集群,水平扩展。只能追加。

2503_94545876的博客 298

头部车企基于 EMR Serverless Spark 的多模态大规模打标实践

某汽车头部客户基于阿里云 EMR Serverless Spark AI Function,在分合流、红绿灯等场景中开展多模态数据处理,并将向量化结果衔接至下游数据库,为后续场景检索、样本筛选及训练数据集构建提供支撑。

科技很有意思 178

BI(商业智能)

区分【通用 BI】和【时序 / 地图 IoT 专用可视化】

160

最新大数据毕业设计选题推荐-基于大数据的蛋黄酱零售价格区域与时间多维数据可视化分析-大数据-Spark-Hadoop-Bigdata

本文介绍《基于大数据的蛋黄酱零售价格区域与时间多维数据可视化分析》系统,适用于大四计算机专业毕业设计。系统采用Hadoop+Spark进行分布式数据处理,结合Django/Spring Boot后端与Vue+ECharts前端,实现从数据采集、清洗、存储到多维分析与可视化展示的全流程。功能涵盖时间走势、规格对比、区域分析等,支持按时间、区域、规格多维度下钻,界面清晰,技术路线完整,适合作为大数据方向实践课题,提供源码及文档支持。

IT研究室的博客 358
上一篇: VERYCLOUD睿鸿股份荣获Cloudflare前三精英合作伙伴级别——总年度合同价值最高奖项
下一篇: 合规率高达95%以上!全球融合CDN平台助力客户业务全球无忧拓展
云上说
博客等级 码龄4年 295粉丝 83原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值