Ucloud_TShare的博客

据中国信通院发布的国内首个《中国云原生用户调研报告（2020年）》指出，2019年我国云原生产业市场规模已达350.2亿元。全球知名市场调研机构Gartner曾预测，到2022年全球将有75%的企业会选择云原生。这终将是属于云原生的时代。以容器、微服务、服务网格等为代表的云原生技术体系蓬勃发展，其中容器技术更是被应用于多种场景，如：边缘计算、大数据、人工智能等。云原生已逐步成为数字经济时代下的新型基础设施，基于行业经验的技术能力沉淀，应用到企业核心业务，赋能行业创新发展。云原生已.

当前，云计算已成为万千企业数字化转型的基石，随之而来的是对云计算应用效能的更高要求。敏捷开发、弹性架构、多集群运维等，让企业现有IT架构面临新的挑战。云原生以其独特的技术特点，很好地契合了云计算发展的本质需求，正在成为驱动云计算“质变”的技术内核。企业基于K8S构建微服务成为了变革的共识和方向，也让容器成为快速迭代开发和持续部署的最佳选择，更成为了产业数字化发展的重要支撑。如何更高效的实现资源合理调度和复用？如何弹性使用云原生来保障瞬时业务增长？如何基于K8S构建安全的技术中台，为传统行业赋能？

UCloud在2015年推出了为云主机磁盘提供持续数据保护（CDP）的数据方舟（UDataArk）产品，支持最小精确到秒级的恢复，针对数据删除或者丢失事件，能够最大程度的挽回数据。数据方舟已经在多个数据安全案例中得到应用，并得到了众多客户的认可。近些年，随着用户高性能存储场景需求的增多，SSD云盘和RSSD云盘成为主流选择， 但是数据方舟只针对本地盘及普通云盘，SSD云盘和RSSD云盘缺乏高效的备份手段成为用户的痛点。为此我们推出了磁盘快照服务（USnap），USnap基于数据方舟CDP技术并进一步升级

LVS（Linux Virtual Server）是一个虚拟服务器集群系统。工作在 OSI 模型的传输层，即四层负载均衡。LVS 本身实现了 NAT、DR、TUN 模型，这些模型仅做数据包的转发，而不会与客户端建立连接，成本低效率高。FULLNAT 基于 NAT 实现，LVS 本身不支持，需要额外对内核打补丁后才能使用。本系列按照负载均衡器对数据包的处理方式分类，从计算机间通信的角度出发，浅谈 NAT、FULLNAT、DR、TUN 模型的实现原理。两台计算机如何在互联网中通信在了解 LVS

Serverless容器的服务发现2020年9月，UCloud上线了Serverless容器产品Cube，它具备了虚拟机级别的安全隔离、轻量化的系统占用、秒级的启动速度，高度自动化的弹性伸缩，以及简洁明了的易用性。结合虚拟节点技术（Virtual Kubelet），Cube可以和UCloud容器托管产品UK8S无缝对接，极大地丰富了Kubernetes集群的弹性能力。如下图所示，Virtual Node作为一个虚拟Node在Kubernetes集群中，每个Cube实例被视为VK节点上的一个Pod。

背景由于不同业务的数据存储和应用需求不同，企业通常会将不同业务产生的数据分别存储在独立的数据库中。随着业务架构的不断调整，以及受开发过程的影响，原先分开存储的数据库逐渐暴露出一些问题：1、数据分散在不同的数据库实例上，形成独立的数据孤岛，难以实现数据的聚合分析。传统的通过MySQL主从关系同步数据的方式，在MySQL5.7版本之前无法建立多对一的增量同步关系。MySQL5.7版本虽然推出了多源复制功能，但功能单一，无法进行不同库表间的映射，且配置过程复杂，当源数量较多时容易出错。2、数据库分库分表之后存

> 随着互联网业务发展和对容灾的需求，以及对访问加速、多供应商成本控制等要求，互联网公司通过跨云部署和迁移来更好的控制成本逐渐成为刚需，跨云部署和迁移也就成为运维圈子里的一个热门话题，而在此过程中，对运维和研发最头痛就是数据的迁移和分布。粤语中有一句谚语“**上屋搬下屋，搬洒一箩谷**”，意思是在各种各样的搬动过程中，或多或少都会伴随一些资产的流失，这对于互联网业务来说是难以接受的。**通过对最近几次客户的多云部署进行总结，过程中存在的挑战有三点：****首先是数据完整性和一致性挑战。**

Web系统承载着各企事业单位的门户、注册登录、业务执行等职责，很容易遭受各种类型的恶意流量攻击，影响应用可用性、损害安全性或消耗过多的资源，UCloud Web应用防火墙UWAF则可以有效保护用户的 Web 应用程序免受各种常见 Web漏洞的攻击。不同于传统应用防火墙，UWAF按使用量付费、随用随开、简单便捷，还可以将UWAF作为网络攻击解决方案的一部分与DDoS高防服务结合，从而获得更全面的防护。UWAF自上线以来，已帮助众多用户有效识别恶意爬虫、CC攻击等恶意流量行为，成为Web端业务的防御利器。

受疫情影响，在线教育迎来爆发式增长。智慧树作为教育部推荐的线上教学平台之一，为全国近2000所高校、30余万老师、1000多万大学生提供在线课程内容、在线教学平台以及全流程教学服务。自2020年4月开始， UCloud URTC实时音视频产品被智慧树正式接入使用，为其提供从音视频的采集、处理、编解码、传输以及云端的转码混流等系统服务。基于UCloud在全球部署的31个可用区、29条专线、500+加速节点，URTC可提供平均300ms的低延时稳定流畅的师生线上课程体验，且支持百万人级别的超高并发能力。

2020年11月20日，上海接连发现3起确诊新冠病例，而两天之后，是连续举办了近20年的“长三角联合师资招聘专场”预定的开幕时间。办，还是不办？这个抉择让主办方倍感焦灼，**一方面是自新增确诊病例后的疫情传播风险，一方面是整体准备工作都已就绪，已有近两万人已完成线上报名。如临时取消，后果显然很严重。**此时主办方已经和UCloud一起进行了两周的前

前言以Docker为代表的容器技术缩短了企业应用从开发、构建到发布、运行的整个生命周期。Gartner推测到2022年将会有75%的全球化企业将在生产中使用容器化的应用（当前约为30%）。由于Docker往往难以独立支撑起大规模容器化部署，因此诞生了Kubernetes等容器编排工具，解决了大规模容器的组织和管理难题。但事实上，Kubernetes的使用体系还是非常复杂的，对于企业的开发运维人员而言，需要具备一定的网络、存储、系统等方面的技术能力。同时在Kubernetes 集群的部署过程中，也需要

2020年对于UCloud是特殊的一年：1月20日，公司正式登陆科创板，成为中国科创板第一家上市的云计算公司；疫情加速了中国数字化的进程；随着新基建政策的推出，云计算作为5G、工业互联网、大数据、人工智能的底座，再次启动发展引擎。在时代洪流中，如何做一个屹立潮头的持续创新者？如何进行差异化的市场定位和产品创新，为时代和用户创造价值。2020年10月23日，UCloud“构建•创见”Think in Cloud用户大会，即将在上海杨浦区创智天地召开，线上同步直播，探讨云端构建，一起创见未来。核心产

2020年4月中旬，UCloud云数据库产品线发布了MySQL版本的快杰UDB，作为UDB产品架构升级后的最新一代云数据库，快杰UDB采用了业内主流的计算存储分离架构：计算层使用高性能UCloud快杰云主机，存储层采用超高性能RSSD云盘，适合绝大多数的用户场景，包括互联网、物联网、零售电商、物流、游戏等行业。关于快杰云主机的性能表现，已在《阿里云、腾讯云、UCloud 、华为云云主机对比测试报告》中详细测试对比过，其对MySQL数据库的支持能力尤为突出。在快杰云主机和RDMA NVMe SSD云.

在企业数字化转型的浪潮下，出于对业务隐私和数据安全的考虑，越来越多的企业将目光投向了混合云部署模式，而服务器设备托管则可以进一步有效控制企业自建数据中心的运营和管理成本。传统的数据中心托管模式由于缺乏完善的设备监控体系，容易导致资源信息管理不精确、运维效率低等问题。为解决此类问题，UCloud于近期推出了基于RFID技术的数据中心资产智能管理服务，通过粘贴在IT设备上的RFID标签，可实时定位托管资产的位置、自动统计机架的实时容量和机架利用率、快速盘点资产信息，为接入该服务的托管用户提供准确及时的资产管

1 游戏出海企业面临的机遇及风险Sensor Tower 商店情报数据显示，2019 年全球移动游戏在 App Store 和 Google Play 的预估总收入达到 617 亿美元，较 2018 年增长 14.8%。其中，来自 iOS 的收入近 370 亿美元，占全球手游收入近 60%，Google Play 贡献的收入为 247 亿美元，占比为 40%除美国市场以外，前十大手游市场中，增长快速的包括：中国(14.5%)，韩国(14.7%)，中国台湾(21.4%)。Top10 手游市场中

近期，Netfilter 和 Mellanox 联合开发了flowtable hardware offload 功能，使flowtable成为一种标准的conntrack卸载方案，并实现了Linux标准的Netfilter 硬件offload接口。作为一个新功能，还存在一些缺陷和不完善的地方。对此，我们做了大量的硬件卸载开发工作，进行问题修复、功能优化，帮助完善kernel功能并提升性能，后续...

我们在协助某AI客户排查一个UFS文件存储的性能case时发现，其使用的Pytorch训练IO性能和硬件的IO能力有很大的差距（后面内容有具体性能对比数据）。让我们感到困惑的是：UFS文件存储，我们使用fio自测可以达到单实例最低10Gbps带宽、IOPS也可达到2w以上。该AI客户在高IOPS要求的AI单机小模型训练场景下，或者之前使用MXNet、TensorFlow框架时，IO都能跑到UF...

国内应用比较多的开源流媒体服务器nginx-rtmp-module一直存在功能少、集群化难度大等问题。在LiveVideoStack线上分享中，PingOS 开源项目组开发工程师、UCloud RTC研发工程师朱建平详细介绍了基于nginx-rtmp-module的PingOS流媒体服务器在http-flv、http-ts、hls+、多进程、转推、回源以及集群化部署方面的技术实现细节。文...

近年来，中国互联网出海已成燎原之势，游戏出海，网络先行。但是，DDoS 攻击却始终是环绕在出海游戏企业头顶的噩梦。近期，UCloud安全中心就接到一例关于DDoS勒索攻击的求助，最终经过完备的云上安全防护，成功逼退黑客。不交“赎金”就打爆！2019年12月下旬，某游戏公司突然遭到70G流量的DDoS攻击，并基于前期购买的UCloud高防服务抵抗住了这一波攻击。游戏公司负责人G先生本以为...

摘要对于公有云服务，API 是客户接入使用的主路径之一，API 的质量和持续稳定性至关重要，在使用者角度，代表着云服务的质量和稳定性。如何妥善管理API 以及基于API的 SDK, 如何在产品快速发展的同时，持续的保障 API 的稳定性、可靠性，是一个非常大的挑战。UCloud 接入产品开发团队在 2019 年下半年，通过工程化的手段，打通了 API 管理、测试管理、网关日志、Gitlab...

当前，数据安全受到多方面的威胁。有来自系统软硬件的非人为故障，有运维工程师的误操作，甚至是黑客或内部人员的恶意删除。2017年1月31日，全球最大的代码托管服务平台Gitlab由于工程师的误操作，删除了5000个项目和700个用户账号的数据，虽然多方补救，但部分数据最终没能恢复。近几年黑客入侵用户系统后加密磁盘，以此来勒索的事件也层出不穷。更有来自黑客或内部人员的恶意删除，导致业务的极大损失。...

​抗击新型冠状病毒肺炎的形势依然严峻且复杂，对于普通民众而言，口罩作为最基础的第一道防线，可谓是一“罩”难求。为了降低人员流动和聚集带来的交叉感染风险，保障口罩的供应秩序，各地政府部门相继推出了线上预约登记购买口罩的措施。口罩预约系统虽然看似功能简单，但由于上线时间紧迫、用户体量大、各地区的流程不统一等问题，如何在短时间内快速上线一套能够应对大规模并发、响应及时且支持弹性扩容的线上预约系统，成为各...

电商、直播等业务要求以非常快的速度完成请求应答，计算和存储的飞速提高也在推动HPC、分布式训练集群、超融合等新应用的普及，网络变成制约性能的主要因素之一。为此，我们设计了低开销高性能的RoCE网络，构建了低时延、无损的大型以太网数据中心，作为RDMA等技术的底层基石，也为UCloud未来的物理网络建设打下了良好基础。一、低开销高性能的无损网络选型普通的内网进行数据包交互时，通常会使用系统级...

物理云主机是UCloud提供的专用物理服务器，具备出色的计算性能，满足核心应用场景对高性能及稳定性的需求，也能和其它产品灵活搭配。物理云网关用于承载物理云和公有云各产品间的内网通信，由于用户有多地部署的必要，网关集群面临跨地域跨集群的流量压力。我们用多隧道流量打散等手段解决了Hash极化造成的流量过载问题，并通过容量管理和隔离区无损迁移限制大象流。新方案上线后，集群从承载几十G升级为可承载上百...

随着越来越多的企业踏上业务出海的征程，亟待解决的问题便是：如何做到全球范围内 IT 资源的快速调动和信息畅通？若选择公网远距离传输，网络时延和抖动的体验很差；专线价格昂贵，多条专线还会造成运维困难；随着多云部署的流行，跨云传输也是企业所要面临的难题之一。企业出海，网络先行。在此背景下，UCloud 的 SD-WAN 产品罗马 Rome 应运而生。与传统方案相比，Rome 通过底层架构设计，在成...

据报告显示到 2025 年，全球将产生 180ZB 的数据。这些海量的数据正是企业进行数字化转型的核心生产因素，然而真正被有效存储、使用和分析的数据不到百分之十。如何从 ZB 级的数据中寻找分析有价值的信息并回馈到业务发展才是关键。11 月 30 日 UCan 技术沙龙大数据专场（北京站）邀请了 5 位资深大数据技术专家分享他们对大数据的探索和应用实践。大数据业务常态化的处理手段与架构衍变...

快杰云主机是 UCloud 推出的具备优秀性能与极高性价比的新一代主机，网络最高可达 1000 万 PPS，存储最高可达 120 万 IOPS。为了提升产品综合表现，Host 内核、KVM 和 Guest 内核等做了大量调优。“高内核 Ubuntu18.04” 镜像就是其中一款经优化的云主机镜像，集成了官方 linux 5.0.1 主线版本内核。今年 7 月，有一位用户反馈，使用该镜像创建出...

虚拟网络排查问题困难，传统的 traceroute 等工具很难起到太大作用，大部分情况下都需要到宿主机、混合云网关上抓包来 troubleshooting，耗时又费力。有些场景中包的传送路径比较长（如跨域、混合云等），可能丢包的地方比较多，更增加了故障排查的难度。为此，我们设计了一款支持全链路大规模的网络连通性内部检测系统 BigBrother。基于 TCP 报文的染色可将检测报文和用户流量区...

随着 5G+IoT 时代来临，产生数据的主角除了人类还有海量的物理设备，相比 4G 移动互联网的短视频、直播等，会有更大量的数据产生。据 IDC 发布的《数据时代 2025》的预测，全球每年产生的数据将从 2018 年的 33ZB 增长到 2025 年的 175ZB，每年新增约 20ZB，如果使用 8T 的磁盘，只保存一份副本，每年需要 25 亿块磁盘，数亿台主机。这些数据大多以视频、图片、文...

UK8S 是 UCloud 推出的 Kubernetes 容器云产品，完全兼容原生 API，为用户提供一站式云上 Kubernetes 服务。自上线以来，UK8S 一直紧跟开源 Kubernetes 的节奏，除了支持 Kubernetes 最新版本 1.14.6 外，近期 UK8S 又有哪些新动作？UK8S 应用商店一．Helm 应用商店上线Helm 是 Kubernetes 中的包管...

写在前面拉勾网于 2019 年 3 月份开始尝试将生产环境的业务从 UHost 迁移到 UK8S，截至 2019 年 9 月份，QA 环境的大部分业务模块已经完成容器化改造，生产环境中，后台管理服务已全部迁移到 UK8S，部分业务模块也已完成容器化。迁移过程遇到很多问题，也积累了一些实践经验，同时深刻体会到 K8S 给企业带来的好处，像资源使用率的提升，运维效率的提升，以及由于环境一致性带来的...

KUN（Keep UCloud Nimble）是面向 UCloud 内部、基于 Kubernetes 打造的容器服务平台，旨在提升内部研发效率，帮助改善、规范研发流程。在 KUN 平台的建设过程中，内部用户对于一些基础通用的分布式软件如 Redis、Kafka 有强需求，但又不想操心其部署及运维。KUN 团队在分析这些痛点后，决定利用 Kubernetes Operator 的能力，并弥补了开源 ...

“UAI-Train平台可以让我们方便地在短时内使用大量的GPU资源，用较低的成本训练海量的数据集，提高算法模型迭代优化的效率。” — 拍拍贷算法研究员 朱运UAI-Train是什么UAI-Train是面向AI训练任务的大规模分布式计算平台，基于P40、V100等GPU云主机集群，通过分布式扩展，最高可实现192TFlops的单精度计算能力。提供一站式训练任务托管服务，可自动化解决计算节点...

服务器虚拟化改变了IT运营方式，随之而来的是越来越多的网络被虚拟化。当今，几乎所有的IT基础架构都在朝云的方向发展。在基础架构中，服务器和存储虚拟化已经发展的比较成熟，作为基础架构中的虚拟网络，为了迎合云计算和互联网发展的需求，迎来了新的挑战，UCloud虚拟网络平台负责人徐亮对此进行了梳理。徐亮，UCloud虚拟网络平台负责人，公司首位5级技术专家。先后任职于上海贝尔、腾讯，有超过1...

有人说：2G 看文字，3G 看图片，4G 看视频，那么对于已经开启序幕的 5G 时代呢？随着短视频、在线课堂、互动直播等音视频应用的崛起，如何适配差异化的网络环境，为用户提供更流畅高清的实时音视频服务成为关注重点。而当前的音视频技术依然无法避免各种卡顿丢包、网络覆盖问题，也无法提供聊天、存储、转码、AI 处理等全栈式的解决方案。在此背景下，UCloud 于近日新推出一款基于 RTC 技术的实时...

UFS (UCloud File System) 是一款 UCloud 自主研发的分布式文件存储产品，此前已推出容量型 UFS 版本。UFS 以其弹性在线扩容、稳定可靠的特点，为众多公有云、物理云、托管云用户提供共享存储方案，单文件系统存储容量可达百 PB 级。为了应对 IO 性能要求很高的数据分析、AI 训练、高性能站点等场景，UFS 团队又推出了一款基于 NVMe SSD 介质的性能型 U...

放眼望去，容器、Kubernetes 和云原生技术正在被越来越多的企业青睐，Kubernetes 已经为一种大规模部署容器化应用程序的标准。随着它不断的快速迭代发展， 企业在实际的应用部署过程中也面临着各种复杂的问题和挑战。如何克服 K8S 技术难关，使其更好的服务于容器化应用成为大家关注的重点。8 月 17 日 UCan 下午茶上海站 ——《云原生 Kubernetes 的开发和运维》技术沙...

著名的木桶效应告诉我们：“一只水桶能盛多少水取决于最短的那块木板”。在企业纷纷走上数字化转型的过程中，底层支撑的 IT 基础设施服务能否跟得上企业发展的节奏是关键。过去几年，计算能力通过 GPU、FPGA 等硬件发生了巨大的突破，存储性能也随着 SSD 固态硬盘的普及大幅提升，作为 IT 基础架构重要组成部分的网络如何利用 SDN、IPv6 等技术进行改革，才能避免成为阻碍企业数字化转型的“短板”...

现如今CPU的计算能力和磁盘的访问延迟之间的差距逐渐扩大，使得用户云主机的磁盘IO经常成为严重的性能瓶颈，云计算环境下更加明显。针对机械盘IO性能低下的问题，我们通过自研的云主机IO加速方案，使4K随机写的最高性能由原来的300 IOPS提升至4.5W IOPS，提高了150倍，即用机械盘的成本获得了SSD的性能。13年上线至今，该方案已历经五年的运营实践，并成功应用于全网93%的标准型云主机，覆...

随着信息化程度的不断提高，全球数据日益膨胀。面对当前PB级的海量数据存储需求，传统的存储系统在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。由于其前瞻性，众多企业都将其作为进军云计算的第一步。分布式文件系统和分布式块存储作为云存储中重要的技术，成为奠定云存储发展的重要基石。对于大多数专注于云计算本身的IT技术人员来说，对分布式文件系统和分布式块存...