十年比肩?看国产数据库如何突出重围!| 新程序员

mall 电商项目完整部署---实战 mall 后端 SpringBoot,mall‑admin‑web 后台管理 Vue 前端,mall‑app‑sc 移动端 uni‑app 前端;修改数据库、redis、minio、logstash 地址,容器之间 link 别名:mysql 容器别名。🔔排坑:登录报跨域 / 接口报错,检查 prod.env.js 地址,确认 8080 后端服务正常运行。能打开页面,接口列表展示出来,后端部署完成。,所以打包的时候会自动构建镜像,很慢而且你暂时不需要。,容器数据持久化,删除容器数据不会丢失。 阅读详情

图片

长久以来,如何“去IOE”不仅是数据库产业的热议话题,更是国产数据库厂商纷纷致力的方向。但事实上,想要通过核心技术弯道超车几乎是不可能的。但在国家整体规划逾趋清晰下,进一步完善人才机制建设,不断加强市场培育,未来依然可期。

作者 | 杨阳

出品 | 《新程序员》

作为核心技术“三大件”之一,数据库在中国的发展可谓龃龉前行。1978年,中国人民大学经济信息管理系创建人萨师煊提出了发展数据库的理念,并在1979年汇集成《数据库系统简介》和《数据库方法》,成为我国最早的数据库学术启蒙读物。

20年后,国内第一家数据库公司人大金仓创立。据人大金仓总裁杜胜介绍,人大金仓之所以有“人大”两个字,是因为从人民大学信息学院中脱胎而来,“金仓”则原本是信息学院的一个研究课题。

“数据库门槛太高,国外很早就已经发展成熟,大家都知道在这个领域投资会赔钱,所以当时没有人投。后来是人大的老师们凑了50万元一起创办,才有了今天的人大金仓。”

从数据库概念的提出,到产业化的落地,都是自“人大”开始。本期《新程序员》与人大金仓总裁杜胜,就数据库的技术演进逻辑、产业的发展周期,以及核心研发人员如何培养等方面进行了深入探讨。

图片
人大金仓总裁杜胜

杜胜,北京人大金仓信息技术股份有限公司总裁。拥有近20年IT行业产品设计、研发及上市管理经验。曾主导慧点科技GRC.platform、indi.Mobile、GRC.mobile、indi.platform等产品的设计、研发及上市,历任企业管控事业部总经理、通用产品事业部总经理、公司副总裁。

图片

业务逻辑趋向应用端,数据库集群并行运算

《新程序员》:经过数十年发展,数据库技术不断迭代更新,从File形式存储到层次型数据库,再到关系型数据库……你是在哪个阶段进入到这一领域?后续发展呈现怎样的特点?

杜胜:我是在关系型数据库时代切入到这个领域的。应该说我们现在看到的大多数数据库应用都是关系型场景。关系型数据库最早是基于传统C/S架构,比如20年前我们会用PowerBuilder,或者Delphi这类语言去做客户端的展现。

一般前端很少写业务实现逻辑,它的实现主要通过数据库来进行运算。当数据库在存储过程中把逻辑实现后,再通过前端按钮触发逻辑运行。

对于早期应用来说,数据库是核心。大量的应用逻辑是基于数据库的PL/SQL语言来开发的,一是这样的语言作为脚本语言学习难度低,容易上手;二是数据库能够提供非常多的功能扩展包,帮助应用快速实现功能,比如要完成某个递归算法时,通过数据库中的一个函数就可以完成。如果是我们自己编程,代价就会高很多。从关系型数据库时代开始,数据库就成为了应用中不可或缺的一部分。

《新程序员》:从数据库发展历程来看,演进的逻辑是什么?

杜胜:关系型数据库之所以登上历史舞台,主要在于它对应用的支撑作用。传统C/S(Client/Server)应用,Client端模式非常简单,更重的落脚在Server端,Server对于数据库来说是至关重要的部件。后来,应用从C/S演变到B/S(Browser/Server),出现中间件,一些逻辑就开始往中间件迁移。当然,还有部分应用依然没有摆脱C/S架构的特点,依托数据库完成业务逻辑计算,但当中间件发展到一定程度后,逻辑开始向应用代码中迁移。

再到未来云原生的模式,用户对应用的投入越来越高,对数据库的依赖则在降低。整体上,数据库更多在于提升伸缩性和弹性,以应付更大的并发量和负载压力。所以,数据存储和吞吐能力整体在提升,业务运算方面则在弱化。

包括现在讨论的分布式数据库,更多是基于数据的存储,运算基本放在应用端来实现,这是应用整体架构的变化带来的。架构的变化基于应用场景的变化,是应用在驱动我们的底层变革,数据库实际上是被动跟随。

《新程序员》:一直以来,数据库行业都在讨论如何实现技术“去O”,你认为该如何实现?

杜胜:过去有两个说法,一个是“去O”,一个是“替O”。这是两种思路的差异,“去O”主要因为Oracle足够复杂,很难取代。那么,就从应用的角度入手,让应用端承担更多的运算,从而避免使用Oracle的复杂能力,绕开它。我们当然可以用应用代码来编写业务逻辑,比如用MySQL开源数据库来满足需求,但这样的话,所有的应用都必须重写,不能再利用历史资产,相当于重构一个新的体系。

另一条路径是“替O”,延续原本的规则和体系,依然使用存储过程和函数。“替”的含义在于让国产数据库产品具备同等能力,从而替换Oracle。

相较而言,“替O”路径对于应用厂商而言成本更低,因为“替”的过程实现对于应用厂商来说更容易,客户的历史资产能够得到保留。对于一些传统企业和党政客户来说,尽可能利用历史资产是最优选择。但在互联网领域,对成本不是很敏感,一般会选择“去O”。

当然,随着云原生的发展,新的技术路线也在演进。未来数据库的使用会更加偏向目前互联网的模式,我们会在应用中实现更多业务逻辑,从而降低对数据库的依赖,这是一个大的趋势。

《新程序员》:从“数据库”到“数据仓库”,只是一个字的变化,看上去只表现在量级上的差别。你认为从“库”到“仓库”之后,有哪些延续了?有哪些升级了?

杜胜:从数据库到数据仓库的变化主要基于社会信息化程度越来越高。

在早期,数据库能够解决交易和分析两方面的问题。但近三十年来,信息化逐渐兴起,随着数据量的不断积累,我们遇到了两个问题:第一,数据存储遇到挑战,设计的容量不够,需要把它扩大;第二,有了这么多数据之后,该怎么用?数据本身没有任何价值,只有把它们用作分析、统计或者运算才有意义。

要解决数据容量不够和数据处理不足这两个问题,在单点的运算能力难以支撑下,就需要构建大的数据库集群,进行并行运算。

我们有一款名为KADB的产品,是用MPP技术来实现的分布式数据库,可以实现大规模并行处理。通过并行运算,原来一个单机两到三天才能运算出的结果,构建100台集群后,几分钟之内就可以把结果计算出来。因此,从数据库到数据仓库不仅是量的变化,我们要面对的场景更复杂,处理能力也需要极大提升。

《新程序员》:目前产业还面临哪些普遍的技术难题?

杜胜:在传统领域,共享存储集群还是非常困难的技术。对于数据库软件来说,稳定可靠是第一位,如果这个问题没有解决,其他都没有意义。但目前来看,只有Oracle能做到这点。

虽然我们想要弯道超车,但这类硬核技术的研发几乎是不可能的,同时也不太可能用某种新技术来代替。无论软、硬件,底层技术的要求都非常高,很难通过走捷径解决,只能一点点消化、学习,希望市场能够给我们沉淀和试错的时间。

图片

数据库产业处于成长期,产学体系仍需优化

《新程序员》:相较于AI、物联网、云计算等动辄万亿产值的技术,数据库在早年没有被追捧,但近年资本也逐渐涌入这个领域,为什么会掀起这样的热潮?

杜胜:确实,如果放在前些年,人大金仓想要在资本市场获得关注是很困难的。但最近三年我们发现,资本对数据库产业的关注明显提升。近期有几家产业链友商获得大额融资,最多的获得了2.6亿美金。这在过去是不可想象的,说明现在国内态势正在转变。

为什么会出现这样的趋势?说白了就是核心技术要掌握在自己手里,才能从根本上保证产品的自主可控。

在全球化时代,看似所有东西都能买到,但关乎到核心技术和核心理论,还是存在普遍的保护主义的。这对于我们即将开启的数字化转型无疑是坏消息,整个经济都要构建在数字底座上,我们买不到就只能自己做。所以,这个节点上,资本投入数据库领域也是情理中。

《新程序员》:从产业周期看,你觉得国内数据库是处于成长期,还是已快到成熟期?

杜胜:我个人感觉还是在成长期,我们评价产业发展阶段有一个标准,就是产业从业人员,尤其是核心技术从业人员能否支撑产业的可持续发展。很明显,我们在核心技术人员的储备上严重不足。再从市场来看,自2001年中国加入WTO,国外品牌纷纷进入中国,二十年过去了,依然占据大多数市场份额,垄断是一直存在的。

在现象背后,是后进者与先进者的历史差距。Oracle 1977年创立,人大金仓1999年创办,尽管是国内最早的数据库公司,但还是落后了22年。

当然,我们走向成熟也指日可待。一方面基于国家层面的规划;另一方面,最近几年涌现出200余家数据库公司,这是非常好的现象。虽然短期可能有泡沫,但行业做起来会吸引大量人才,大浪淘沙后优秀者自然会留下,行业也会逐步走向成熟。

《新程序员》:在硬核技术领域,你觉得很难“弯道超车”。但面对这样既重要又困难的现实,产业界往往又寄希望于有这样的弯道,对此,你认为该怎么办?

杜胜:需要从两个方面来说,一个是技术的底层逻辑, 一个是人才和市场。

首先,做基础软件需要端正心态。在整个产业链上,过去做得好的是应用,比如淘宝、美团、抖音等软件,满足了客户需求并持续深耕,就能在市场中下沉。

然而,基础软件开发有客观规律和周期。比如,目前我们的高等教育、研究与产业界之间仍然不能紧密衔接。学校的老师大部分是本、硕、博“直通车”,上完学就回到学校教学,很少有在产业界扎根的经历,学校和产业是脱节的。如何达成人才培养闭环和产业闭环?可以借鉴一些成熟的经验,比如国际名校的很多老师曾是产业界的高级经理人,或者是技术人员。他们退休后利用闲暇回到学校,将产业中遇到的难题和研究方法教授给学生。这样,理论可以有的放矢,产业界的实践也通过大学的进一步研究而系统升华。我们的学校也开始有这样的趋势,但还需要持续发展形成闭环。

其次,每个人有不同的个体禀赋,我们的学生也都非常聪明勤奋,现在世界上很多知名科学家都是华人。从主观能动性的角度,我还是相信整体的学习氛围能让我们在某些领域赶超,然后带动其他领域。

再者,以人大金仓的经历来看,市场也是转折的关键。在创立的前十年我们发展比较慢,国外软件几乎没给我们留什么机会。09年被中国电科收购之后,我们加入了“国家电网核心电力调度系统”这个项目,通过这个系统应用获得的良好声誉,让我们的产品和服务打开了市场。

所以,技术落地要符合客观规律,还需要在体系建设上持续优化。从人的主观能动性和市场培育角度,我觉得还是有超越的可能。未来十年,我们希望进入国际市场,再过五年,或许可以做到世界领先。

图片

DBA与核心研发人员的培养

《新程序员》:对于数据库核心研发人员的培育,人大金仓是通过怎样的方式来培养?

杜胜:我们现在的人才体系有两类:

  • 第一类是数据库的使用人才,就是常说的DBA,培养核心是怎么使用和维护数据库。这类人才的培养相对容易,美国数据库软件公司已经帮我们培养了很多人。对他们来说,在我们这里的学习不是从0开始,而是“再学习”。在共通的数据库技术下,他们转换很快,可以把以前Oracle、Db2、SQL Server等的DBA很快转化到国产数据库,这样就多掌握了一门技术。我们现在面向全国开设免费学习课程,包括KCA、KCP、KCM,国外这类课程都是收费的。对于我们来说,为产业培育人才不是为了盈利,是为了让生态快速建立起来。
  • 第二类是核心研发人员,这类人才培养非常困难。就目前情况来看,中国有非常多的程序员,但做数据库内核研发的只有一两千人。以传统师傅带徒弟的自然培养方式显然是不够的,我们要把人才体系真正建立起来。目前国内开设数据库相关课程的高校只有二十多家,我们已经和人民大学、武汉大学、山东大学合作开发课程,增设了数据库内核专业。

《新程序员》:你要“从IT应用软件产业中寻觅人才”,《新程序员》的核心受众正是庞大的软件开发者群体,你对开发者有什么要说吗?

杜胜:如果仔细观察,我们不难发现做数据库的都是国际巨头,像2019年排名前五的数据库厂商:Oracle、微软、AWS、IBM、SAP。事实上,做系统类软件才能在全球通用,所以这个市场量足够大。假以时日,我们国产数据库真正成长起来,彼时遍布所有行业,那一定会成长为巨头公司。如果看好数据库,想让你做的软件被世人铭记,那就加入我们!

本文出自《新程序员·新数据库时代&软件定义汽车》,即将正式上市!

2018年图灵奖得主、深度学习三巨头之一Yann LeCun(杨立昆),2020年图灵奖得主、龙书《编译原理》作者Jeffrey Ullman,英特尔副总裁Erez Dagan,阿里巴巴集团副总裁李飞飞,腾讯自动驾驶总经理苏奎峰……《新程序员》第二期,我们以「软件定义汽车&新数据库时代」为主题,邀请到国内外60余位学术领航人、技术大咖与产业先锋,为智能驾驶及数据库产业奉上酣畅淋漓的理论交锋及实战演练。

何谓新数据库时代?需要从过去和现在看未来。在“十问数据库”中,华东师范大学副校长周傲英、达梦数据库副总经理冯源、TiDB创始人黄东旭、OceanBase CTO阳振坤……各路产学研大神齐聚,从数据库国产化历史,到开源、云,再到数据安全,共话未来数据库走向何方。

扫描下方二维码,添加小助手,即刻加入《新程序员002》「读者群」,抢先一步获取杂志最新资讯,精彩内容不再错过。

图片

图片

《新程序员》立足于行业前沿,深度探索技术未来,通过音视频、图文专栏等丰富的多媒体形式为载体,全方位解读技术与产业,为中国开发者打开新时代的技术之门。

《新程序员001:开发者黄金十年》内容涵盖:

  • 60位+ 技术大咖的经典观点与实践干货;
  • 34篇 精彩文章;
  • 13个 配文视频;
  • 1000位+ 技术人才共同学习成长;
  • 2张 开源核心技术全景工具收藏图
长按识别二维码即可订阅

 无论你是编程爱好者还是职场萌新,无论你是资深程序员还是架构师、CTO,在《新程序员》里,你都会有所收获。

T113-S3-官方SDK分区添加 本篇文章将展示如何编译T113-S3的SDK以及在sdk中添加用户自定义分区,让您能够轻松地开始在您的项目中使用T113-S3芯片。T113-S3是一款功能强大的嵌入式处理器,适用于各种应用,包括物联网、工业自动化和智能家居等。T113-S3-SDK是特别为T113-S3芯片设计的软件开发工具包(Software Development Kit)。它包含了一系列用于开发和定制嵌入式应用程序的工具、库和示例代码,方便开发者在T113-S3平台上开展软件开发工作。 阅读详情

相关推荐

从大疆智图到Cesium:3D Tiles模型加载与Web三维场景构建实战

本文详细介绍了如何利用大疆智图生成3D Tiles数据,并通过Cesium在Web端实现高效加载与三维场景构建。从大疆智图参数设置到Cesium环境配置,再到3D Tiles性能调优与高级功能实现,提供了一套完整的实战指南,帮助开发者快速掌握3D Tiles模型加载与Web三维场景构建技术。

weixin_30520015的博客 1288

《新程序员002》图书正式上市! 从“新数据库时代”到“软件定义汽车”

20年前,伴随着互联网打开信息化大门,技术人成为新时代的开拓者。在时代的召唤下,优快云于2001年推出国内首个面向IT人员的专业杂志——《程序员》,成为一代代开发者的技术启蒙。20年后的今天,人工智能、云计算、大数据等新兴技术被赋予撬动新一轮产业革命的历史使命,开发者迎来了改变世界的全新时代。 9月9日,由60余位专家倾力创作,《新程序员002:新数据库时代 & 软件定义汽车》(以下简称《新程序员002》)正式发布!《新程序员002》依旧满载使命,包含世界级技术大师的深邃思考、前沿技术的发展,以

xhwuli的专栏 28

通信工程学习:什么是OLT光线路终端

OLT(光线路终端)是无源光网络(PON)的核心局端设备,负责光/电信号转换、数据处理、带宽分配及用户管理。具有高带宽、低损耗、高安全性和易维护等技术特点,广泛应用于家庭、企业及公共机构宽带接入。未来将向更高性能、智能化方向发展,结合SDN/NFV等新技术,提升网络服务质量。

limengshi138392的博客 4366

十年比肩?看国产数据库如何突出重围! | 新程序员

长久以来,如何“去IOE”不仅是数据库产业的热议话题,更是国产数据库厂商纷纷致力的方向。但事实上,想要通过核心技术弯道超车几乎是不可能的。但在国家整体规划逾趋清晰下,进一步完善人才机制建设...

优快云资讯 2990

局放起始电压(PDIV)与击穿电压(BDV):绝缘系统设计的核心参数 [特殊字符]

在电力设备绝缘系统设计中,**局放起始电压(Partial Discharge Inception Voltage, PDIV)和击穿电压(Breakdown Voltage, BDV)**是两个至关重要的参数。它们直接反映了绝缘材料的性能和绝缘系统的可靠性,对变压器的设计、制造和运行具有重要指导意义。本文将深入探讨这两项参数的定义、测试方法及其与绝缘设计制造的关系,帮助读者全面理解其在电力设备中的核心作用。

mubiao05的博客 2639

VS2019 C# MySQL 学生信息增删改查(一、增删)

VS2019 C# MySQL 学生信息增删改查 由于刚刚学习VS2019,入手的第一个例子是编写一个简单的增删改查。这里,我以学生信息为例,进行详细的过程描述以及代码实现。 一、 新建一个Windows窗体应用程序 1、创建新项目界面,如下图所示。 2、更改项目名称,当然不修改也可以。我这里的是“StudentInfoSystem”;项目存放位置路径根据自己需要进行更改;“将解决方案和项目放在同一目录中”前面的勾选框,选不选都可以;点击“创建”,如下图所示。 二、前期准备工作 1、将Form1属性中

青哥 1万+

数据科学发展简史

数据科学发展简史 来源于: https://whatsthebigdata.com/2012/04/26/a-very-short-history-of-data-science/ 数据科学与大数据技术!别忘了数据科学哟!

A199909161216的博客 3026

Android应用开发从零到一:基于Kotlin与Jetpack Compose的完整实践指南

移动应用开发的核心在于构建一个架构清晰、可维护且可扩展的应用基础。理解应用架构的原理,如关注点分离和数据驱动UI,是实现高质量应用的关键技术价值。在现代Android开发中,Kotlin语言凭借其空安全特性和协程,能有效提升代码的健壮性与开发效率。Jetpack Compose作为声明式UI框架,代表了UI开发的未来方向,与Kotlin协程深度集成,简化了复杂交互界面的构建。这些技术共同服务于个人任务管理、企业工具等多种应用场景。本文以构建一个完整的个人任务管理应用为例,系统阐述从环境搭建、UI构建、数据持

weixin_32667955的博客 313

【MySQL 8.0】手动部署MGR

【MySQL 8.0】手动部署MGR

影三人 1150

SAP MM新手避坑指南:工厂间调拨用301还是303?手把手教你选对移动类型

本文深入解析SAP MM模块中工厂间调拨的301与303移动类型,帮助新手避开常见陷阱。通过对比一步法(301)和两步法(303+305)的核心差异、适用场景及财务影响,提供清晰的决策框架和实战技巧,确保库存调拨的准确性和效率。

weixin_29223603的博客 350

【数据集】2019年中国1km格网河网密度数据集

中国1km格网河网密度数据集

WW、forever的博客 1346

ElasticSearch(一)API的使用

elasticsearch的API使用

qq_40358025的博客 219

Vue3 - Element Plus 全局修改更换主题色配置详细教程,element-plus自定义主题色全局替换主色调强力解决方案,支持动态修改主题颜色/动态皮肤,将默认蓝色主题色更换为其他颜色!

vue3,nuxt3,element-plus,组件库,主题色,修改主题颜色,更换主题色,如何修改组件默认主题蓝色,项目主题色定制,修改失败,主题色覆盖不了,:root直接修改,hover颜色没改,自定义主题色,vue3全局设置elementPlus主题色最新详细修改教程,怎么修改全局的颜色,scss变量,覆盖原来的主题色改为自己的颜色,统一替换,有没有好办法,颜色不变,失败,无效,动态主题切换,主题颜色怎么在项目里直接改,plus主题色更换,覆盖默认主题色,最强最好用,设置主题色,换肤,皮肤,动态更换

🏆 前端领域优质创作者 1万+

企业如何同时管理用电安全、电能质量和节能降碳?从异常溯源看施耐德电气EEO的协同管理价值

通过整合电力运行信息,并结合EEO资产健康模块、EEO电能质量模块与EEO能碳管理模块,企业可以围绕设备、回路和负荷建立更连续的分析流程,使不同专业人员能够基于相互关联的数据开展判断。企业需要进一步核对异常出现的时间、涉及的配电回路、生产负荷变化以及设备运行状态,才能判断问题来自正常的生产调整、设备运行异常,还是需要采取措施的电能质量问题。从关键回路的异常排查入手,逐步完善设备数据、专业分析和治理验证流程,企业可以让用电安全、电能质量与节能降碳从分散的管理任务,转变为相互关联的日常运营工作。

科技,技术,行业类博主 184

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

京东 Apache Doris 湖仓查询优化实践:从多引擎统一到百万级查询

京东基于 Apache Doris 构建统一湖仓查询引擎,支撑日均百万级查询与 PB 级数据扫描。深入解析 Presto、StarRocks 迁移、分区裁剪、Split 调度、向量化执行及 AI Agent 混合负载优化实践。

SelectDB 428

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

Day3 - Flink 窗口与时间语义:从滚动窗口到迟到数据处理

水位线是一个特殊的时间戳,代表"小于这个时间戳的数据都已经到齐了比如水位线推进到 10:00:05,就告诉 Flink:10:00:05 之前的数据应该都到了,如果还有晚于这个时间到达但时间戳小于 10:00:05 的数据,就是"迟到数据"。窗口大小固定,窗口之间不重叠,数据只属于一个窗口。时间线: 0 10 20 30 40 50 60窗口1: [--------)窗口2: [--------)窗口3: [--------)窗口4: [--------)

YEEMOLY的博客 268

智能问诊的流程

本文介绍基于FastAPI构建的医疗多Agent系统MediAgent,通过症状分析、诊断推理与治疗建议等模块协同,实现从问诊到报告生成的完整工作流。系统采用前后端分离架构,结合MySQL、RabbitMQ与Docker实现工程化部署,支持异步化验结果接入。虽当前状态暂存于内存,但已具备可扩展性,未来可通过Redis持久化、消息队列联动及医疗安全机制完善,应用于慢病管理、辅助决策等场景,推动AI在医疗流程中的落地应用。

Joey 的工作空间~ 783

行业研究报告采购避坑指南:从需求拆解到机构选型的实操逻辑

先说结论:买行业研究报告这件事,坑不在“哪家便宜”,而在“你拿到的数据能不能回答你的问题”。作为一个经常帮企业做采购决策的顾问,我见过太多花了几万块买回一堆PDF却用不上的案例。这篇文章把采购流程拆成五步,每一步告诉你该看什么、该避什么,尽量帮你少交学费。

2601_96585642的博客 231

大数据与审计专业哪些证书企业比较认可?

大数据与审计专业选证书,首先要明确就业方向:是进入会计师事务所做财务审计,还是进入企业从事内部审计、风险控制,或向数据审计、信息系统审计发展。不同岗位看重的专业能力不同,证书的价值也应放在具体招聘要求中判断。面向2027年的求职与备考规划,值得重点考虑的有六类:初级会计专业技术资格、注册会计师、审计专业技术资格、CDA数据分析师、国际注册内部审计师和国际注册信息系统审计师。选择时,宜采用“财审基础+数据能力+岗位专长”的组合,而不是单纯追求持证数量。

YangYang9YangYan的博客 312

深入浅出聊聊 Linux 的 PageCache 与系统极致性能

本文深入浅出解析了 Linux PageCache 的核心机制,揭示其如何通过“延迟写、预读读”提升系统性能。以监控告警为切入点,阐明 free -h 中 buff/cache 并非真正占用,真正可用内存由 available 决定。结合 Kafka、Elasticsearch、MySQL 等实战场景,说明中间件如何依赖 PageCache 实现极致性能。强调不可手动清理缓存,并建议合理调优脏页参数,避免卡顿。最终指出:内存满≠危机,而是系统高效运行的体现。

小小默:进无止境 516

CentOS7-Elasticsearch8.15.3-Kibana8.15.3-安装部署笔记

Token 有效期只有 30 分钟,请保存好输出的 base64 字符串并尽快完成 Kibana 对接;本文整理自单机离线部署实践,适用于 CentOS 7 + Elasticsearch/Kibana 8.15.3 场景。只对新登录的会话生效,修改后需重新连接 SSH。结尾,其中包含 elastic 用户初始密码、HTTP 层证书等信息。等字段的集群 JSON 信息,即说明账号、HTTPS、证书均正常。安装成功后,终端会打印安全自动配置结果,以。按交互提示输入两次自定义密码。,保存后重启服务器生效。

遇见bug的博客 187

数据科学与大数据技术大一到大三考证顺序怎么排?

数据科学与大数据技术专业的考证安排,适合跟着课程和求职方向走,而不是跟着证书数量走。大一还在学高等数学、程序设计,大二逐步接触概率统计、数据库,大三开始进入机器学习、大数据平台和专业实习。证书与这些课程衔接起来,备考才容易转化为实际能力。下文推荐6项证书,其中既有基础性考试,也有职业方向认证,不需要全部考完。安排考证顺序的关键,是让每次备考都留下两项成果:一张能够说明学习经历的证书,以及一份能够展示实际能力的作品。

2501_93367079的博客 83

【一次 Elasticsearch 高基数聚合慢查询的定位与优化】

当Elasticsearch聚合查询首次执行慢、后续迅速恢复正常时,问题往往不在数据量本身,而在于全局词典构建开销。通过Profile分析发现,虽聚合耗时仅几十毫秒,但首次请求整体耗时达1秒以上,表明瓶颈在初始化阶段。结合keyword字段使用Doc Values的特性,可推断为首次访问时需加载全局词典(global ordinals),导致延迟。开启eager_global_ordinals可将词典预加载至内存,显著降低首次查询延迟,尤其适用于高基数聚合场景。此案例揭示了“首次慢、后续快”问题的典型根因及

大雪冬至的博客 325

Day2 - Flink DataStream API 与转换算子:从 Source 到 Sink

实现或@Override// 发射数据@Override// 使用用自定义逻辑聚合,比 sum/min/max 更灵活。// 求每个用户的总消费金额reduce 的输入和输出类型必须相同。Flink 会把满足条件的相邻算子合并成一个 Task,在同一个线程里执行,减少线程切换和网络开销。合并条件上下游并行度相同;分区策略是 Forward;没有被用户手动断开。

YEEMOLY的博客 209

机房温湿度传感器监控双协议方案:TCP与SNMP融合接入大数据平台

本文提出机房温湿度传感器双协议融合接入方案,通过ModbusTCP(测量面)与SNMP(管理面)协同,实现高频时序数据与设备资产、健康状态的精准采集。采集代理层完成协议归一、标签统一、源优先级合并与时钟对齐,输出统一数据模型,经Kafka流入InfluxDB时序库、CMDB、告警中心等大数据平台。方案解决单协议短板,提升数据质量与系统可扩展性,支撑实时监控、AI预测与运维自动化,实现“细得下来、管得起来”的智慧机房目标。

honsor的博客 226

如何在用户认证系统中使用 ElasticSearch 提升

本文介绍了如何在一个典型的企业级应用——用户认证与权限管理系统内引入并运用 ElasticSearch 技术来提高查找效率并降低数据库负载压力。读者可以通过了解其基础架构原理、正确配置方式以及典型应用场景从而掌握该工具的基本用法。如果你正在寻找一种更灵活高效的检索方案用于自己的项目当中,请考虑从以下几个方面入手实践: 1. 确认是否有必要引入新的全文搜索引擎;2. 设计好适用于该项目的数据模型以及索引规则;3. 持续优化你的 DSL 查询语句并监控运行状态;

wuchangjian的专栏 190
上一篇: 让汽车软件进入iPhone时代!
下一篇: 自动驾驶三大难题:技术成熟度、法规容忍度、成本接受度 |《新程序员》
评论 9
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值