LWN:不负责任地预测一下2021!

一次实时数据链路丢数排查:从 MQTT 队列积压到 SQL 统计开销 本文通过一次实时数据链路压测,排查了从MQTT到ClickHouse的端到端数据丢失问题。核心方法是为每条消息添加序号,建立独立观察点(MQTT订阅端、Kafka消费者),结合转发服务阶段统计与线程栈分析,定位到下游处理速度不足源于Druid SQL合并统计的高开销。优化措施包括关闭SQL合并、扩容代理队列、增强生产侧失败处理,并验证15分钟内实现全链路对账一致,显著缓解积压与丢包。关键收获:数据可对账、明确各阶段“成功”定义、关注客户端队列状态。 阅读详情

关注了就能看到更多这么棒的文章哦~

Some unlikely 2021 predictions

By Jonathan Corbet
January 6, 2021
DeepL assisted translation
https://lwn.net/Articles/840632/

有些传统做法其实并不是个好的做法。比如,LWN 的传统就是在一年刚开始时对未来一年会发生什么进行一些预测。有些预测是很可能会发生的,而另一些则不那么可信,但全部都不可靠。尽管如此,我们从 2002 年开始还是一直继续做这个预测,那么我们现在也不会停止。请往下阅读我们对 2021 年可能会发生的事情的大胆猜测。

运气好的话, 今年全世界将从疫情的深渊中走出来 。从很多方面都可以看出,这场疫情对自由软件社区的影响相对较小,所以可以预料,疫情结束之后社区也不会有太大的变化。我们将一如既往地继续创造伟大的软件。不过,疫情结束意味着,我们可以在今年晚些时候开始面对面地开会了,这对我们社区的长期健康发展非常重要。尽管如此,许多人可能仍然不愿意长途出差,而有的公司可能在为重新出差而提供报销的时候也会有些迟疑。因此,我们的会议中至少有许多还是会在全年进行在线举行。

不过,随着世界的开放,另一件事可能会发生,那就是我们社会中的一些人会得出结论认为人生太短,变数太大,不应该把时间都花在键盘上。在未来一两年内,可能会看到更多人员退休了。

对 CentOS 8 的支持将在今年年底结束 ,用户将不得不过渡到 CentOS Stream 或彻底放弃 CentOS 而寻找其他解决方案。尽管有很多抱怨,但是 CentOS Stream 对于那些现在使用 CentOS 稳定版本的环境来说很可能是可以接手正常使用的。人们可能会发现,在这个云计算的时代,一个 longterm-stable 的发行版并不像过去那样重要了。如果运行这个发行版的 "machine" 都不会持续使用好几年时间,那么他们所运行的发行版为什么需要存活那么长时间?CentOS 的终结,可能会产生意想不到的效果,那就是总体来说破坏了对超稳定(ultra-stable)的 "企业 (enterprise)" 发行版的需求。

当然,会有人试图按照 CentOS 原来的样子创建出来 ,但是所有的尝试(或者大多数)都会失败。要多年维持一个稳定的发行版需要很多工作,而且是很乏味、没有回报的工作。在 Red Hat 接手 CentOS 之前,CentOS 一直在挣扎求活。它的继任者没有理由会生存得很轻松。目前大家共识中最有可能的替代方案 Rocky Linux 并没有任何公开可见的讨论反而只在 Slack 这个专有(proprietary)软件平台上交流,这一点也很令人担忧。

无论是好事还是坏事,Fedora 项目总还是能够与 Red Hat 保持着良好的关系。openSUSE 的地位远没有这么明确,这也是去年它的邮件列表上纷争不断的原因之一。 OpenSUSE 需要在 2021 年更好地定义其与 SUSE 的关系 ,哪怕没有外界的压力(比如创建的 openSUSE 基金会,或传闻中 SUSE 的公开募股),也需要能做好这一点。和 Fedora 一样,openSUSE 也是我们最早和最有影响力的发行版之一的嫡系衍生版,它还会和我们在一起很长时间,但具体要如何实现,这还需要继续探讨。

在 2021 年,不需要使用电子邮件客户端就可以提交内核 patch 了,但很少会有人会这么做。内核社区最终会被拖入更现代的开发方式中。不过内核项目目前的流程是有其原因的,其他项目很少能跟 Linux kernel 项目相接近数量的开发者或 patch。要想让 Linux kernel 如此大规模的项目上能真正用起来 "现代" 的开发流程,必须要思考清楚。正如过去发生的情况一样,这里能得到的创新成果可能会远远超出内核社区能想到的。

BPF 的商业特性在 2021 年将变得更加突出 。BPF 允许将代码加载到正在运行的 Linux 内核中,并在内核中执行。在过去的几年中,它的功能和使用到的地方一直在快速增长。今年,我们将看到公司如何使用它来构建他们的产品和服务。BPF 使得向内核添加有趣的功能更加容易了,但它也起到了将实现这些功能的代码与内核源码分隔开的效果。我们未来的系统可能会更灵活、功能更强大,但它们也可能因此会变得更加专有(proprietary),尽管所有的代码从表面上看来都是 free 的。

GNOME 40 将带来一个新的 shell 界面 (https://blogs.gnome.org/shell-dev/) 。这是 GNOME 界面上的改变,所以肯定会看到许多强烈的抱怨,毕竟人们终于开始能与当前的 GNOME shell 相处甚欢了。是的,这会是 GNOME 40,而不是 GNOME 3.40。

Python 开发者将不得不认真思考这门语言的未来 。Python 3.0 的发布是十二年前的事情了,从 Python 2 转移到 Python 3 的困难时期已经过去了。我们可以合理地认为,Python 3 语言已经 "完成" 了历史使命,不需要进行重大更改了。另一方面,像 structural pattern matching 这些新提出的特性表明,一些开发者仍然希望做一些比较大的改动。我们可以很有把握地预测到,短期内不会有 Python 4 发布。但是很难预测的是,那些希望版本稳定下来的开发者什么时候会开始踩刹车,也就是停止继续对 Python 3 进行重大改变。

软件供应链攻击(software supply-chain attack)将是今年社区面临的一个严重威胁 。SolarWinds 攻击就曾被用来危害一些美国政府机构,它是通过将恶意软件植入一个常规的软件更新中来实现的。我们可以把这篇文章当笑话来读,也就是 2019 年的这篇 SolarWinds 博客文章(https://thwack.solarwinds.com/t5/Geek-Speak-Blogs/The-Pros-and-Cons-of-Open-source-Tools/ba-p/478665 ),它声称开源软件导致人们下载恶意软件的几率 "高得多"。那篇文章显得很幼稚,但是这种攻击确实也可能发生在自由软件上,因为它们是通过许多可信渠道以二进制形式发布的。恶意代码如果被插入到这些供应链中的话,可能会造成毁灭性的影响。我们只能希望我们所信任的这些服务提供方是真正值得信赖的。

在美国和欧洲,针对 Facebook 和谷歌等公司的反垄断执法将在 2021 年加快 。这些动作长期来看影响可能是非常巨大的,对我们的社区来说,不确定是好事还是坏事,但法院的严格进程将会导致今年不会有特别巨大的影响发生。被置于反垄断的显微镜下之后,可能会让这些对自由软件社区有重大贡献的公司在做事时更加谨慎。如果新提出来的一个软件贡献看起来像是在试图进一步巩固垄断,那么可能就不会得到接受。

随着各家公司意识到 OpenStreetMap 提供了与谷歌地图竞争的最佳方式, OpenStreetMap 的重要性将继续增加 。因此,会有许多资源涌入该项目。事实上,企业资助所贡献出的内容似乎已经成为了 OpenStreetMap 数据库内容的主要部分。不可避免地,这会产生同一开始就建立起 OpenStreetMap 的爱好者们的冲突,但最终的结果应该是对每个人都有好处。就像自由软件一样,自由数据(free data)在每个人都在努力帮助改进时,它就会变得更好。

通过这一切, Linux 和自由软件在 2021 年底只会更加强大 。这种趋势已经保持了几十年,经历了经济危机、恐怖袭击、全球性的疫情、互联网泡沫等等,可以很有把握地预测这个趋势仍然会继续延续。

最后,所有这些预测将在 2021 年 12 月 23 日的 LWN 周报中进行回顾以及接受嘲讽,这也是我们这个传统的另一面。这也是我们在自由软件社区内进行报道的这个更大的使命中的一小部分,这个传统即将走入第 24 个年头了。当然,在开始的时候,我们谁也没有预料到可以坚持这么久,但可以肯定地说,当这一年结束的时候,我们仍然会坚持下去。一如既往,非常感谢这么多年来各位一直支持我们的工作,是你们让我们能一直坚持下去。祝愿所有 LWN 的读者在 2021 年平安无事,收获颇丰。

全文完
LWN 文章遵循 CC BY-SA 4.0 许可协议。

欢迎分享、转载及基于现有协议再创作~

长按下面二维码关注,关注 LWN 深度文章以及开源社区的各种新近言论~

SAP_APP 这个生成角色,为什么只能放在测试和开发系统里 SAP系统高权限角色SAP_APP常被误认为是标准交付角色,实则需通过REGENERATE_SAP_APP报表动态生成,其权限范围取决于当前系统配置。该角色横跨多个应用组件,主要用于开发测试阶段快速授权,而非生产环境业务用户使用。与SAP_ALL不同,SAP_APP专注于应用层授权,但两者均存在权限过大的风险。建议仅在开发系统短期使用,并遵循系统、时间和人员三边界原则。生产环境应避免使用,而应基于岗位职责设计最小权限角色,确保权限管理的可审计性和安全性。(149字) 阅读详情

相关推荐

Spark01_Spark核心概念与环境搭建全流程

本文系统介绍Spark核心概念与环境搭建全流程。Spark是基于内存的通用大数据计算引擎,通过DAG模型减少中间结果落盘,显著提升性能。相比MapReduce,Spark支持批处理、流处理、机器学习等多场景,具备高效、可扩展特性。核心组件包括Spark Core(RDD)、SQL、Streaming、MLlib及多种集群管理器。下篇详解Standalone、Yarn及PySpark本地开发环境配置,涵盖spark-submit使用、Anaconda集成、Windows部署及History Server启用,

2301_80420058的博客 338

软件供应链安全中:攻击面远超想象

软件供应链安全中:攻击面远超想象

代码讲故事 687

尚硅谷 Vue2.0 + Vue3.0 入门到精通教程学习笔记 (一)

本文为总结尚硅谷Vue2.0+Vue3.0 的学习笔记系列的第一章——Vue的核心,包含Vue简介、模板语法、数据绑定、MVVM模型、事件处理,计算属性与监视、class与style绑定、列表渲染、过滤器、内置指定和自定义指令以及Vue生命周期等知识点

weixin_44566194的博客 3655

Flink 学习日志 03:自定义一个SourceFunction,完成对Redis中数据的读取

本文介绍了在Flink中自定义SourceFunction读取Redis数据的完整流程:通过Jedis客户端连接WSL2中的Redis服务,编写RedisSource实现循环读取所有Key-value并逐条输出,结合Thread.sleep()实现每秒一条的流式效果。关键步骤包括环境准备、添加Jedis依赖、配置IDEA运行时加载provided依赖,并注意生产环境中应避免使用阻塞的keys *,改用scan命令。最终实现动态读取、实时打印,验证了Flink与Redis的数据集成能力。

木木的学习笔记 409

svn 分支(branch)和标签(tag)管理

svn的分支管理

caohongxing的博客 3万+

从零到一:用STM32 FOC算法驯服无刷电机的艺术

本文详细介绍了如何使用STM32和FOC算法实现无刷电机的高性能控制。从硬件搭建、参数识别到闭环调节,一步步解析FOC算法的核心原理与调优技巧,帮助开发者掌握电机控制的关键技术,实现从零到一的精准驯服。

kkk56的博客 917

Elasticsearch ingest pipeline 被禁用之后:性能代价、安全治理与数据入库时间的四种替代方案

生产环境为什么禁用 Elasticsearch ingest pipeline?写入路径同步执行的开销、Painless 脚本的安全治理是根因;而 _ingest.timestamp 出不了 pipeline,ES 8/9 也没有原生入库时间字段。本文给出四种替代方案:采集端注入时间戳、bulk 响应后回写、refresh=wait_for 近似、最小 set pipeline 白名单,附选型对比与踩坑清单。

Sayai的专栏 341

网络管理与维护综合实训2:基于AD证书服务构建企业内部HTTPS安全访问体系

本实训项目通过在Windows Server 2022环境下搭建AD域、DNS服务和Web服务器,实现安全的企业网站访问。主要内容包括:在两台服务器上安装操作系统并配置网络;在S1服务器上部署活动目录域、证书服务和Web服务;创建两个网站(HTTP和HTTPS);配置DNS记录和SSL证书;设置防火墙规则限制HTTP访问而允许HTTPS访问。通过实践掌握了AD证书管理、DNS配置、Web服务器设置及防火墙规则配置等关键技能,为网站管理工作奠定了基础,同时认识到证书管理在Web安全中的重要性。

深耕计算机专业知识与技术。 997

大数据工具介绍

Hive作为离线数仓的元数据管理与SQL接口,依托HDFS存储、Spark/MapReduce计算;Spark是统一的分布式计算引擎,承担复杂数据处理;DataX实现异构数据源间离线同步;ClickHouse擅长极速单表分析;Doris则提供实时、多表关联的综合分析能力;Flink作为原生流处理引擎,支持毫秒级实时计算与状态管理。两者共同构建起从离线批处理到实时流处理的完整数据链路。

yyk33324的博客 261

Cadence OrCAD Capture 保持元器件编号情况复制元件,复制后元器件编号与复制前不同的问题解决

如下图所示复制时,已经勾选了“Preserve reference on copy”但是复制后的编号却与复制前不一样。本文简单介绍其原因及解决方法。

fydar的博客 3163

AI 学术科研与论文写作的正确打开方式!不套提示词模板,靠这个思路完美实现人机共创

真正的“人机共创”,也就是AI引导我思考的过程,如果你想用你的模糊需求,去写出专业化的学术内容,那是不可能的。对想快速完成某些学术任务的同仁来说,我们完全不用去抠提示词的细节,直接用魔法打败魔法,设计一段优化提示词的结构化提示词(提示词架构),辅助优化你的模糊需求。创建好之后,可以对它提你的任何模糊学术需求,比如写论文、写综述、学术润色等等,它绝不会直接帮你生成,而是先搞懂你的真实意图。以上整个流程,完全没有一句废话,先是思考,再是向你提问弄懂你的意图,最后整合你给出的关键信息,直接优化你给的模糊需求。

智能AI让学术科研更容易 477

Day3 - Flink 窗口与时间语义:从滚动窗口到迟到数据处理

水位线是一个特殊的时间戳,代表"小于这个时间戳的数据都已经到齐了比如水位线推进到 10:00:05,就告诉 Flink:10:00:05 之前的数据应该都到了,如果还有晚于这个时间到达但时间戳小于 10:00:05 的数据,就是"迟到数据"。窗口大小固定,窗口之间不重叠,数据只属于一个窗口。时间线: 0 10 20 30 40 50 60窗口1: [--------)窗口2: [--------)窗口3: [--------)窗口4: [--------)

YEEMOLY的博客 241

2025华为od机试真题B卷【字符串计数匹配】Java&Go 实现

给你一个字符串str和整数k,返回满足以下条件的所有子字符串个数: 1.恰好包含k个字母。 2.数字0-9各出现至少一次。

MISAYAONE的博客 638

智能问诊的流程

本文介绍基于FastAPI构建的医疗多Agent系统MediAgent,通过症状分析、诊断推理与治疗建议等模块协同,实现从问诊到报告生成的完整工作流。系统采用前后端分离架构,结合MySQL、RabbitMQ与Docker实现工程化部署,支持异步化验结果接入。虽当前状态暂存于内存,但已具备可扩展性,未来可通过Redis持久化、消息队列联动及医疗安全机制完善,应用于慢病管理、辅助决策等场景,推动AI在医疗流程中的落地应用。

Joey 的工作空间~ 427

基于DynamicHead的YOLOv8四头版本改进:面向复杂场景的多目标检测优化【YOLOv8】

YOLOv8的检测头是通过不同尺度的特征层输出检测结果。这些检测头通常包括三个:用于大物体、中等物体和小物体的检测。然而,这种单一结构可能会在复杂场景下失去针对性和灵活性,特别是当多个目标之间差异较大时。为了进一步提升模型在特定目标上的检测性能,DynamicHead的引入为我们提供了一个多检测头的优化方案。本文提出了一种基于DynamicHead的四头版本YOLOv8改进方案,以解决复杂场景下多目标检测的挑战。通过引入四个独立检测头,分别针对不同目标特征进行优化,实现了更灵活的检测结构。

博客 1718

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

行业研究报告采购避坑指南:从需求拆解到机构选型的实操逻辑

先说结论:买行业研究报告这件事,坑不在“哪家便宜”,而在“你拿到的数据能不能回答你的问题”。作为一个经常帮企业做采购决策的顾问,我见过太多花了几万块买回一堆PDF却用不上的案例。这篇文章把采购流程拆成五步,每一步告诉你该看什么、该避什么,尽量帮你少交学费。

2601_96585642的博客 221

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

代购系统改造:服务无状态化、分级隔离

代购系统因链路长、流量脉冲、写放大等特点,高可用设计需聚焦“消灭单点”。通过服务无状态化、分级隔离、数据库与消息队列容灾、监控告警与混沌工程验证,实现MTTR降至3分钟内,支付成功率超99.9%。核心经验:缓存雪崩防于过期策略,跨地域用短TTL GeoDNS,支付降级必须幂等。高可用本质是持续检验“无单点”假设的闭环体系。

2601_95706522的博客 161

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

ubuntu安装hadoop系统

本文详细介绍了基于VMware克隆虚拟机搭建三节点Hadoop分布式集群的全过程:使用同一Ubuntu镜像克隆出master、worker1、worker2三台虚拟机,依次配置主机名、固定IP(如192.168.82.10/11/12)、SSH服务及免密登录,确保节点间网络互通。随后安装Java,下载配置Hadoop并分发至各节点,最终初始化启动集群,验证其存储与计算功能,实现高效的大数据环境部署。

qq_43592674的博客 322

Elasticsearch:稠密向量字段类型

dense_vector字段用于存储稠密向量,支持k近邻搜索(kNN),默认启用索引并使用余弦相似度。可接受浮点数数组或Base64编码字符串输入,支持自动量化(如int8、int4、bbq)以降低内存占用。通过index_options配置索引类型(如hnsw、bbq_disk),并可启用过采样与重新评分提升精度。向量默认不存储于_source中以节省空间,可通过fields或_source.exclude_vectors显式返回。支持bit向量及GPU加速索引,适用于高维向量场景。

Elastic 中国社区官方博客 258

【消息队列】ACK确认了什么:消息队列可靠投递的完整链路

本文剖析消息系统中ACK机制在生产者、Broker、消费者三段链路中的作用,指出即使三段确认均正确配置,系统仍只能提供“至少一次”可靠性。原因在于重试、崩溃、重平衡等场景会导致重复投递,而“恰好一次”需依赖业务侧幂等性保障。关键结论:ACK仅保证不丢,不重复需靠唯一键、去重表或状态机等业务设计实现。

2503_94545876的博客 679

Day2 - Flink DataStream API 与转换算子:从 Source 到 Sink

实现或@Override// 发射数据@Override// 使用用自定义逻辑聚合,比 sum/min/max 更灵活。// 求每个用户的总消费金额reduce 的输入和输出类型必须相同。Flink 会把满足条件的相邻算子合并成一个 Task,在同一个线程里执行,减少线程切换和网络开销。合并条件上下游并行度相同;分区策略是 Forward;没有被用户手动断开。

YEEMOLY的博客 141

kafka指定分区消费

【代码】kafka指定分区消费。

hy_208的博客 52

数据科学与大数据技术专业有哪些比较好考的证书?

如果目前还没有明确方向,建议先完成Python与SQL基础学习,再选择一张与目标岗位最接近的证书。不要为了增加简历条目,在同一阶段同时准备多个不同技术方向。以数据分析方向为例,可以参考2025版CDA证书大纲安排基础学习:先掌握业务数据结构、数据库应用和统计分析,再进入指标体系、看板和用户分析。具备一定项目经验后,再学习二级涉及的统计检验、模型评估及数据治理。2025版教材介绍强调了思维、技术和实践的结合,适合用于组织学习;2027年的具体考试范围、报名条件和安排,则应依据届时发布的信息制定计划。

YangYang9YangYan的博客 308

如何在用户认证系统中使用 ElasticSearch 提升

本文介绍了如何在一个典型的企业级应用——用户认证与权限管理系统内引入并运用 ElasticSearch 技术来提高查找效率并降低数据库负载压力。读者可以通过了解其基础架构原理、正确配置方式以及典型应用场景从而掌握该工具的基本用法。如果你正在寻找一种更灵活高效的检索方案用于自己的项目当中,请考虑从以下几个方面入手实践: 1. 确认是否有必要引入新的全文搜索引擎;2. 设计好适用于该项目的数据模型以及索引规则;3. 持续优化你的 DSL 查询语句并监控运行状态;

wuchangjian的专栏 169

【Kafka】零基础学习教程

Kafka 是一个「只能追加、可以重复读」的分布式日志,不是传统意义上「读完就删」的队列。生产者写进去,消费者按自己的进度读。每个消费组自己记一个 offset(读到哪了),互不干扰。Kafka 快,是因为顺序写磁盘 + 批量 + 零拷贝;Kafka 难,主要难在「分区、副本、消费组」这几个概念和运维。Kafka 是一个分布式的、只能追加的日志(append-only log),生产者往里写,消费者按自己的进度读,消息按策略保留而不是读完就删。分布式:可以多台机器组成集群,水平扩展。只能追加。

2503_94545876的博客 301

头部车企基于 EMR Serverless Spark 的多模态大规模打标实践

某汽车头部客户基于阿里云 EMR Serverless Spark AI Function,在分合流、红绿灯等场景中开展多模态数据处理,并将向量化结果衔接至下游数据库,为后续场景检索、样本筛选及训练数据集构建提供支撑。

科技很有意思 178
上一篇: LWN:关注隐私安全自由的PureOS!
下一篇: LWN: 5.11 合并窗口,第二部分!
LinuxNews搬运工
博客等级 码龄7年 438粉丝 20原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值