火爆外网的「十亿行挑战」,国外大神用C++应战:从67s到0.77s,速度狂飙87倍!

代码挑战赛火爆外网,十亿行文本处理,冠军只用了1.5s 那么有没有办法可以移除stringAt调用呢?分析代码可以看到将站名生成String对象,是为了在HashMap中存储不同气象站的统计结果数据(作为key)。而HashMap的key的作用是计算hash值判断两个key是否相等如果要避免使用stringAt调用,那么就不得不抛弃HashMap,来实现自定义的哈希表结构。实际上,构造一个指定大小的采用开放地址法指定大小:不需要考虑容量扩张,因为比赛的气象站大小已经确定。 阅读详情

2024 年的第一天,Decodable 高级软件工程师 Gunnar Morling 曾向 Java 社区发起了一个十亿行挑战(1BRC),即要求在最快时间内处理 10 亿行数据。针对这个挑战,本文作者 ŠIMON TÓTH 尝试用 C++ 来完成,从最初实现到经过一系列优化后,最终运行速度提升了 87 倍。

原文链接:https://simontoth.substack.com/p/daily-bite-of-c-optimizing-code-to

作者 | ŠIMON TÓTH

翻译 | 郑丽媛

“十亿行挑战”是对 Java 开发者的一项挑战,目标是要在最快时间内处理 10 亿行数据。虽然最初这个挑战是针对 Java 的,但本次挑战是展示 C++ 代码优化和相关性能工具的绝佳机会。(本文涉及的完整源代码地址:https://github.com/HappyCerberus/1brc。)

图片

图片

挑战内容

我们的输入是一个名为 measurements.txt 的文件,其中包含来自不同测量站的温度测量数据。该文件包含十亿行数据,格式如下:

station name;valuestation name;value
测量站名称是一个最多 100 字节的 UTF-8 字符串,包含任何 1 字节或 2 字节的字符(但不能包含‘;’或‘\n’),测量值介于 -99.9 到 99.9 之间,均保留一位小数。另外,唯一键的总数最多为 10,000 个。

输出是一个按字母顺序排序的测量站列表,每个站点都有测得的最低温度、平均温度和最高温度。

{Abha=-23.0/18.0/59.2, Abidjan=-16.2/26.0/67.3, Abéché=-10.0/29.4/69.0, ...}

图片

最初实现

当然,我们首先要从基准实现开始。我们的程序将分为两个阶段:处理输入和格式化输出。对于输入部分,我们解析测量站名称和测量值,并将它们存储在一个 std::unordered_map 中。

图片

为了生成输出结果,我们整理了唯一名称并按字母顺序对其进行排序,然后打印出最低、平均和最高测量值。

图片

只剩下一个简单明了的主函数,将这两个部分连接在一起。

图片

这个实现非常简单,但它有两个主要问题:一是不正确(暂时先不管),二是速度非常慢。为此,我们在以下三台设备上跟踪性能:

● Fedora 39 上的 Intel 9700K

● Windows Subsystem for Linux(WSL)上的 Intel 14900K

● Mac Mini M1(8 核)

在 9700K 上用 clang 17 编译二进制文件,在 14900K 上用 clang 18 编译二进制文件,在 Mac Mini 上用 Apple clang 15 编译二进制文件。这三台设备都用了相同的编译标志:

-O3 -march=native -g0 -DNDEBUG -fomit-frame-pointer

由于我们主要关注的是相对性能的提升,因此测量结果仅为相应设备上的最快运行时间。

● 9700K(Fedora 39):132 秒

● 14900K(WSL Ubuntu):67 秒

● Mac Mini M1:113 秒

图片

消除拷贝

对于第一步优化,我们并不需要特殊工具:高性能代码最重要的原则就是避免过多拷贝,而我们却无意间进行了大量拷贝。

当我们处理一行数据时(记住,共有 10 亿行数据),会将测量站名称和测量值读入 std::string 中。这本质上就产生了数据拷贝,因为当我们从文件中读取数据时,文件内容已经在内存中的缓冲区了。

为了消除这个问题,我们有几个选择:改用非缓冲读取,手动处理 istream 的缓冲区;用更系统级的方法,例如对文件进行内存映射——在本文中,我们将采取后者。

当我们将文件进行内存映射时,操作系统会为文件内容分配地址空间,而数据仅在需要时才会读入内存。这样做的好处是,我们可以将整个文件视为一个数组;缺点是,我们无法控制当前内存中文件的哪些部分是可用的。

既然我们用的是 C++,那么就用 RAII 对象来封装底层系统逻辑吧。

图片

因为我们将内存映射文件封装在 std::span 中,因此只需将 std::ifstream 换成 std::ispanstream 就能验证一切是否正常。

图片

不过,虽然这可以确保一切正常,但并不能消除任何过多的拷贝。为此,我们必须将输入处理从在 istream 上操作切换为将输入视为一个大 C 风格字符串。

图片

我们需要调整哈希映射以支持异构查找,因为现在用 std::string_view 查找测量站,这会涉及更改比较器和添加自定义哈希函数。

图片

这一优化使我们的解决方案运行速度大幅提高(暂时跳过 M1,因为 clang 15 不支持浮点类型的std::from_chars)。

● 9700K(Fedora 39):47.6 秒(2.8 倍)

● 14900K(WSL Ubuntu):29.4 秒(2.3 倍)

图片

分析情况

为了进一步优化解决方案,我们必须分析哪些部分是主要瓶颈,这就需要一个性能分析工具。

至于分析工具的选择,我们必须在精度和低开销之间做出平衡。在本文中,我们将使用 perf:这是一个 Linux 性能分析工具,开销极低的同时能提供合理精度。

要记录性能分析,我们必须在二进制文件中注入一些调试信息:​​​​​​​

-fno-omit-frame-pointer # do not omit the frame pointer-ggdb3 # detailed debugging information

接着在 perf 工具下运行二进制文件:

perf record --call-graph dwarf -F999 ./binary

callgraph 选项允许 perf 利用二进制文件中存储的调试信息,将低级函数归属于正确的调用者。第二个选项会降低 perf 捕捉样本的频率;如果频率过高,可能会丢失一些样本。

然后,我们就可以查看性能分析了:

perf report -g 'graph,caller'

不过,如果我们在当前实施方案中运行 perf,只能得到一个信息量较为有限的性能分析。

图片

可以推断出,运行时间的最大部分都花费在 std::unordered_map 中,而其余操作都在低级函数中被淹没了。例如,你可能会得出这样的结论:解析测量值只占 3%(std::from_chars 函数)——但这其实是错的。

由于我们将所有逻辑都放在了一个紧密的循环中,这样的性能分析就很差。虽然这对性能来说有好处,但却完全失去了正在执行的逻辑操作的意义:

● 解析测量站名称;

● 解析测量值;

● 将数据存储到数据库中。

如果我们将这些逻辑操作封装成单独的函数,性能分析的清晰度将大幅提高。

图片

可以看到,我们花费了 62% 的时间将数据插入数据库,26% 的时间解析测量值,以及 5% 的时间解析测量站名称。

接下来应该处理哈希映射,但在此之前,我们先处理一下数值解析问题,这也将修复我们代码中一个长期存在的错误(四舍五入错误)。

图片

虚假的整数

输入包含 -99.9 到 99.9 范围内的测量值,并始终保留一位小数——这意味着,我们首先处理的不是浮点数,因为测量值是定点数。

表示定点数值的正确方法,是将其表示为整数,我们可以手动解析(先用直接解析):

图片

这种变化也会影响到记录的结构:

图片

数据库插入可以保持原样,但我们可借此机会稍微优化一下代码。

图片

最后,我们需要修改输出格式的代码。由于现在用的是定点数,所以我们必须将存储的整数值转换并四舍五入成浮点数。

图片

这一优化修复了前面提到的四舍五入错误,并提高了运行时效率(浮点运算速度较慢),且该实现也与 M1 Mac 兼容。

● 9700K (Fedora 39):35.5 秒(3.7 倍)

● 14900K(WSL Ubuntu):23.7 秒(2.8 倍)

● Mac Mini M1:55.7 秒(2.0 倍)

图片

自定义哈希映射

标准库中的 std::unordered_map 以速度慢而闻名,这是因为它使用了节点结构(实际上是节点链表数组)。按理说,我们可以改用平面映射(来自 Abseil 或 Boost),但这会违背 1brc 挑战赛的规则——即禁止使用外部库。

更重要的是,我们的输入也非常有限。对于 10 亿条记录,我们只有 1 万个唯一键,因此命中率会极高。

由于我们只能用 1 万个唯一键,因此可用基于 16 位哈希的线性探测哈希映射,直接索引静态数组。当遇到碰撞时(两个不同站点映射到相同的哈希/索引)时,我们将使用下一个可用的槽位。

这就意味着,在最坏的情况下(所有站点都映射到相同的哈希/索引),我们最终会进行线性复杂度查找。然而,这种情况极少发生,对于使用 std::hash 的输入示例,我们最终会遇到 500 万次碰撞,即 0.5%。

图片

这一变动,带来了相当大的速度提升:

● 9700K(Fedora 39):25.6 秒(5.1 倍)

● 14900K(WSL Ubuntu):18.4 秒(3.6 倍)

● Mac Mini M1:49.4 秒(2.3 倍)

图片

微调代码

以上,我们已经梳理了高层次的优化途径,接下来是时候深入挖掘并微调代码中的关键部分了。先让我们回顾一下目前的情况。

图片

我们可以在哈希(17%)和整数解析(21%)方面进行一些低级优化。微调代码的正确工具是基准测试框架,我们将实现几个目标函数的版本,并把结果相互比较。在本文中,我们选择使用 Google Benchmark。

(1)解析整数

当前版本的整数解析(故意)写得很差,有过多的分支。

由于数值可以短至三个字符,我们无法有效地利用宽指令(AVX)。在这种情况下,唯一能消除分支的方法就是通过查找表。

当我们解析数字时,只有两种可能的情况(忽略符号):

● 遇到一个数字:累加器乘以 10 并加上数字值。

● 遇到一个非数字:累加器乘以 1 并加上 0。

我们可以把这个过程编码为一个二维的、在编译时生成的数组,其中包含 char 类型所有 256 个值的信息。

图片

如果我们把这两个版本插入到微基准测试中,就会得到一个非常明确的结果。

图片

但很可惜,我们并不能把这两个版本直接插入到 Google Benchmark 中。我们的实现是一个超过 5 个字符的紧密循环,因此对布局非常敏感,可以用 LLVM 标志来对齐这些函数。

-mllvm -align-all-functions=5

不过即使这样,结果也会有很大波动(高达 40%)。

图片

(2)哈希处理

在进行哈希处理时,我们有两个优化的机会。

目前,我们是先解析站点的名称,然后在 lookup_slot 中计算哈希值,这意味着要对数据进行两次遍历。此外,我们计算的是 64 位的哈希值,但实际上只需要 16 位的哈希值。

为了减少整数解析时遇到的问题,我们将把解析合并为一个步骤,生成一个站点名称的 string_view、一个 16 位哈希和定点测量值。

图片

我们可以用一个简单公式来计算自定义的 16 位哈希,依赖无符号溢出而不是取模。

图片

这将大幅加快计算速度(同时具有合理的稳定性)。

图片

当我们将这个改进纳入解决方案中后,就会得到整体速度的提升:

● 9700K (Fedora 39):19.2 秒(6.87 倍)

● 14900K(WSL Ubuntu):14.1 秒(4.75 倍)

● Mac Mini M1:46.2 秒(2.44 倍速)

图片

释放线程

如果现在研究一下性能分析,就会发现我们已经达到了可行的极限。

图片

因此,下一步自然是并行化我们的代码。最简单的方法是将输入分成大致相同的块,在单独的线程中处理每个块,然后合并结果。我们可以扩展 MappedFile 类型,以提供分块访问。

图片

这样,我们就可以简单地在每个线程中按块运行现有代码。

图片

这样的优化效果相当不错。

图片

以下是最佳结果。请注意,这些只是相对比较下的最佳运行结果,而不是严格的基准测试。

● 9700K(Fedora 39):2.6 秒(50 倍)(在 8 个线程上)

● 14900K(WSL Ubuntu):0.89 秒(75 倍)(在 32 个线程上)

● Mac Mini M1:10.2 秒(11 倍)(在 24 个线程上)

(1)处理非对称处理速度

9700K 的缩放非常简洁,但这是因为这款处理器有 8 个不支持超线程的相同内核。一旦我们升级到 14900K,架构中的性能和效率内核就会变得复杂得多。

如果我们简单地将输入分成相同的块,效率核心会落后于主核心,拖慢整体运行速度。因此,我们不再将输入分成每个线程一个块,而是让线程按需请求块。

图片

以及 MappedFile 中相应的 next_chunk 方法。

图片

这样我们就可以从 14900K 中挤出最后一丝性能:

● 14900K(WSL Ubuntu):0.77 秒(87 倍)(在 32 个线程上)

图片

结论

对比最初实现的性能,现在我们已经提高了 87 倍——你可能会问:这值得吗?

那要看情况了。写这篇文章我花了很长时间,也耗费了大量精力,特别是用微基准测试时出现的对齐问题是一个很大的难题。如果我正在优化一段生产代码,我可能会止步于基本优化这个环节。微调代码的效果可能不错,但要投入大量时间,而且这些优化在现代架构上的稳定性很差。

最后,本文中涉及的完整源代码可在这个 GitHub 存储库中获取:https://github.com/HappyCerberus/1brc。

VConsole动态加载 // 移动端真机调试工具 vconsole import VConsole from "vconsole"; import Vue from "vue"; // 动态使用VConsole if(process.env.NODE_ENV==='production'){ if(process.env.VUE_APP_BASEURL.includes('test')||process.env.VUE_APP_BASEURL.includes('pre')){ Vue.prototype 阅读详情

相关推荐

Android-S无线模块前瞻

WiFi - mainlane非强制 S 采用反射的方法直接加载wifiservice,直接hook在systemserver上,无编译依赖。gms可以动态替换wifi服务。 R 采用直接启动service的方式,wifiservice仍然map在systemserver上。 WiFi - 11ad接口支持 11ad被wifi联盟商业化为WIGIG,提供短距的60GHZ载波,理论速度为当前5G 11ac的6倍。市面上基本没有手机支持,需要独立的芯片支撑此功能。 传输距离为3m以内,外界d.

头铁的伦的博客 1048

项目推荐:1BRC - 高性能温度数据处理框架

项目推荐:1BRC - 高性能温度数据处理框架 去发现同类优质开源项目:https://gitcode.com/ 1、项目介绍 在大数据时代,高效的数据处理是关键所在。1BRC 是一个针对大规模温度数据的高性能处理工具,其设计目标是快速准确地计算城市之间的最低、最高和平均气温。这个项目采用 Go 语言编写,通过一系列优化技巧,实现了亚秒级的处理速度,这对于需要实时数据分析的应用来说是一个巨大的优势...

gitblog_00014的博客 531

IAR9.X半主模式异常解析:为何硬件复位后仍陷调试状态?

本文深入解析了IAR 9.X半主模式异常问题,探讨了硬件复位后MCU仍陷调试状态的原因及解决方案。通过分析半主模式工作机制,提供了禁用半主功能、重写低级IO函数等具体方法,并给出了版本兼容性处理和调试与量产配置分离的优化建议,帮助开发者有效解决复位异常问题。

oo7890的博客 605

这波操作看麻了!十亿行数据,从71s到1.7s的优化之路。

首先,要优化 stringAt 方法,我们得知道它是干啥的。我们看一眼代码:在经历了上一波优化之后,stringAt 目前在代码中的唯一作用就是为了获取气象站的名称。而获取到这个名称的唯一目的是看看当前的 HashMap 中有没有这个气象站的数据,如果没有就新建一个 StationStats 对象,如果有就把之前的 StationStats 对象拿出来进行数据维护。

IT界那些事儿 8658

YALMIP介绍及怎么在Matlab中加YALMIP、SDPT3

目录YALMIP简介怎么在Matlab中加YALMIP?1. 创建决策变量:2. 添加约束:3. 参数配置4. 求解怎么在MatlabR2019a中加YALMIP?1.下载工具包2.放置工具包3.添加路径4.测试安装结果怎么在MatlabR2019a中加SDPT3? YALMIP简介 怎么在Matlab中加YALMIP? yalmip是一位“集大成者”,它不仅自己包含基本的线性规划求解算法,比如linprog(线性规划)、bintprog(二值线性规划)、bnb(分支界定算法)等,他还提供了对cpl

m0_51431440的博客 2万+

Holtek BS45F3833芯片深度剖析:如何用高集成MCU重塑超声波雾化市场格局?

本文深度剖析Holtek BS45F3833芯片如何通过高集成MCU技术重塑超声波雾化市场。该芯片集成了PWM直驱、电容检水、触摸控制等核心功能,显著提升雾化精度和效率,同时降低BOM成本和开发难度。文章通过实测数据和实战案例,展示了其在香薰机、车载设备及工业加湿器等场景的创新应用,为开发者提供了一站式解决方案。

weixin_29192211的博客 416

这个代码挑战赛火爆外网,十亿行文本处理,冠军只用了1.5s

那么有没有办法可以移除stringAt调用呢?分析代码可以看到将站名生成String对象,是为了在HashMap中存储不同气象站的统计结果数据(作为key)。而HashMap的key的作用是计算hash值判断两个key是否相等如果要避免使用stringAt调用,那么就不得不抛弃HashMap,来实现自定义的哈希表结构。实际上,构造一个指定大小的采用开放地址法指定大小:不需要考虑容量扩张,因为比赛的气象站大小已经确定。

weiweiqiao的专栏 968

纳米尺度仿真软件:GROMACS_(3).分子动力学模拟原理

分子动力学(MD)模拟是一种强大的计算方法,通过数值积分牛顿运动方程,追踪粒子在时间上的位置和速度变化,提供关于体系动力学行为的详细信息。选择合适的力场、设置初始条件、应用边界条件、控制温度和压力、选择合适的时间步长、计算能量和力,是 MD 模拟的关键步骤。通过这些步骤,可以对各种化学、生物和材料体系进行模拟和分析,揭示其结构、动力学和热力学性质。高级应用如反应路径模拟和蛋白质折叠研究,进一步扩展了 MD 模拟的应用范围。

kkchenjj的博客 1102

火爆外网的「十亿行挑战」,国外大神用C++应战:从67s到0.77s,速度狂飙87倍!...

2024 年的第一天,Decodable 高级软件工程师 Gunnar Morling 曾向 Java 社区发起了一个十亿行挑战(1BRC),即要求在最快时间内处理 10亿行数据。针对这个挑战,本文作者 ŠIMON TÓTH 尝试用 C++来完成,从最初实现到经过一系列优化后,最终运行速度提升了 87 倍。原文链接:https://simontoth.substack.com/p/daily-...

程序人生的博客 505

DMC-E 系列总线控制卡----雷赛板卡介绍(十七)

低的速度平稳地接近目标位置,降低运动部件对接触点的冲击。设置插补目标位置,插补方向,以确定插补动作。圆形区域限位,即运动仅在用户设定的圆形范围内进行,超出这个范围,运动会依据设定。首先,用户需要绑定两个轴进而确定该功能所处的坐标系。仅支持平面圆形限位,不支持空间圆形限位。径,可以确定该区域在坐标系中的位置。)运动开始前,用户应当将旋转轴调整到与插补曲线的起点位置相切的角度;可以配合椭圆插补或圆弧插补运动,实现跟随轴的旋转运动角度与曲线当前。外,其它运动形式若开始运动时在限位区域外,则禁止运动;

A_nanda的博客 655

2024年上半年试题二:论性能测试方法及其应用

2025年1月,我以系统分析师的身份参与了公司OA系统的开发与建设。该系统包含的功能有打卡签到、公文流转、工资查询等。我们吸取了之前由于系统使用人数激增暴露出的短时间卡顿等问题,所以在本次开发中,我们非常重视系统的性能测试。通过自动化的测试工具模拟多种正常、峰值及异常负载条件对系统的各项性能指标进行测试。性能测试在软件的质量保证中起着重要的作用,它包括的测试内容丰富多样,常见的负载测试和压力测试都属于性能测试。

银帅 549

突发!美国拟限制“开源 AI 大模型出口”

据路透社报道,美国众议院一个由两党议员组成的小组在周三晚些时候公布了一项法案,该法案将使拜登政府更容易对 AI 模型实施出口管制,以保护美国技术免受外国不良行为者的侵害。该法案由众议院共和党人Michael McCaul和John Molenaar以及民主党人RajaKrishnamoorthi和 Susan Wild发起,还将明确授权商务部禁止美国人与外国人合作开发对美国国家安全...

优快云资讯 4374

《Android系统开发中高级定制专栏导读》

欢迎来到【Android 中高级系统定制】专栏!在这里,将深入探讨Android系统开发与定制的方方面面,涵盖从权限管理、驱动开发到系统应用配置等多个领域。

我其实什么都不会 1585

不到一个月裁员 4 轮!特斯拉 7 年老将愤然离职,发文痛斥“裁员动摇了士气”!...

整理 | 郑丽媛出品 | 程序人生(ID:coder_life)自从上个月中旬,马斯克在内部邮件宣布将全球裁员 10%以上后,特斯拉就“变天”了:不到一个月时间里,特斯拉进行了 4 轮裁员,有 7 名高管离职。裁员通知发布当天,在特斯拉任职 18 年的“二号人物”Drew Baglino(特斯拉动力总成及能源业务高级副总裁)和已任职 8 年的公共政策和业务发展副总裁 Rohan Patel 先后...

程序人生的博客 117

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

火爆外网的“十亿行挑战“, C++大神用时0.77秒是如何做到的

十亿行挑战 (1BRC) 是Gunnar Morling于2024年1月1日对JAVA社区发起的编程挑战,探讨现代 Java 在处理10 亿行数据的文本文件,能走多远。C++软件工程师西蒙·托特(ŠIMON TÓTH )发起挑战,给出了自己的方案,从66秒优化到0.77秒,并记录整理了性能优化过程,对于C++应用程序的性能优化的过程,极具参考价值。

IeSneaker的专栏 1393

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

1brc项目最佳实践教程

1brc项目最佳实践教程 1. 项目介绍 1brc是一个开源项目,旨在提供一种简便的方法来管理和组织项目代码。该项目基于一系列最佳实践,帮助开发者构建可维护、可扩展的应用程序。项目以其简洁的架构和灵活的设计而受到开发社区的欢迎。 2. 项目快速启动 要快速启动1brc项目,请按照以下步骤操作: 首先,确保安装了Git。然后在命令行中执行以下命令来克隆仓库: git clone https://gi...

gitblog_01120的博客 396

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

10 亿行数据集处理挑战:从 15 分钟到 5 秒

你好,我是俞凡,在Motorola做过研发,现在在Mavenir做技术工作,对通信、网络、后端架构、云原生、DevOps、CICD、区块链、AI等技术始终保持着浓厚的兴趣,平时喜欢阅读、思考,相信持续学习、终身成长,欢迎一起交流学习。Golang 在处理 10 亿行数据集的挑战中展现了高效的并发处理和优化的 I/O 操作能力,通过使用 Parquet 二进制格式,进一步提升了数据处理性能,并最终将处理时间从 15 分钟优化到了 5 秒。通过利用 Go 的并发模型和优化 I/O 操作,大大缩短了处理时间。

残星说梦话 1036

如何使用.NET在2.2秒内处理10亿行数据(1brc挑战)

译者注在上周我就关注到了在github上有1brc这样一个挑战,当时看到了由Victor Baybekov提交了.NET下最快的实现,当时计划抽时间写一篇文章解析他的代码实现,今天突然看到作者自己写了一篇文章,我感觉非常不错,在这里分享给大家。这篇文章是关于.NET开发者Victor Baybekov参加的一个名为"One Billion Row Challenge"的编程挑战,他使用.NET语言...

dotNET跨平台 399

.NET 已加入 1BRC 挑战赛

1BRC 挑战1BRC 的全称是 The One Billion Row Challenge(十亿行挑战), 最初是由 Gunnar Morling 使用 Java 发起的,主要为了探讨现代 Java 在处理 10 亿行文本文件方面能走多远。抓住所有(虚拟)线程,使用 SIMD,优化 GC,或者使用任何其他技巧,使用最快的实现来解决这个任务,如下编写一个程序,读取文本文件中的温度测量值,并计算每个...

dotNET跨平台 506

C++“中年危机”有救了!C++之父新动作!

此外,还将制定规则,对不同的代码片段应用不同的保证。就在外界纷纷揣测C++如何应对突如其来的中年危机,是否真的应该让位于后起之秀时,近日C++之父Bjarne Stroustrup在上个月举办的编程语言年度大会上公开表态:他将增加新的安全工具应对批评,为全球数十亿行C++代码带来新的解决方案。Stroustrup还指出,“许多所谓的‘安全’语言将所有底层的东西都外包给了C或C++”,暂时脱离原始语言来访问硬件资源,甚至操作系统(通常是用C编写的)——甚至可能是极为古老的、藏在外部库中的“可信代码”……

IT界那些事儿 6042

深挖C++:类和对象(中)

(先进后出)

xys_678的博客 258

跟我学c++中级篇—类型定义的方式

本文系统阐述了编程中类型定义的重要性及c++中的实现方式。重点对比了宏定义、typedef与modern using三种机制,指出using在可读性、灵活性和模板支持上的优势,推荐优先使用。同时提醒开发者注意别名滥用、类型歧义、错误信息冗长等问题,强调统一规范与合理设计。最终结论:在现代c++开发中,应以using为主,兼顾简洁性与可维护性,避免陷入命名混乱与编译困境。

fpcc的专栏 397

【C/C++ 第一次跨越(下):移动语义与 noexcept——不改变行为的性能修复】

本文详解C++11移动语义在迁移至现代C++时的性能优化策略,强调“不改变行为”的前提下通过合理使用移动语义消除深拷贝开销。重点解析移动操作生成规则:析构函数、拷贝函数或const/引用成员会抑制移动构造;noexcept影响std::vector是否选择移动而非回退拷贝。提出“Rule of Zero”原则——用RAII封装资源,避免手动实现特殊成员函数,确保移动语义被正确调用,实现零开销移动与内存安全。

一起学习进步! 245

【C++】C++17的主要特性

C++17引入多项重要特性:结构化绑定简化多值返回与遍历;inline变量解决头文件中变量定义的ODR问题,支持类内初始化;if/switch初始化语句允许在条件中声明变量,提升代码简洁性;属性语法(如[[nodiscard]]、[[deprecated]])增强代码可读性与安全性;求值顺序明确化,提高程序可预测性。这些改进显著提升了代码的简洁性、安全性和可维护性。

记录我一步步的学习历程,期待无限进步,向星举目! 347

【C++碎片化知识补充】C++ 里 int 也算对象?聊聊对象和变量的边界

盯着sessionId不就是个变量吗?变量凭什么能调用函数?后来才反应过来——它当然是对象。是我把对象这个词理解窄了。

2501_93351213的博客 341
上一篇: 哦豁,自己发的几条视频把年薪千万的工作搞没了。
下一篇: “我对CTO撒了个谎,用3人开发的功能取代外包70人的成果,成功拯救了交付的Deadline!”
IT界那些事儿
博客等级 码龄6年 2万+粉丝 22原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值