在翻阅calamine作者的quick-csv存储库时无意中看到有个10年前的csv读取比赛, 把比赛选手源程序下载下来测试看到底有多快。
git clone https://bitbucket.org/ewanhiggs/csv-game.git
这些源程序只有比赛程序本身，依赖的文件有的在主页，有的在makefile中写出。冠军是一个叫csvmonkey的程序，如下所示
#include <iostream>
#include <iterator>
#include "csvmonkey.hpp"
using namespace csvmonkey;
int main(int argc, char* argv[])
{
if(argc < 2) {
return 1;
}
MappedFileCursor cursor;
if(! cursor.open(argv[1])) {
// new behaviour for csvmonkey returns 0 for empty files.
std::cout << 0 << std::endl;
return 0;
}
CsvReader reader(cursor);
CsvCursor &row = reader.row();
int sum = 0;
while(reader.read_row()) {
sum += row.count;
}
std::cout << sum << std::endl;
}
它的主要实现都在头文件csvmonkey.hpp里，找来编译执行了，结果不太快，500万行的读取正确，用时23秒，100万行41列的读取失败，没有文档，不知怎么改。
wget https://raw.githubusercontent.com/dw/csvmonkey/csv-game/csvmonkey.hpp
g++ csv.cc -w -pedantic -std=c++11 -g -O3 -fpic -msse4.2 -march=native -DNDEBUG -o csvmonkey -I .
root@6ae32a5ffcde:/par# time ./csvmonkey "5m Sales Records.csv"
70000000
real 0m23.437s
user 0m0.388s
sys 0m1.325s
root@6ae32a5ffcde:/par# time ./csvmonkey "NYC_311_SR_2010-2020-sample-1M.csv"
1060693607
Segmentation fault (core dumped)
real 0m19.954s
user 0m0.194s
sys 0m1.147s
再拿基于libcsv的程序来测，它在列表中是第8名
#include <csv.h>
#include <stdio.h>
#include <string.h>
void field_count(void* str, size_t str_len, void* data) {
int* count = (int*)data;
*count += 1;
}
const int READ_SZ = 1024 * 1024;
int main (int argc, char* argv[]) {
struct csv_parser parser = {0};
csv_init(&parser, CSV_APPEND_NULL);
FILE* f = fopen(argv[1], "r");
char *buf = (char*)malloc(READ_SZ);
size_t buflen = READ_SZ;
int count = 0;
while((buflen = fread(buf, 1, READ_SZ, f)) > 0){
csv_parse(&parser, buf, buflen, field_count, 0, &count);
}
printf("%d\n", count);
fclose(f);
free(buf);
csv_free(&parser);
return EXIT_SUCCESS;
}
效果好了很多，都在3秒左右，但读出的列数有点差距，应该是标题行影响，但第一个难以理解，14列怎么读成13列了。
gcc csv.c libcsv.c -Werror -Wall -pedantic -std=c11 -g -O3 -fpic -march=native -o libcsv -I .
root@6ae32a5ffcde:/par# time ./libcsv "5m Sales Records.csv"
70000013
real 0m3.608s
user 0m1.301s
sys 0m0.100s
root@6ae32a5ffcde:/par# time ./libcsv "NYC_311_SR_2010-2020-sample-1M.csv"
41000041
real 0m3.078s
user 0m1.083s
sys 0m0.109s
再拿我常用的Duckdb来读，效率高了很多。读取统计行数都在2秒左右，写入内存表也不过增加了0.2秒。对读入的数据进行总结，内容也都正确。
D .timer on
D SET enable_progress_bar =false;
D select count(*) from '5m Sales Records.csv';
┌────────────────┐
│ count_star() │
│ int64 │
├────────────────┤
│ 5000000 │
│ (5.00 million) │
└────────────────┘
Run Time (s): real 2.329 user 0.998917 sys 0.234929
D select count(*) from 'NYC_311_SR_2010-2020-sample-1M.csv';
┌────────────────┐
│ count_star() │
│ int64 │
├────────────────┤
│ 1000000 │
│ (1.00 million) │
└────────────────┘
Run Time (s): real 1.981 user 0.649826 sys 0.196659
D create table t as from '5m Sales Records.csv';
Run Time (s): real 2.585 user 3.853148 sys 0.752251
D summarize t;
┌────────────────┬─────────────┬─────────────┬────────────────────┬───┬────────────────────┬─────────┬─────────────────┐
│ column_name │ column_type │ min │ max │ … │ q75 │ count │ null_percentage │
│ varchar │ varchar │ varchar │ varchar │ │ varchar │ int64 │ decimal(9,2) │
├────────────────┼─────────────┼─────────────┼────────────────────┼───┼────────────────────┼─────────┼─────────────────┤
│ Region │ VARCHAR │ Asia │ Sub-Saharan Africa │ … │ NULL │ 5000000 │ 0.00 │
│ Country │ VARCHAR │ Afghanistan │ Zimbabwe │ … │ NULL │ 5000000 │ 0.00 │
│ Item Type │ VARCHAR │ Baby Food │ Vegetables │ … │ NULL │ 5000000 │ 0.00 │
│ Sales Channel │ VARCHAR │ Offline │ Online │ … │ NULL │ 5000000 │ 0.00 │
│ Order Priority │ VARCHAR │ C │ M │ … │ NULL │ 5000000 │ 0.00 │
│ Order Date │ DATE │ 2010-01-01 │ 2020-09-10 │ … │ 2018-01-08 │ 5000000 │ 0.00 │
│ Order ID │ BIGINT │ 100000321 │ 999999892 │ … │ 775399388 │ 5000000 │ 0.00 │
│ Ship Date │ DATE │ 2010-01-01 │ 2020-10-30 │ … │ 2018-02-01 │ 5000000 │ 0.00 │
│ Units Sold │ BIGINT │ 1 │ 10000 │ … │ 7498 │ 5000000 │ 0.00 │
│ Unit Price │ DOUBLE │ 9.33 │ 668.27 │ … │ 428.7937475664888 │ 5000000 │ 0.00 │
│ Unit Cost │ DOUBLE │ 6.92 │ 524.96 │ … │ 307.03048573417 │ 5000000 │ 0.00 │
│ Total Revenue │ DOUBLE │ 9.33 │ 6682700.0 │ … │ 1823813.9831833337 │ 5000000 │ 0.00 │
│ Total Cost │ DOUBLE │ 6.92 │ 5249600.0 │ … │ 1203364.1504520269 │ 5000000 │ 0.00 │
│ Total Profit │ DOUBLE │ 2.41 │ 1738700.0 │ … │ 566819.0278750015 │ 5000000 │ 0.00 │
├────────────────┴─────────────┴─────────────┴────────────────────┴───┴────────────────────┴─────────┴─────────────────┤
│ 14 rows 12 columns (7 shown) │
└──────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
Run Time (s): real 0.792 user 10.106701 sys 0.037936
D create table t2 as from 'NYC_311_SR_2010-2020-sample-1M.csv';
Run Time (s): real 2.285 user 2.901837 sys 0.686295
D summarize t2;
┌──────────────────────┬─────────────┬──────────────────────┬───┬──────────────────────┬─────────┬─────────────────┐
│ column_name │ column_type │ min │ … │ q75 │ count │ null_percentage │
│ varchar │ varchar │ varchar │ │ varchar │ int64 │ decimal(9,2) │
├──────────────────────┼─────────────┼──────────────────────┼───┼──────────────────────┼─────────┼─────────────────┤
│ Unique Key │ BIGINT │ 11465364 │ … │ 40208216 │ 1000000 │ 0.00 │
│ Created Date │ TIMESTAMP │ 2010-01-01 00:00:00 │ … │ 2018-07-30 12:48:4… │ 1000000 │ 0.00 │
│ Closed Date │ TIMESTAMP │ 1900-01-01 00:00:00 │ … │ 2018-08-04 11:42:5… │ 1000000 │ 2.86 │
│ Agency │ VARCHAR │ 3-1-1 │ … │ NULL │ 1000000 │ 0.00 │
│ Agency Name │ VARCHAR │ 3-1-1 │ … │ NULL │ 1000000 │ 0.00 │
│ Complaint Type │ VARCHAR │ ../../WEB-INF/web.… │ … │ NULL │ 1000000 │ 0.00 │
│ Descriptor │ VARCHAR │ 1 Missed Collection │ … │ NULL │ 1000000 │ 0.30 │
│ Location Type │ VARCHAR │ 1-, 2- and 3- Fami… │ … │ NULL │ 1000000 │ 23.91 │
│ Incident Zip │ VARCHAR │ * │ … │ NULL │ 1000000 │ 5.50 │
│ Incident Address │ VARCHAR │ * * │ … │ NULL │ 1000000 │ 17.47 │
│ Street Name │ VARCHAR │ * │ … │ NULL │ 1000000 │ 17.47 │
│ Cross Street 1 │ VARCHAR │ 1 AVE │ … │ NULL │ 1000000 │ 32.04 │
│ Cross Street 2 │ VARCHAR │ 1 AVE │ … │ NULL │ 1000000 │ 32.36 │
│ Intersection Stree… │ VARCHAR │ 1 AVE │ … │ NULL │ 1000000 │ 76.74 │
│ Intersection Stree… │ VARCHAR │ 1 AVE │ … │ NULL │ 1000000 │ 76.77 │
│ Address Type │ VARCHAR │ ADDRESS │ … │ NULL │ 1000000 │ 12.58 │
│ City │ VARCHAR │ * │ … │ NULL │ 1000000 │ 6.20 │
│ Landmark │ VARCHAR │ 1 AVENUE │ … │ NULL │ 1000000 │ 91.28 │
│ Facility Type │ VARCHAR │ DSNY Garage │ … │ NULL │ 1000000 │ 14.55 │
│ Status │ VARCHAR │ Assigned │ … │ NULL │ 1000000 │ 0.00 │
│ Due Date │ TIMESTAMP │ 1900-01-02 00:00:00 │ … │ 2017-09-22 19:44:2… │ 1000000 │ 64.78 │
│ Resolution Descrip… │ VARCHAR │ A DOB violation wa… │ … │ NULL │ 1000000 │ 2.05 │
│ Resolution Action … │ TIMESTAMP │ 2009-12-31 01:35:00 │ … │ 2018-08-10 13:25:1… │ 1000000 │ 1.51 │
│ Community Board │ VARCHAR │ 0 Unspecified │ … │ NULL │ 1000000 │ 0.00 │
│ BBL │ VARCHAR │ 0000000000 │ … │ NULL │ 1000000 │ 24.30 │
│ Borough │ VARCHAR │ BRONX │ … │ NULL │ 1000000 │ 0.00 │
│ X Coordinate (Stat… │ BIGINT │ 913281 │ … │ 1018255 │ 1000000 │ 8.53 │
│ Y Coordinate (Stat… │ BIGINT │ 121152 │ … │ 234907 │ 1000000 │ 8.53 │
│ Open Data Channel … │ VARCHAR │ MOBILE │ … │ NULL │ 1000000 │ 0.00 │
│ Park Facility Name │ VARCHAR │ "Uncle" Vito F. Ma… │ … │ NULL │ 1000000 │ 0.00 │
│ Park Borough │ VARCHAR │ BRONX │ … │ NULL │ 1000000 │ 0.00 │
│ Vehicle Type │ VARCHAR │ Ambulette / Paratr… │ … │ NULL │ 1000000 │ 99.97 │
│ Taxi Company Borough │ VARCHAR │ BRONX │ … │ NULL │ 1000000 │ 99.92 │
│ Taxi Pick Up Locat… │ VARCHAR │ 1 5 AVENUE MANHATTAN │ … │ NULL │ 1000000 │ 99.21 │
│ Bridge Highway Name │ VARCHAR │ 145th St. Br - Len… │ … │ NULL │ 1000000 │ 99.77 │
│ Bridge Highway Dir… │ VARCHAR │ Bronx Bound │ … │ NULL │ 1000000 │ 99.77 │
│ Road Ramp │ VARCHAR │ N/A │ … │ NULL │ 1000000 │ 99.77 │
│ Bridge Highway Seg… │ VARCHAR │ 1-1-1265963747 │ … │ NULL │ 1000000 │ 99.76 │
│ Latitude │ DOUBLE │ 40.1123853 │ … │ 40.80288457482914 │ 1000000 │ 25.47 │
│ Longitude │ DOUBLE │ -77.5195844 │ … │ -73.87602468658496 │ 1000000 │ 25.47 │
│ Location │ VARCHAR │ (40.1123853, -77.5… │ … │ NULL │ 1000000 │ 25.47 │
├──────────────────────┴─────────────┴──────────────────────┴───┴──────────────────────┴─────────┴─────────────────┤
│ 41 rows 12 columns (6 shown) │
└──────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘
Run Time (s): real 0.332 user 2.741898 sys 0.049018
补记：
我用calamine作者的参赛代码quick-reader编译时报错，将源文件交给张泽鹏先生审查，他说那是古早的格式，现在Cargo.toml要加入edition = “2024”，依赖代码的版本也修改为quick-csv ="0.1.6"就能正常编译了
quick-reader修改前Cargo.toml
[package]
name = "quick-reader"
version = "0.0.1"
authors = [ "Johann Tuffe <tafia973@gmail.com>" ]
[[bin]]
name = "quick-reader"
[dependencies]
quick-csv = "0.1"
[profile.release]
opt-level = 3
lto = true
quick-reader修改后Cargo.toml
[package]
name = "quick-reader"
version = "0.1.0"
edition = "2024"
[dependencies]
quick-csv = "0.1.6"
quick-reader源代码将extern crate quick_csv as csv;改为use quick_csv as csv;同时添加use std;并把::std改为std。
修改前
extern crate quick_csv as csv;
fn main() {
let fpath = ::std::env::args().nth(1).unwrap();
let rdr = csv::Csv::from_file(fpath).unwrap();
let sum = rdr.into_iter()
.map(|r| r.unwrap().len())
.fold(0usize, |c, n| c + n);
println!("{}", sum);
}
修改后
use quick_csv as csv;
use std;
fn main() {
let fpath = std::env::args().nth(1).unwrap();
let rdr = csv::Csv::from_file(fpath).unwrap();
let sum = rdr.into_iter()
.map(|r| r.unwrap().len())
.fold(0usize, |c, n| c + n);
println!("{}", sum);
}
编译执行
time /par/quick-reader/target/release/quick-reader /par/NYC_311_SR_2010-2020-sample-1M.csv
41000041
real 0m9.702s
user 0m0.449s
sys 0m0.394s
time /par/quick-reader/target/release/quick-reader "/par/5m Sales Records.csv"
70000014
real 0m12.335s
user 0m0.636s
sys 0m0.564s
还是不如libcsv快, 但是结果很正确，一个字段都不差。
扫一扫
1045
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
