[Java数据处理]4GB文本文件处理一例

问题模型：

        4GB文本文件in.triple每行包含两个顶点，一个边 ： node1String, edgeString，node2String。输出node.csv文件：node1Id，edgeString，node2Id。

in.triple的文件格式

<http://wikidata.dbpedia.org/resource/Q20> <http://dbpedia.org/ontology/description> "land i Nord-Europa"@nb .
<http://wikidata.dbpedia.org/resource/Q20> <http://dbpedia.org/ontology/description> "land i Nord-Europa"@nn .
<http://wikidata.dbpedia.org/resource/Q20> <http://dbpedia.org/ontology/description> "valtio Pohjois-Euroopassa"@fi .
<http://wikidata.dbpedia.org/resource/Q20> <http://dbpedia.org/ontology/description> "pagilian idiay Amianan nga Europa"@tl .
<http://wikidata.dbpedia.org/resource/Q20> <http://dbpedia.org/ontology/description> "civitas Europae"@la .

<http://wikidata.dbpedia.org/resource/Q20> <http://dbpedia.org/ontology/description> "ஐரோப்பிய நாடு"@ta .

<http://wikidata.dbpedia.org/resource/Q20> <http://dbpedia.org/ontology/description> "کشوری در اروپا"@fa .
<http://wikidata.dbpedia.org/resource/Q20> <http://dbpedia.org/ontology/description> "სახელმწიფო ჩრდილოეთ ევროპაში, სკანდინავიის ნახევარკუნძულზე"@ka .
<http://wikidata.dbpedia.org/resource/Q17> <http://dbpedia.org/ontology/description> "land i Øst-Asia"@nb .
<http://wikidata.dbpedia.org/resource/Q17> <http://dbpedia.org/ontology/description> "valtio Aasiassa"@fi .
<http://wikidata.dbpedia.org/resource/Q17> <http://dbpedia.org/ontology/description> "isla a pagilian idiay Daya nga Asia"@tl .
<http://wikidata.dbpedia.org/resource/Q17> <http://dbpedia.org/ontology/description> "מדינה"@he .
<http://wikidata.dbpedia.org/resource/Q17> <http://dbpedia.org/ontology/description> "கிழக்காசிய நாடு"@ta .
<http://wikidata.dbpedia.org/resource/Q17> <http://dbpedia.org/ontology/description> "valsts austrumu Āzijā"@lv .
<http://wikidata.dbpedia.org/resource/Q17> <http://dbpedia.org/ontology/description> "østasiatisk østat"@da .
<http://wikidata.dbpedia.org/resource/Q17> <http://dbpedia.org/ontology/description> "کشوری در جنوب خاوری آسیا"@fa .
<http://wikidata.dbpedia.org/resource/Q17> <http://dbpedia.org/ontology/description> "quốc đảo ở Đông Á"@vi .
<http://wikidata.dbpedia.org/resource/Q17> <http://dbpedia.org/ontology/description> "জাপান এচিয়া মহাদেশত স্হিত এখন দেশ৷জাপান চাৰিটা ডাঙৰ আৰ্ৱো ানেক সৰ্ দ্বীপৰ সমস্টী৷"@as .
<http://wikidata.dbpedia.org/resource/Q18> <http://dbpedia.org/ontology/description> "kontinent"@nb .
<http://wikidata.dbpedia.org/resource/Q18> <http://dbpedia.org/ontology/description> "maanosa"@fi .
<http://wikidata.dbpedia.org/resource/Q18> <http://dbpedia.org/ontology/description> "kontinente"@tl .
<http://wikidata.dbpedia.org/resource/Q18> <http://dbpedia.org/ontology/description> "கண்டம்"@ta .

node.csv文件格式

1,<http://wikidata.dbpedia.org/resource/Q20>
2,<http://dbpedia.org/ontology/description>
3,<http://wikidata.dbpedia.org/resource/Q17>
4,<http://wikidata.dbpedia.org/resource/Q18>
5,<http://wikidata.dbpedia.org/resource/Q15>
6,<http://wikidata.dbpedia.org/resource/Q26>
7,<http://wikidata.dbpedia.org/resource/Q21>
8,<http://wikidata.dbpedia.org/resource/Q22>
9,<http://wikidata.dbpedia.org/resource/Q27>

edge.csv格式

1,2,"land
1,2,"land
1,2,"valtio
1,2,"pagilian
1,2,"civitas
1,2,"ஐரோப்பிய
1,2,"land
1,2,"کشوری
1,2,"სახელმწიფო
3,2,"land
3,2,"valtio
3,2,"isla
3,2,"מדינה"@he
3,2,"கிழக்காசிய
3,2,"valsts
3,2,"østasiatisk
3,2,"کشوری
3,2,"quốc
3,2,"জাপান
4,2,"kontinent"@nb
4,2,"maanosa"@fi

初始算法

         随机按行读in.triple，对每个nodeString去hash表查，获取或生成ID后把相关数据顺序追加写入node.csv和edge.csv.

资源监控

            因为是按行处理，所以监控下来内存使用150M不到。

            堆内存监控，第一小时使用150M左右， 第11小时使用500M，peak memory usage 1GB。（资源利用率低）

 耗时估算

            原始数据4个G，估算输出数据5个G，前10个小时输出了约300M数据， 按48小时处理1.5G数据算，约3天可以处理完。

算法优化1

           利用内存直接存储中间结果，最后一次性写磁盘。

           初始算法中有三个对象：（1）存储顶点ID的HashTable; (2) nodes.csv; (3) edges.csv。本来是每处理一行就写一次输出文件，现在将nodes.csv和 edges.csv的结果分别存在两个字符串中最后一次性写磁盘。String最大大小与java虚拟机有关。

算法优化2

           利用多线程提高内存和CPU利用率。

      文件拷贝一份，供两个线程处理； 一个线程Thread1负责处理顶点，生成顶点ID；两个线程共享一个ConcurrentHashMap（线程安全），和两个计数器count1（线程1处理的行数）和count2（线程二处理的行数）；一个线程Thread2负责生成 node1ID,node2ID, edgeString。

           必须保证count2始终小于count1.