本文介绍使用Java进行大数据处理的方法，包括数据分段读取、批量处理及多线程技术的应用。探讨了如何通过合理设置线程数量来避免服务器过载，并提供了Java线程池使用的实践案例。
大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)，大数据Hadoop框架、map-reduce框架，很多部分都是用开源的Java语言编写。
java编程过程中对大数据的处理：
1）数据分段：依行读取数据，设定一个批量值，当读取的数据达到一定量之后，执行批量操作，清空集合，再接着读取。
java 分次读取大文件的三种方法
2）多线程处理：需要考虑服务器的承载能力，如果线程过多，会出现蹦宕机的情况。
大数据处理系列之Java线程池使用
扫一扫
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
