bhh的专栏

更多内容，请访问bbhhhh.github.io最近在学习Hadoop，在配置伪分布式时需要配置SSH无密码登录。我是在CentOS7上安装Hadoop的，发现《Hadoop权威指南-第二版》以及Hadoop的官方文档关于SSH配置这一步都写的不够完整，导致无法实现SSH无密码登录，看了网上的相关帖子并经实践后，整理如下：1. SSH服务的安装就不细说了，一般都默认安装了。...

更多内容，请访问bbhhhh.github.ioHBase的表操作，默认情况下客户端写缓冲区是关闭的，即table.isAutoFlush() = true， 这种情况下，对表的单行操作会实时发送到服务端完成。因此，对于海量数据插入，修改，RPC通信频繁，效率比较低。这种场景下，可以通过激活客户端缓冲区，批量提交操作请求，提高操作效率。下面是一个简单的关于autoFlush的...

原贴地址更多内容，请访问bbhhhh.github.io

更多内容，请访问bbhhhh.github.io最近在研究Hadoop 和Spark，需要自己编译一个spark包，用到maven工具。版本是：3.2.3，问题是公司的服务器在内网，而公司的HTTP代理是基于NTLM的，maven默认是不支持的，比如：你在settings.xml中有以下配置： <proxy> <id>my-proxy</i...

更多内容，请访问bbhhhh.github.io最近一直在搞Hadoop Hbase。我们有一个需求是从HDFS上读取输入文件，解析后输出到Hbase。由于输入文件非常大，TB级别，为了提高写库性能，我们尝试通过map程序在所有data node上并发读取并输出到Hbase。程序很快完成，并顺利完成入库任务。我们写了一个统计程序用于检查导入的记录是否与输入文件中的记录数一致。...

更多内容，请访问bbhhhh.github.io环境：hadoop-2.5.0-cdh5.2.1spark-1.2.0-bin-hadoop2.4master,slave2 30G ram,32 vCoreslave4 60G ram,24 vCoreslave5 60G ram,24 vCore测试用例：根据关联条件对2个文件进行关联操作，并将关联后...