microGP的专栏

1 需求本文档描述大段落文本信息的存储，查询功能实现需求：能够从Web页面上通过各种条件查看大段文本信息，能够下载完整文本信息2 环境信息Hadoop2.6，HBase1.2，Elasticsearch6.03 方案设计根据需求，可以有两套方案可供参考，具体实现和依赖我会在下面详细说明3.1HDFS之SequenceFile解决方案：3.1.1 选型依据1、HDFS存储海量小文件导致块过多，namenode内存需求增大，导致namenode节点负载变高，稳定性受影响，s.

描述 由于大数据集群服务器硬盘存储异构，部分硬盘空间大，部分空间硬盘小，所以在存储的时候会导致小硬盘服务器HDFS存储占有率提升过快解决方案编写脚本，每天00:10执行hdfs balance的任务source /etc/profiletime=$(date "+%Y-%m-%d %H:%M:%S")echo "start-hdfs-balance at "+"$...

环境信息：Hadoop版本：2.7.2现象：HDFS升级配置重启后空间大量减少HDFS状态为INCONSISTENT,无法正常使用，DataNode进程随即消失问题分析：可能原因：1、由于HADOOP集群进行过扩展，导致集群配置异构，hdfs-site.xml的配置不同，可能在配置文件scp的时候导致错误的替换，部分硬盘未识别2、部分硬盘损坏导致数据无法读取问题...