
BigData
shida_csdn
Keep Running ...
展开
-
[Hadoop] Hadoop Yarn显示DEBUG调试信息的配置方法
1. 默认条件下,Yarn 日志仅显示INFO及以上级别信息,而对系统进行二次开发时,显示必要的DEBUG信息是必要的。2. 配置Yarn打印DEBUG信息到日志文件,只需要修改其启动脚本sbin/yarn-daemon.sh,将INFO改为DEBUG即可(仅此一步)。 export YARN_ROOT_LOGGER=${YARN_ROOT_LOGGER:-DEBUG,RFA}3.原创 2016-08-19 21:14:36 · 4333 阅读 · 1 评论 -
[Hadoop] 源码编译Hadoop 2.7.2
1. 基础环境 ubuntu 14.04 desktop amd642. 安装JDK tar zxvf jdk1.7.0_45.tar.gz -C /opt/ export JAVA_HOME=/opt/jdk1.7.0_45 export PATH=.:${JAVA_HOME}/bin:$PATH export CLASSPATH=.:${J原创 2016-08-13 11:43:47 · 1082 阅读 · 0 评论 -
[Hadoop] Eclipse 远程调试 Hadoop
1. 服务端开启调试并启动服务,本文以调试ResourceManager为例 export YARN_RESOURCEMANAGER_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8000" start-all.sh 注意输出信息,显示已经监听8000端口,如下图:原创 2016-08-13 18:05:27 · 443 阅读 · 0 评论 -
[BigData] Ceph 离线安装教程
一、系统环境 CentOS 7 x86_64二、软件下载(基于可访问网络的 CentOS 7 x86_64 系统)2.1 配置 ceph 源,以 ceph-hammer 为例,这里使用163源 # vim /etc/yum.repos.d/ceph.repo [Ceph] name=Ceph packages ...原创 2017-10-17 20:48:33 · 3781 阅读 · 0 评论 -
[BigData] HBase 集成 Phoenix SQL 查询引擎
一、背景介绍 HBase 默认不支持SQL语句查询,而且仅提供了针对RowKey的快速检索,不支持二级索引,这严重限制了HBase的应用场景。 Phoenix 在 HBase 之上构筑了一套 SQL 引擎,实现了二级检索,使查询不再受限于RowKey的单一维度。 通过建立索引,Phoenix 能够实现大数据快速检索,测试验证1亿条数据的带原创 2017-10-30 08:47:50 · 1966 阅读 · 0 评论 -
[BigData] Ceph 集群清理
1. ceph-deploy 提供了清理命令# ceph-deploy purge node1 node2 ...# ceph-deploy purgedata node1 node2 ...2. 清理完成后,ceph 软件会被卸载,重新安装 ceph 即可!原创 2017-11-20 17:37:18 · 2647 阅读 · 0 评论