
hadoop学习笔记
文章平均质量分 71
周小科
这个作者很懒,什么都没留下…
展开
-
hadoop学习笔记之以标准输出方式显示hadoop文件
设置环境变量: .bash_profile PATH=$PATH:$HOME/bin:/home/hadoop/jdk1.8.0_111/binJAVA_HOME=/home/hadoop/jdk1.8.0_111export JAVA_HOMEexport PATH设置类目录:vi conf/hadoop-env.sh export HADOOP_CLAS原创 2016-12-02 00:01:26 · 420 阅读 · 0 评论 -
Hadoop HDSF并行复制数据
在HDFS中复制数据,最普通的命令是Hadoop fs -cp,但是这是一个单线程的复制方式,如果需要复制一个很大的目录和文件,需要时间将比较长。其实Hadoop还提供了一个更加高效的复制数据命令 Hadoop distcp 源目录 目标目录测试在10个节点的集群上复制一个24G的目录,使用Hadoop fs -cp用了7分钟,而用Hadoop distcp只用了不到1分钟,速度快了将近1原创 2018-01-22 19:50:46 · 1129 阅读 · 0 评论 -
zookeeper管理数据库连接信息
zookeeper管理数据库连接信息本文将讲解如何利用zookeeper来管理项目中的数据库连接信息,即将数据库的IP、账号密码等信息存储在zookeeper中,这样的好处是可以将多个工程的数据库连接集中管理,而zookeeper本事又是分布式的,所以可靠性又有保障。一、安装zookeeper1、下载zookeeper可以通过官方网站或者国内镜像下载:官方网站:ht...原创 2017-10-06 16:08:26 · 3218 阅读 · 0 评论