cloudera quickstart 运行 docker容器

一、参考：

官网：https://www.cloudera.com/documentation/enterprise/5-13-x/topics/quickstart_docker_container.html#importing_quickstart_image

命令：https://www.cnblogs.com/piperck/p/9917118.html

时间差：https://blog.youkuaiyun.com/xl_lx/article/details/81181135

 

二、搭建

命令：

docker run --name cdh --hostname=quickstart.cloudera --privileged=true -v /etc/localtime:/etc/localtime:ro -t -i -P -p 8020:8020 -p 8022:8022 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:8890 -p 60010:60010 -p 10002:10002 -p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088 -p 80:80 -p 8888:8888 -p 19888:19888 -p 7187:7187 -p 11000:11000 cloudera/quickstart /bin/bash -c '/usr/bin/docker-quickstart && /home/cloudera/cloudera-manager --express && service ntpd start'

 

时间同步：docker cp /etc/localtime cdh:/etc/localtime
service ntpd start    //容器内开启

开启web服务：

 /home/cloudera/cloudera-manager --express --force

重启时，docker start cdh; 启动容器

docker attach cdh; 进入容器

三、使用

http://你的服务器ip:7180/cmf/home

在hue的文件浏览器里上传数据

在hue的hive里进行sql操作

sql例子：

drop table if exists links1;
create external table if not exists links1(
  url string,
  sale string
  )row format delimited fields terminated by ','
  location '/user/cloudera';
  
drop table if exists links1_topn;
CREATE TABLE links1_topn AS 
select 
distinct * 
from links1 
order by sale desc
limit 100;

导出
insert overwrite directory '/user/cloudera/result'
select * from links1_topn