
hadoop
YWF331
这个作者很懒,什么都没留下…
展开
-
Centos7搭建hadoop2.9.0集群
硬件资源 两台服务器: master 128g;slave 64g 场景为测试环境,用root用户1.修改主机名 hostnamectl set-hostname master hostnamectl set-hostname slave 重新连接2.修改/etc/hosts[root@master ~]# vi /etc/hosts127.0.0.1...原创 2018-05-11 12:24:34 · 412 阅读 · 0 评论 -
hdfs-site.xml配置参数详情
name valueDescription dfs.default.chunk.view.size32768namenode的http访问页面中针对每个文件的内容显示大小,通常无需设置。dfs.datanode.du.reserved1073741824每块磁盘所保留的空间大小,需要设置一些,主要是给非hdfs文件使用,默认是不保留,0字节dfs....转载 2018-05-11 12:30:46 · 5073 阅读 · 0 评论 -
hive1.2.2 (mysql元数据库)
hive下载地址: http://mirror.bit.edu.cn/apache/hive/yum install mariadb mariadb-server systemctl enable mariadb systemctl start mariadb yum install mysql-connector-java该命令会在/usr/share/java/下产生my...原创 2018-05-14 13:03:14 · 674 阅读 · 0 评论 -
collect_set、collect_list 、concat_ws (多行合并)
collect_set去除重复元素;collect_list不去除重复元素+------+-----------------------------------+------------------------------------+|gender|concat_ws(,, collect_set(children))|concat_ws(,, collect_list(children)...转载 2018-06-14 15:21:59 · 23637 阅读 · 0 评论