
大数据
文章平均质量分 87
果丶果
没有人能预测未来,所以总有人后悔当初!!!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Impala学习记录
Impala 交互式查询工具1. 概述1. 是什么Impala是Cloudera提供的⼀一款开源的针对HDFS和HBASE中的PB级别数据进⾏行行交互式实时查询(Impala 速度快),Impala是参照⾕谷歌的新三篇论⽂文当中的Dremel实现⽽而来,其中旧三篇论⽂文分别是 (BigTable,GFS,MapReduce)分别对应我们即将学的HBase和已经学过的HDFS以及MapReduce。Impala最⼤大卖点和最⼤大特点就是快速官网:https://impala.apache.org原创 2021-03-29 21:31:33 · 762 阅读 · 0 评论 -
Sqoop学习记录
Sqoop数据迁移工具Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、 postgresql等)间进行数据的传递。可以将关系型数据库(MySQL ,Oracle ,Postgres 等)中的数据导入到HDFS中,也可以将HDFS的数据导进到关系型数据库中。安装配置Sqoop 官网:http://sqoop.apache.org/ Sqoop下载地址:http://www.apache.org/dyn/closer.lua/sqoop/1. 下载、上传并解原创 2021-03-28 16:49:53 · 197 阅读 · 0 评论 -
CDH6.3.1-安装步骤
CDH6.3.1-安装步骤注意-所有主机密码要一致准备安装包MySQL5.7mysql-5.7.27-1.el7.x86_64.rpm-bundle.tarMySQL驱动包mysql-connector-java.jarcloudera-manager包cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpmcloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpmclouder原创 2020-08-16 12:32:24 · 3813 阅读 · 9 评论 -
python脚本自动生成hadoop集群设置中的内存相关系数(Hadoop调优)
python脚本自动生成hadoop集群设置中的内存相关系数(Hadoop调优)小编在搭建hadoop集群的过程中,发现集群进程总是莫名其妙的被杀死,通过研究发现是hadoop默认的每台节点分配的内存大小为8G,在学习过程中一般都使用虚拟机进行搭建,这样虚拟机分配的内存如果达不到要求就会被杀死,所以如何合理的配置节点参数就非常重要。使用方式:1、安装python运行相关环境2、将代码复制到.py原创 2017-08-23 12:38:07 · 5469 阅读 · 0 评论