
Hadoop
wuhulala
这个作者很懒,什么都没留下…
展开
-
Hue 安装
下载https://codeload.github.com/cloudera/hue/tar.gz/release-4.6.0依赖安装centossudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openld.原创 2020-05-10 16:39:31 · 788 阅读 · 0 评论 -
Apache Kudu(三) Java Client 连接 Kudu
Java 客户端本地host配置(因为返回的是hostname,不是ip,如果不配置的话,会存在各种连不上)192.168.1.101 kudu-master-1 kudu-master-2 kudu-master-3构建maven 工程 <dependencies> <dependency> <groupId>org.apache.kudu</groupId> <art.原创 2020-05-10 16:37:33 · 2600 阅读 · 0 评论 -
Apache Kudu(二) 原理
文章目录概念OLAP & OLTP列式存储 & 行式存储存储模型结构:主键事务支持性能硬件需求对比HadoopHbaseKudu 设计目标架构组件1. Table 表(Table)2. Tablet3. Tablet Server4. Master Serverkudu 底层数据模型操作实现原理tablet 发现过程kudu 写流程数据读取过程kudu 更新流程概念OLAP & OLTPOLTP: 快速插入和更新,并且可以精确查询。OLAP: 大规模的批量的数据原创 2020-05-10 16:36:34 · 597 阅读 · 0 评论 -
Apache Kudu(一) 安装
Kudu 安装快速开始准备好docker环境,如果没有请自行搜索Clone the Repositorygit clone https://github.com/apache/kuducd kudu启动集群设置IPexport KUDU_QUICKSTART_IP=$(ifconfig | grep "inet " | grep -Fv 127.0.0.1 | awk '{print $2}' | tail -1)启动Then use docker-compose to start原创 2020-05-10 16:35:44 · 776 阅读 · 0 评论 -
Apache Hive(二) 基本使用
命令交互交互式命令hivebin/hive-e 语句hive -e "select * from student"-f sql 文件hive -f xx.sqlbeeline启动 hiveserver2bin/hiveserver2nohup bin/hiveserver2 > > /dev/null 2>&1 &不考虑鉴权bin/beeline -u jdbc:hive2://bin/beeline -u jdbc:hive2:/原创 2020-05-10 16:34:06 · 986 阅读 · 0 评论 -
Apache Hive(一) 安装
环境centos7hadoop 2.7.7hive 3.1.2mysql 5.7.22安装目录 /opt/apache-hive-3.1.2-bin/下载binwget https://mirror.bit.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz解压tar -zxvf apache-hive-3.1.2-bin.tar.gzcd apache-hive-3.1.2-bin配置c.原创 2020-05-10 16:32:39 · 319 阅读 · 0 评论 -
Impala(二) 架构与原理
概述Thanks to local processing on data nodes, network bottlenecks are avoided.由于对数据节点进行了本地处理,因此避免了网络瓶颈。A single, open, and unified metadata store can be utilized. 可以利用单个,开放和统一的元数据存储。Costly data format conversion is unnecessary and thus no overhead原创 2020-05-10 16:30:57 · 635 阅读 · 0 评论 -
Impala(一) 基本使用
Impala DEMOimpala shell[root@flinkhadoop ~]# impala-shell Starting Impala Shell without Kerberos authenticationOpened TCP connection to flinkhadoop:21000Connected to flinkhadoop:21000Server version: impalad version 3.2.0-cdh6.3.0 RELEASE (build 49539原创 2020-05-10 16:29:55 · 702 阅读 · 0 评论 -
大数据环境搭建-CDH6.3.0安装
https://www.cloudera.com/documentation/enterprise/6/6.3/topics/cm_ig_mysql.html安装impala 非CDH 版本,恶心的一逼,算了老夫 花了20分钟装了一个CDH。准备工作配置hostname设置hostname,一定要独一无二sudo hostnamectl set-hostname foo-1.ex...原创 2020-05-06 22:08:59 · 1900 阅读 · 0 评论 -
Yarn集群搭建
原理搭建Yarn集群,首先要知道它的集群的原理,现在我有一台破机器,那么如何把它加入到我现在的yarn单机集群里面呢?我现在的部署模式是单机部署Yarn下面的执行逻辑如下:我只需要把我的破机器连接到原来的resourceManager就好了。配置假设现在node1已经部署好一套了,破机器node2需要加进来设置免密登录生成rsassh-keygen -t rsa -P ''...原创 2020-04-02 21:51:11 · 367 阅读 · 0 评论