CDH
关注
分享
扫一扫
文章平均质量分 77
非ban必选
黑，真他妈的黑
展开
-
使用Nginx实现Impala负载均衡
1.文档编写目的nginx 添加https和gzip压缩--with-http_stub_status_module --with-http_ssl_module --with-http_flv_module --with-http_gzip_static_module在使用Impala JDBC连接Impala服务时，默认是不带负载均衡的，但一个Impala Daemon很可能会......原创 2018-04-27 10:31:33 · 1616 阅读 · 0 评论 -
Phoenix系列：二级索引
Phoenix使用HBase作为后端存储，对于HBase来说，我们通常使用字典序的RowKey来快速访问数据，除此之外，也可以使用自定义的Filter来搜索数据，但是它是基于全表扫描的。而Phoenix提供的二级索引是可以避开全表扫描，是在HBase中快速查找或批量检索数据的另一个选择。下面的例子使用如下表进行测试：CREATE TABLE HAO1 ( id char(36) not n...原创 2018-08-22 17:52:56 · 347 阅读 · 0 评论 -
如何在CDH5.14.2中安装Phoenix4.14.0
在Phoenix官方，目前最新的版本为Apache Phoenix4.14.0和CDH5.14.2，如下所示：http://phoenix.apache.org/download.html1.下载与安装Apache Phoenix4.14.01.最新的Phoenix4.14.0对应CDH的Parcel有好几个版本，请确保选择与你的CDH和OS版本对应的Parcel包，我的环境是C...原创 2018-08-22 17:53:50 · 1802 阅读 · 0 评论 -
cdh在线安装以及hive On sprak
1、下载cloudera-manager-installer.bin 安装文件下载地址 http://archive.cloudera.com/cm5/installer/选择需要的版本下载完成后赋予该文件执行权限然后 ./cloudera-manager-installer.bin 执行安装，根据提示安装成功后2、安装cdh集群 下载https://archiv...原创 2018-08-20 09:47:31 · 473 阅读 · 0 评论 -
Dbeaver链接phoenix
1、点击 数据库--驱动管理 2、 3、4、选择版本 5、下载驱动 发现以上方法有问题，很多jar包由于版本问题没办法下载下来，经研究找到安装phoenix的服务器cd /opt/cloudera/parcels/APACHE_PHOENIX/lib/phoenix下载 phoenix-4.14.0-cdh5.14.2-clie...原创 2018-08-20 23:17:24 · 7397 阅读 · 0 评论 -
cdh5.14.2安装phoenix后开启事务支持
按照官网进行配置http://phoenix.apache.org/transactions.html1、Add the following config to your client side hbase-site.xml file to enable transactions:客户端 hbase-site.xml配置文件 添加配置 <property> &...原创 2018-08-24 00:21:32 · 1587 阅读 · 0 评论 -
基于Centos7和CDH5.14.2 安装HAWQ2.3.0
1、环境Centos72、大数据组件CDH5.14.2，确保安装了HDFS和YARN(YARN可以不装)3、jdk1.8 4、HAWQ2.3.0安装方式RPM安装5、HAWQ 下载地址 (如何安装cdh可以查看我的博客或简书 https://www.jianshu.com/u/63848eb4cd0a)http://apache.org/dyn/closer.cgi/in...原创 2018-08-31 09:16:55 · 1545 阅读 · 2 评论 -
cdh5.14.2安装phoenix后开启schema支持
1、在cdh的的ui界面修改hbase配置hbase的hbase-site.xml文件客户端和服务端都加上一下配置 <property> <name>phoenix.schema.isNamespaceMappingEnabled</name> <value>true</value></property>...原创 2018-08-25 21:32:10 · 1884 阅读 · 5 评论 -
CDH5.14使用内置pgsql变更为外部pgsql
第1步：在cdh的cloudera-scm-server的所在服务器上修改内置pgsql配置vi /var/lib/cloudera-scm-server-db/data/pg_hba.conf添加以下配置host all cloudera-scm,scm 0.0.0.0/0 md5 注释一下配置host all cloudera-scm,scm 0.0...原创 2018-09-01 19:57:20 · 757 阅读 · 0 评论 -
数据仓库
数据仓库简介一：什么是数据仓库数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。 为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。二：数据仓库的特点1．数据仓库的数据是面向主题的与传统数据库面向应用进行数据组织的特点相对...原创 2018-09-07 14:11:26 · 1026 阅读 · 0 评论 -
CDH安装1-VM安装centos7
一、 VMware简介：VMware是一个虚拟PC的软件，可以在现有的操纵系统上虚拟出一个新的硬件环境，相当于模拟出一台新的PC，以此来实现在一台机器上真正同时运行两个独立的操作系统。VMware的主要特点：不需要区分或重新开机就能在同一台PC上使用两种以上的操作系统；本机系统可以与虚拟机系统网络通信；可以设定并且随时修改虚拟机操作系统的硬件环境。VMware Workst...原创 2018-09-07 14:14:28 · 206 阅读 · 0 评论 -
CDH安装2-卸载centos7自带jdk安装jdk8
准备资料: 1、已经在VMware安装好了的虚拟机,本文使用的是CentOS7. 2、jdk:jdk-8u11-linux-x64.tar.gz 3、xshell 远程操作虚拟机工具 OK，资料已准备好了，现在可以开始了通过xshell工具成功连接安装好的虚拟机之后可通过rpm -qa | grep java命令来查询出系统自带的jdk 然后通过 ...原创 2018-09-07 14:15:30 · 521 阅读 · 0 评论 -
CDH安装3-centos安装mysq5.7
# 下载mysql源安装包shell> wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm# 安装mysql源shell> yum localinstall mysql57-community-release-el7-8.noarch.rpm检查mysql源是否安装成功sh...原创 2018-09-07 14:16:48 · 168 阅读 · 0 评论 -
CDH安装4-具体安装
service cloudera-scm-server status/opt/cloudera/cm/lib 下添加mysql驱动CDH 添加监控 http://cdh-dev1:7180/cmf/home选择 添加 Cloudera Management ServiceJAVA环境变量配置好，但是CDH无法识别，报错NO JDKfind / -name clou...原创 2018-09-07 14:17:50 · 374 阅读 · 0 评论 -
spark streaming性能分析经验
性能分析的概览：1，队列是否积累。2，executor是否倾斜。3，task数据是否倾斜。4，gc是否严重。 目录前言 Spark streaming接收Kafka数据 基于Receiver的方式 直接读取方式 Spark向kafka中写入数据 Spark streaming+Kafka应用 Spark streaming+Kafka调优 合理的批处...原创 2018-12-09 19:10:57 · 542 阅读 · 1 评论 -
big data learn
流式计算二、YARN的资源管理1、资源调度和隔离是yarn作为一个资源管理系统，最重要且最基础的两个功能。资源调度由resourcemanager完成，而资源隔离由各个nodemanager实现。2、Resourcemanager将某个nodemanager上资源分配给任务（这就是所谓的“资源调度”）后，nodemanager需按照要求为任务提供相应的资源，甚至保证这些...原创 2019-03-25 18:15:05 · 182 阅读 · 0 评论 -
Win10 Python3.6 安装impyla
安装依赖 pip install six pip install bit_array pip install thrift pip install thriftpy pip install impyla 当安装依赖有vs的python包时，可能会出现以下错误：PermissionError: [WinError 32] 另...原创 2018-08-16 22:56:46 · 1025 阅读 · 0 评论 -
Oozie开启web控制台
CDH6beta 版本 安装Oozie后webui访问报错 原因 缺少ExtJs2.2 下载并解压到 /opt/cloudera/parcels/CDH-6.0.0-1.cdh6.0.0.p0.339140/lib/oozie/embedded-oozie-server/webapp 下面 unzip ext-2.2.zipchown oozie:oozie -R ex...原创 2018-08-15 23:45:29 · 2468 阅读 · 0 评论 -
kettle集群安装
本文档基于kettle7.3一、集群的原理与优缺点1.1集群的原理 Kettle集群是由一个主carte服务器和多个从carte服务器组成的，类似于master-slave结构，不同的是’master’处理具体任务，只负责任务的分发和收集运行结果。Master carte结点收到请求后，把任务分成多个部分交给slave carte执行，slave执行完毕后把结果交给...原创 2018-08-11 23:24:07 · 441 阅读 · 0 评论 -
Ambari安装impala
ambari-server 执行VERSION=`hdp-select status hadoop-client | sed 's/hadoop-client - \([0-9]\.[0-9]\).*/\1/'`sudo git clone https://github.com/julyme/ambari-impala-service.git /var/lib/ambari-server/reso...原创 2018-06-02 19:27:58 · 2124 阅读 · 0 评论 -
完全卸载HDP和Ambari
转载自 https://imaidata.github.io/blog/uninstall_hdp_ambari/社区原文简介：在不需要重装操作系统的情况下完全卸载HDP，并准备好自动安装HDP2.6的环境。文章：升级HDP失败后，我被迫彻底清除HDP 2.4，Ambari 2.5并安装HDP 2.6。 我想避免重新安装操作系统，所以执行了如下的步骤。1、停止在Ambari中的所有服务或杀死他们...转载 2018-06-05 10:33:38 · 1919 阅读 · 0 评论 -
Sqoop2 安装使用
解压并安装tar xvfz sqoop-1.99.6-bin-hadoop200.tar.gz mv sqoop-1.99.6-bin-hadoop200 sqoop/chmod -R 775 sqoop/chown -R zhu sqoop/修改环境变量zhu@Master:~$ sudo vim /etc/profile#sqoopexport SQOOP_HOME=$HOM...原创 2018-05-29 13:56:55 · 999 阅读 · 0 评论 -
Sqoop2入门之导入关系型数据库数据到HDFS上
启动sqoop2-1.99.4版本客户端：$SQOOP2_HOME/bin/sqoop.sh client set server --host hadoop000 --port 12000 --webapp sqoop 查看所有connector：show connector --all2 connector(s) to show: Connector with id 1: ...原创 2018-05-29 21:58:54 · 936 阅读 · 0 评论 -
Ambari—YARN配置ResourceManager HA（二）
2、ResourceManager2.1 先决条件（1）群集中必须至少有三台主机（2）运行Apache ZooKeeper服务器至少三台2.2 操作步骤（1）在Web主界面中，浏览 Services > YARN > Summary（2）选择Service Actions并选择Enable ResourceManager HA。"Enable ResourceManager HA"向导...原创 2018-06-01 21:38:00 · 3 阅读 · 0 评论 -
Ambari—Hive配置HA（四）
1、Hive4.1 Hive MetastoreHive Metastore HA解决方案旨在处理Metastore服务失败。每当部署的Metastore服务关闭时，Metastore服务在相当长的时间内都会保持不可用状态，直到恢复服务为止。为避免此类停机，在HA模式下部署Metastore服务。Hive Metastore客户端始终使用第一个URI连接Metastore服务器。如果Metasto...原创 2018-06-01 21:38:53 · 4 阅读 · 0 评论 -
Ambari版本升级
升级Ambari1.1 升级前准备（1）确保版本（2）拥有root权限（3）备份Ambari数据库（/var/lib/pgsql）（4）备份好ambari.properties配置文件（/etc/ambari-server/conf/ambari.properties）（5）备份好ambari-env.sh文件（/var/lib/ambari-server/ambari-env.sh）1.2 停止...原创 2018-06-01 21:44:00 · 8 阅读 · 0 评论 -
Ambari 使用 Hive View 异常处理
异常：进入Hive View提示user home check fail 详细日志：Service 'userhome' check failed: java.io.FileNotFoundException: File does not exist: /user/admin处理方式：查看目录结构 hdfs dfs -ls /user 发现没有admin目录，自己创建一个su hdfshdfs d...原创 2018-06-02 09:18:59 · 1567 阅读 · 0 评论 -
DataX3.0学习
DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。System RequirementsLinuxJDK(1.8以上，推荐1.8)Python(推荐...原创 2018-06-09 15:00:42 · 4858 阅读 · 0 评论 -
使用jdbc连接ES6.3
ES6.3自带了sql查询，但是官网上的JDBC连接es6.3文档写的很马虎，本人实现后以作记录，首先安装官网安装ES6.3.安装后先建立indexPUT /library/book/_bulk?refresh{"index":{"_id": "Leviathan Wakes"}}{"name": "Leviathan Wakes", "author": "James S.A原创 2018-06-16 23:11:14 · 3568 阅读 · 4 评论 -
使用DBeaver连接hive
介绍在hive命令行beeline中写一些很长的查询语句不是很方便，查询结果也不是很友好，于是找了一个hive的客户端界面工具DBeaver，它也支持很多符合JDBC连接的数据库，例如MySQL、Oracle等。下载地址：http://dbeaver.jkiss.org/download/连接首先新建一个连接（可以看到支持的数据库非常多），选择Apache Hive，点击下一步。填写连接数据库的用...转载 2018-06-16 20:29:09 · 1551 阅读 · 0 评论 -
Ambari2.7HDP3.0安装
1、安装过程还算顺利，但是中间出了点问题在安装服务的时候报错2018-07-15 14:13:26,802 - Stack Feature Version Info: Cluster Stack=3.0, Command Stack=None, Command Version=None -> 3.02018-07-15 14:13:26,807 - Using hadoop conf dir...原创 2018-07-15 14:35:18 · 5149 阅读 · 0 评论 -
Ambari2.7HDP3.0安装异常解决
12) JSVC_HOME is not set correctly so jsvc cannot be found. Jsvc is required to run secure datanodes. Please download and install jsvc from http://archive.apache.org/dist/commons/daemon/binaries/...原创 2018-07-29 17:07:48 · 1692 阅读 · 1 评论 -
Ambari2.6.2安装
Ambari 和HDP版本支持查询 https://docs.hortonworks.com/https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.3/bk_support-matrices/content/ch_matrices-ambari.htmlAmbari 软件下载地址查询https://docs.horton...原创 2018-07-21 23:01:57 · 810 阅读 · 0 评论 -
SparkStreaming
原创 2019-03-27 17:28:49 · 135 阅读 · 0 评论