lzyilzy的博客

Impala性能优化 Impala优缺点： 核心组件： Statestore Daemon 该进程负责搜集集群中Impalad进程节点的健康状况，它通过创建多个线程来处理Impalad的注册订阅，并与各节点保持心跳连接，不断地将健康状况的结果转发给所有的Impalad进程节点。一个Impala集群只需一个statestored进程节点，当某一节点不可用时，该进...

(8)SELECT (9)DISTINCT (11)<Top Num> <select list> (1)FROM [left_table] (3)<join_type>JOIN <right_table> (2)ON <join_condition> (4)WHERE <where_condition> (5)...

在haproxy目录下创建conf目录，在conf目录下创建haproxy.conf： 配置填写 global # To have these messages end up in /var/log/haproxy.log you will # need to: # # 1) configure syslog to accept network log ev...

一.Sqoop学习笔记 1.不传参数 （将命令行封装在shell脚本里的） #!/bin/bash #echo sqoop_t_merchant.sh come in...... #!connect jdbc:hive2://nnbatch01:10000 #hive #用户名 #hive_cde3 #密码 export HADOOP_USER_NAME=hive sqoop import ...

本人spark版本2.2.0，hadoop版本2.6.0，hbase版本1.2.0 spark通过hive访问外表，进而才能对hbase的数据进行相关操作，同时本人的metastore是存放在mysql里面。 接下来spark集成hbase，很简单，把hbase中lib下的以下jar包拷贝到spark中的jars文件夹下面： 重新开启bin/spark-shell进入spark，即可通过...

Hadoop: 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 19888：jobhistory WEB UI端口 Zookeeper: 2181 ： 客户端连接zookeeper的端口 2...

hive和hbase集成，启动hive进行创建外部表和相关的操作报错，查看log报出少jar的信息，首先你要搞明白是哪里缺jar包。 1. hadoop的配置没有添加hbase的路径，在hadoop的配置文件hadoop-env.sh中添加以下2个配置： 2.由于hive执行DDL等数据库操作会调用hbase的jar包，所以在hive的配置文件中添加hbase的jar路径，在hive...

Spark的流处理，不光是分批还是进行结构化，都能很好的处理来自kafka或socket的数据。接下来说说spark与kafka整合的步骤，以免发生各种各样的错误（原本大数据的生态多，spark的版本更新和功能迭代快，为了少出现错误，最好遵循原版说明） 1.首先你要确认好你的spark版本和kafka的版本，因为不同的版本有可能导入的包不一样和程序写法不一样 2.开发时pom.xml...