lzyilzy的博客

Impala性能优化Impala优缺点：核心组件：Statestore Daemon该进程负责搜集集群中Impalad进程节点的健康状况，它通过创建多个线程来处理Impalad的注册订阅，并与各节点保持心跳连接，不断地将健康状况的结果转发给所有的Impalad进程节点。一个Impala集群只需一个statestored进程节点，当某一节点不可用时，该进...

(8)SELECT (9)DISTINCT (11)<Top Num> <select list>(1)FROM [left_table](3)<join_type>JOIN <right_table>(2)ON <join_condition>(4)WHERE <where_condition>(5)...

在haproxy目录下创建conf目录，在conf目录下创建haproxy.conf：配置填写global # To have these messages end up in /var/log/haproxy.log you will # need to: # # 1) configure syslog to accept network log ev...

一.Sqoop学习笔记1.不传参数 （将命令行封装在shell脚本里的）#!/bin/bash#echo sqoop_t_merchant.sh come in......#!connect jdbc:hive2://nnbatch01:10000#hive #用户名#hive_cde3 #密码export HADOOP_USER_NAME=hivesqoop import ...

本人spark版本2.2.0，hadoop版本2.6.0，hbase版本1.2.0spark通过hive访问外表，进而才能对hbase的数据进行相关操作，同时本人的metastore是存放在mysql里面。接下来spark集成hbase，很简单，把hbase中lib下的以下jar包拷贝到spark中的jars文件夹下面：重新开启bin/spark-shell进入spark，即可通过...

Hadoop:50070：HDFS WEB UI端口8020 ： 高可用的HDFS RPC端口9000 ： 非高可用的HDFS RPC端口8088 ： Yarn 的WEB UI 接口8485 ： JournalNode 的RPC端口8019 ： ZKFC端口19888：jobhistory WEB UI端口Zookeeper:2181 ： 客户端连接zookeeper的端口2...

hive和hbase集成，启动hive进行创建外部表和相关的操作报错，查看log报出少jar的信息，首先你要搞明白是哪里缺jar包。1. hadoop的配置没有添加hbase的路径，在hadoop的配置文件hadoop-env.sh中添加以下2个配置：2.由于hive执行DDL等数据库操作会调用hbase的jar包，所以在hive的配置文件中添加hbase的jar路径，在hive...

Spark的流处理，不光是分批还是进行结构化，都能很好的处理来自kafka或socket的数据。接下来说说spark与kafka整合的步骤，以免发生各种各样的错误（原本大数据的生态多，spark的版本更新和功能迭代快，为了少出现错误，最好遵循原版说明）1.首先你要确认好你的spark版本和kafka的版本，因为不同的版本有可能导入的包不一样和程序写法不一样2.开发时pom.xml...