- 博客(20)
- 收藏
- 关注
RSS订阅原创 kafka+flume+sparkStreaming+HDFS实时日志分析系统
flumme + kafka + sparkStreaming 构建实时文件处理系统 搭建前提： Hadoop2.6、spark1.6-hadoop-2.6集群都是正确搭建并可运行 一 、需求描述 日志文件预处理：运营商数据 kafka做队列缓冲 flume分发 streaming计算 HDFS存储 二、 系统搭建 No.1 flume-ng 1.
2023-02-07 14:07:09
692
1
原创 chunjun-1.12 在两个CDH（kerberos认证）之间同步数配置
chunjun是以前flinkx项目，现在改名chunjun，具体见 chunjun官网 最近在项目中遇到同步两个CDH数据文件的需求，调研了一圈，发现datax不支持两个cdh同时进行kerberos认证，因此切换到chunjun，chunjun在kerberos认证的配置这块，官网也没有详细的介绍案例，在查看源代码后，确定了配置项及各配置项的值，供大家参考...
2022-07-05 11:55:52
636
原创 hive 2.1.0 安装及利用MySQL做元数据管理
一、环境准备 jdk 1.8+ hadoop 2.x mysql 5.x 安装之前请确保以上环境已准备完毕 二、安装 1. 下载并解压 2. 进入安装目录下conf目录 vim hive-site.xml 加入以下配置 javax.jdo.option.ConnectionURL jdbc:mysql://192.168.11.132:3306/hive?...
2022-07-05 11:37:20
246
原创 centos6.5 搭建FTP服务器
# 安装vsftpd yum -y install vsftpd # 启动 service vsftpd start # 开启启动 chkconfig vsftpd on # 启动ftp服务 service vsftpd start # 查看ftp服务状态 service vsftpd status # 重启ftp服务 service vsftpd restart
2022-07-05 11:37:03
481
原创 hadoop2.7高可用安装配置过程以及常见问题解决
一、集群规划二、基本配置 修改静态IP、修改主机名、配置主机名与-P映射，关闭防火墙，安装JDK并配置环境变量，这些操作相对不易出错且已有很多成熟安装笔记，不再赘述三、ssh免密登录配置 参考我另一篇博客 《ssh免密配置》四、安装zookeeper 安装相对简单，有很多成熟资料可供参考，不再赘述 五、安装Hadoop 1. 解压并配置HADOOP_HOME环境变量 2. 修改h
2017-01-16 18:19:22
932
原创 hive web界面安装详细安装步骤
一、概述 hiveweb界面说实话长得有点保守，而且配置起来有点烦人，动不动就缺各种jar包，好在问题已经解决，这里分享下。我的版本如下： hadoop-2.7.0、hive-1.2.1、jdk8、ant-1.9.8，其中hive使用MySQL存储元数据。 8278
2017-01-16 17:22:41
716
原创 centos6.5 搭建FTP服务器
一、FTP服务器安装以及基本操作安装 yum -y install vsftpd启动 service vsftpd star设置开机启动 chkconfig vsftpd on启动ftp服务 service vsftpd start查看ftp服务状态 service vsftpd status 重启ftp服务 service vsftpd restart关闭ftp服务 service
2017-01-05 10:49:24
1448
原创 java 实现kafka消息生产者和消费者
一、概述 kafka原理这东西就不再赘述了，除了官网网上也是能找到一大堆，直接上代码，这里实现的基本需求是 producer类利用for循环来产生消息，然后consumer类来消费这些消息，我的正确运行环境是：centos-6.5 kafka-2.10_0.10 scala-2.10.4二、代码生产者：package com.unisk.bigdata.kafka;import ja
2016-12-14 16:56:57
2870
原创 Spark 读取Hbase表数据并实现类似groupByKey操作
一、概述 程序运行环境很重要，本次测试基于： hadoop-2.6.5 spark-1.6.2 hbase-1.2.4 zookeeper-3.4.6 jdk-1.8 废话不多说了，直接上需求 Andy column=baseINFO:age, value=21 Andy column=baseINFO:gender, value=0 Andy column=baseINFO:t
2016-12-13 17:04:39
2248
原创 Hbase shell操作总结
进入hbase命令行 ./hbase shell显示hbase中的表 list创建user表，包含info、data两个列族 create ‘users’, ‘info’, ‘data’ //you can also use this command: // create ‘users’, {NAME => ‘info’, VERSIONS => ‘3’}向表中插入信息，row key为r
2016-12-13 15:29:34
557
原创 Hbase-1.2.4 javaAPI操作总结
一、 概述 关于Hbase的工作原理网上已经有很多详细介绍，就不在这里赘述了，我们直接研究代码作为Hbase最新stable版，Hbase内部引入的部分hadoop2.5系列的jar包，这里且暂不去理会它，但是Java环境必须要8以上，我的正确运行环境为： Centos-6.5 hadoop-2.6.5 Hbase-1.2.4 jdk1.8 二、代码设计package com.unisk
2016-12-06 17:51:47
703
原创 基于spark2.0整合spark-sql + mysql + parquet + HDFS
一、概述 spark 2.0做出的改变大家可以参考官网以及其他资料，这里不再赘述 由于spark1.x的sqlContext在spark2.0中被整合到sparkSession，故而利用spark-shell客户端操作会有些许不同，具体如下文所述二、spark额外配置 1. 正常配置不再赘述，这里如果需要读取MySQL数据，则需要在当前用户下的环境变量里额外加上JDBC的驱动j
2016-11-22 12:39:11
1442
原创 centos6.5下apache-kylin1.6.0 安装配置
一、安装条件 Hadoop、 hive 、hbase 、zookeeper、必须已安装完毕并可正确运行 二、开始配置 1. 下载解压（注意与hbase的版本适配） 2. 配置KYLIN_HOME 3. 进入KYLIN_HOMEvim bin/kylin.sh export KYLIN_HOME=/wxm/sorftware/kylin/ apache
2016-11-21 18:16:07
1024
原创 centos 6.5安装MySQL
yum -y install mysql-server启动mysql数据库service mysqld start初始化mysql数据库（默认root的密码为空，按提示一步步完成）/usr/bin/mysql_secure_installation将mysql加入开机启动chkconfig mysqld on允许远程登录mysql 首先登录mysql数据，然后执行下面两行语句：GRANT ALL
2016-11-21 16:46:24
775
原创 hive 2.1.0 安装及MySQL元数据管理配置
一、环境准备 jdk 1.8+ hadoop 2.x mysql 5.x 安装之前请确保以上环境已准备完毕 二、安装 1. 下载并解压 进入解压之后的目录，使用当前路径配置HIVE_HOME 2. 进入安装目录下conf目录 vim hive-site.xml 加入以下配置<?xml
2016-11-21 16:41:17
1782
原创 Hbase集群搭建
Hbase作为典型的nosql数据库，依托于HDFS可实现海量数据秒级查询，这里在Hadoop集群搭建完善的情况下搭建完全分布式的Hbase集群 1. 修改conf/hbase-env.sh修改JAVA_HOME export JAVA_HOME=xxxx 2. 修改hbase-site.xml，配置开启完全分布式模式 配置hbase.cluster.distributed
2016-11-17 14:51:24
526
原创 flume实时接收kafka消息并保存至HDFS
#-------agent------ # 定义sources agent.sources = kafkaSource # 定义channels agent.channels = memoryChannel # 定义sinks agent.sinks = hdfsSink agent.sources.kafkaSource.channels = memoryC
2016-11-10 13:48:24
5998
原创 flume整合kafka之kafka接收flume数据
1.创建配置文件 基本配置如下： #source a1.sources = sysSrc a1.sources.sysSrc.type=avro a1.sources.sysSrc.bind=0.0.0.0 a1.sources.sysSrc.port=33333 a1.sources.sysSrc.channels=fileChannel #channel a1.
2016-11-10 13:46:01
4005
原创 kafka集群搭建
1. kafka2.11下载并解压 2. 修改配置文件 · config/server.properties broker.id=4（集群里的id不能重复，我是取每台机器IP最后一位） listeners=PLAINTEXT://192.168.248.134:9092（格式不变，绑定本机IP） log.dirs=/home/hadoop/kafka/logs
2016-11-10 13:45:06
795
原创 flume-ng三大组件介绍与应用
一、概述 flume是分布式的，可靠的，用于从不同的来源有效收集 聚集 和 移动 大量的日志数据用以集中式的数据存储的系统，最初由Cloudra公司开发，现为Apache基金会的顶级项目之一。二、 概念、模型 1. Flume Event Flume事件 - 被定义为一个具有有效荷载的字节数据流和可选的字符串属性集。 2. Flume Agent： F
2016-10-29 17:57:46
2719
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人