- 博客(23)
- 收藏
- 关注
RSS订阅原创 IDEA打jar架包
IDEA打JAR架包 第一步： 1、File-->Project Settings-->Artifacts--> 点击+ --> JAR -->from modules … -->Main Class 中选择要打包的类 --> 点击OK -->点击Apply -->点击OK 第二步 2、Build-- > Build ...
2018-08-02 12:11:42
927
转载 kafka的安装及使用
1.下载kafka（kafka_2.11-0.8.2.0.tgz） 注意：强烈建议使用flume1.6，不要使用flume1.8 点击打开链接 2.上传到hadoop05节点 3.解压文件 tar -zxvf kafka_2.11-0.8.2.0.tgz -C apps/ 4.单节点启动（前台） bin/kafka-server-start.sh config/server.prop...
2018-07-31 20:26:26
369
原创 flume 安装
1、到官网下载安装包：http://flume.apache.org/download.html apache-flume-1.8.0-bin.tar.gz 2、上传到集群中某一个节点上：先直接按alt+p键，然后直接把文件拖到节点上 3、解压安装：tar -zxvf apache-flume-1.8.0-bin.ta...
2018-07-31 19:46:00
414
转载 flume的安装及使用及各种案例
1.下载flume-1.6.0（apache-flume-1.6.0-bin.tar.gz） http://flume.apache.org/download.html 2.上传到集群（本文上传到hadoop04节点） 3.解压安装包 tar -zxvf apache-flume-1.6.0-bin.tar.gz -C apps/ 并且修改文件夹名字 mv apache-flume-1...
2018-07-31 19:22:49
1569
2
转载 hadoop的shell操作命令
1、hadoop fs -setrep 3 / 修改 （/ 根目录下）原来所有文件的副本为3 对以后上传的文件没有影响 ，不会设置成副本为3; 2、hadoop fs -get 文件名 下载路径 下载文件 3、hadoop fs -put 文件名 上传路径 上传文件 4、hdfs getconf -confkey fs.defau...
2018-07-30 17:21:43
399
转载 eclipse下开发hadoop的jar包配置
1.进入我们的hadoop安装目录（hadoop-2.7.5-centos-6.7.tar.gz版本），里面有我们需要的jar包 G:\myProgram\hadoop-2.7.5\share\hadoop 2.按照如图所示进行添加eclipse用户自己的jar包 3.把下图红线内的所有jar都添加进eclipse中（以mapreduce为例） 把红框的架包和lib内的架包添加...
2018-07-30 14:23:11
2397
1
转载 hadoop的eclipse的使用安装
1.把插件名为 hadoop-eclipse-plugin-2.7.5.jar 放在ECLIPSE_HOME/plugins 目录下 2.把 hadoop-2.7.5-centos-6.7.tar.gz 解压到本地电脑 3.在本机配置windows环境变量 HADOOP_HOME=C:\myProgram\hadoop-2.7.5 必须要配置的。 path加入：%HADOOP_HO...
2018-07-30 14:20:22
352
转载 hadoop的eclipse开发环境安装
配置eclipse可视化hadoop环境 1.下载 hadoop-eclipse-plugin-2.7.5.jar 并解压 此文jar包的作用是配置hdfs在eclipse中的文档目录树可视化窗口，作用如下图 把hadoop-eclipse-plugin-2.7.5.jar放入到ECLIPSE_HOME/plugins中 ### 我是把hadoop-ecl...
2018-07-29 23:57:45
379
转载 scala 的安装
因为Scala是运行在JVM平台上的，所以安装Scala之前要安装JDK Jdk1.8 1、 Windows安装Scala编译器 访问Scala官网http://www.scala-lang.org/下载Scala编译器安装包，目前最新版本是2.12.x，但是目前大多数的框架都是用2.11.x编写开发的，Spark2.x使用的就是2.11.x，所以这里推荐2.11.x版本，下载sc...
2018-07-28 18:02:26
202
转载 hive的HiveServer2/beeline配置及使用
第一：修改 hadoop 集群的 hdfs-site.xml 配置文件：加入一条配置信息，表示启用 webhdfs cd /home/hadoop/apps/hadoop-2.7.5/etc/hadoop <property> <name>dfs.webhdfs.enabled</name> <value>true<...
2018-07-28 11:00:40
8317
转载 hive-2.3.3的安装详解
1.安装前的准备： 首先需要搭建好hadoop集群并启动（需要启动hdfs和yarn） mysql启动正常 2.hive的安装 方式一（不推荐）：内嵌 Derby 版本 1、 上传安装包 apache-hive-2.3.2-bin.tar.gz 2、 解压安装包 tar -zxvf apache-hive-2.3.2-bin.tar.gz -C ...
2018-07-25 20:03:37
2451
转载 Linux下安装Mysql
1.检查是否安装过mysql rpm -qa|grep -i mysql 2.如果发现有就卸载以前版本的mysql rpm -e --nodeps mysql-libs-5.1.73-5.el6_6.x86_64 （注意：上面的命令需要使用root用户，hadoop用户因为权限不够无法操作。使用 su root 进行切换） 3.删除老版本mysql的开发头文件及库 ...
2018-07-19 21:14:30
329
转载 hbase-1.2.6的高可用集群搭建安装文档
1.安装 zookeeper 集群，此处略 2.找到官网下载 hbase 安装包 hbase-1.2.6-bin.tar.gz， 这里给大家提供一个下载地址：http://mirrors.hust.edu.cn/apache/hbase/ 对应版本的官方文档：http://hbase.apache.org/1.2/book.html 3.上传安装包到服务器，并解压到对应的安...
2018-07-19 20:32:18
527
转载 hadoop2.7.5搭建高可用集群
本文目的：搭建hadoop的高可用集群 集群规划 1.下载 hadoop-2.7.5-centos-6.7.tar.gz 安装包 2.通过CRT软件上传到hadoop02号机器 3.解压软件到apps目录下 tar -zxvf hadoop-2.7.5-centos-6.7.tar.gz -C ~/apps/ 4.修改hadoop-env.sh 配置文件 先查看jdk安...
2018-07-19 17:22:02
358
转载 zookeeper的linux安装
须知： zookeeper的节点数量不适宜太多，也不适宜太少。必须是奇数个 本文准备的zookeeper集群的节点个数有3个分别是hadoop02， hadoop03， hadoop04 zookeeper集群不用依赖于任何东西，除了JDK。 版本的选择：zookeeper-3.4.5到10.tar.gz 都可以。 安装步骤：（本文以zookeeper-3.4.10.tar.gz为例...
2018-07-18 18:18:20
141
转载 hadoop基础集群的安装
说明：该文章以4台centos系统为案例配置hadoop基础集群，节点名字分别为hadoop02,hadoop03,hadoop04,hadoop05 1.基础集群环境准备 1.1修改主机名 在root用户下：vi /etc/sysconfig/network 或者如何配置了hadoop账户的sudo权限，则在hadoop登陆情况下使用命令 sudo vi/etc/sysconfig/ne...
2018-07-18 17:49:26
194
原创 IDE往集群中HBase中写数据 (实时写入数据)
1、创建封装对象 （列簇项）package com.aura.bean; import java.io.Serializable; //hbase 列簇项 public class CategoryClickCount implements Serializable { //点击的品类 private String name; //点击的次数 private lo...
2018-05-28 17:06:56
1551
原创 IDE往集群中HBase中写数据 （简单代码）
1、创建封装对象 （列簇项）package com.aura.bean; import java.io.Serializable; //hbase 列簇项 public class CategoryClickCount implements Serializable { //点击的品类 private String name; //点击的次数 private lo...
2018-05-23 23:29:26
403
转载 【项目二】项目实时统计
1.项目需求2.项目过程3.数据格式ver=1&en=e_pv&pl=website&sdk=js&b_rst=1920*1080&u_ud=12GH4079-223E-4A57-AC60-C1A04D8F7A2F&l=zh-CN&u_sd=8E9559B3-DA35-44E1-AC98-85EB37D1F263&c_time=14...
2018-05-23 18:33:08
788
1
原创 kafka HA（高可用搭建）
1、进入kafka的安装目录下的config目录2、修改 server.properties 配置文件[hadoop@hadoop02 config]$ vim server.properties 修改内容：zookeeper.connect=hadoop02:2181,hadoop03:2181,hadoop04:2181,hadoop05:21813、从hadoop02发送kafka的安装文件...
2018-05-22 21:25:15
3099
原创 kafka 安装（单点节）
1、官网下载安装包：安装包：kafka_2.11-1.1.0.tgz2、解压安装： tar -zxvf kafka_2.11-1.1.0.tgz -C ~/apps/3、进入安装目录：cd apps/kafka_2.11-1.1.0/4、开启kafka之前要开启zookeeper （如果是HA，则所有的节点都要开启zookeeper，命令：zkServer.sh start）, ...
2018-05-22 20:18:29
1291
原创 flume 简单案历代码
1、创建case_single.properties内容如下：#监控指定的目录，如果有新的文件产生，那么将文件的内容显示到控制台#list the sources, sinks and channels for the agent#agent的名称可以自定义 a1 sources,sinks,channels的名称也可以自定义a1.sources =s1a1.sinks = k1a1.channe...
2018-05-22 19:16:40
571
转载 Spark-2.3各种集群的安装
准备安排：Spark的HA Spark会安装在hadoop02,hadoop03,hadoop04,hadoop05上面 注意需要先启动hdfs（必须）,在启动yarn（非必须可以使standalone模式） 1.登陆：http://spark.apache.org/downloads.html 下载符合自己的Spark安装包 2.上传到hadoop02节点 3.解压安...
2018-05-22 08:41:55
4116
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人