- 博客(35)
- 收藏
- 关注
RSS订阅原创 CentOs7安装RabbitMQ
一、环境准备 下载erlang和rabbitmq-server的rpm二、安装RabbitMQ 1.将下载的rmp包上传到Linux上 2.安装erlang rpm -ivh erlang-19.0.4-1.el7.centos.x86_64.rpm 可以使用erl查看是否安装成功 3.安装rabbitmq的依赖socat
2017-01-12 15:41:33
3857
原创 本地yum配置
一、为什么要制作yum源 YUM源虽然可以简化我们在Linux上安装软件的过程，但是生成环境通常无法上网，不能连接外网的YUM源，说以接就无法使用yum命令安装软件了。为了在内网中也可以使用yum安装相关的软件，就要配置yum源二 、本地yum源的制作------>以CentOs7为例 1.开启一个虚拟机------>虚拟机------>设置------>CD/D
2017-01-10 14:23:34
550
原创 Linux安装mysql------>CentOs7安装mysq
一 、软件安装1. 下载mysql的repo源$ 下载地址： mysql-community-release-el7-5.noarch.rpm2. 上传到linux，并安装mysql-community-release-el7-5.noarch.rpm包$ sudo rpm -ivh mysql-community-release-el7-5.noarch.rp
2017-01-05 14:30:23
461
原创 Hadoop之Hbase------>Hbase常用命令
首先进入hbase命令行（在../hbase/bin目录下操作)./hbase shell 显示hbase中的表list帮助help ‘create’创建user表，包含info、data两个列族create 'user', 'info1', 'data1'create 'user', {NAME => 'info', VERSION
2017-01-03 09:30:32
427
原创 Hadoop之Hbase------>Hbase集群搭建
一、环境准备1.zookeeper集群已经成功搭建 ------->zookeeper集群搭建2.hadoop集群已经成功搭建 ------->hadoop集群搭建3.hbase安装包 下载地址：http://apache.fayea.com/hbase/stable/二、环境搭建1.上传hbase安装包2.解压3.配置hbase集群，要修改
2017-01-03 09:20:33
446
原创 hadoop之HA架构----->NameNode的高可靠性缘由
注意：只有hadoop2.x以后才有HA机制一 、概念性1.ZKFC（DFSZKFailoverController）------>故障转移，当Active NameNode挂掉了，会自动切换Standby NameNode为active状态2.NameService------>含有两个NameNode，NameService可以进行水平扩展，来提高内存的存储量3
2016-12-27 10:11:51
1265
原创 hadoop2.7.3集群搭建------>真正的分布式环境
一、集群股规划主机名IP 安装的软件运行的进程hadoop01 192.168.19.132 jdk、hadoop NameNode、DFSZKFailoverController(zkfc)hadoop02 192.168.19.129 jdk、hadoop、zookeeper DataNode、N
2016-12-26 14:01:44
2119
原创 hadoop之sqoop------>数据迁移工具
一、环境准备 1. sqoop工具 ------->sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 2. mysql安装包------>mysql-5.7.17-winx64.zip 3.mysql数据库连接工具------>Navicat Premium 4.mysql驱动程序------>mysql-connector-java-5.1.
2016-12-26 10:15:24
638
原创 hadoop之sqoop准备工作------>windows10安装mysql
一 、软件安装1.下载地址：http://dev.mysql.com/downloads/file/?id=4672692.解压缩mysql-5.7.17-winx64.zip，我这里将文件解压到了E盘，放到了文件夹mysql5.7中。3.在安装目录下新建一个my.ini文件，然后用记事本打开输入mysql的基本配置：[mysql]#设置mysql客户
2016-12-26 10:01:06
1717
原创 Linux搭建svn服务器
1、安装软件[root@hadoop03 ~]# yum install subversion -y2，创建版本库svnadmin create /home/mysvn //这里的文件目录自己随便设置 3，配置svnserve上述版本库/home/mysvn 建立后在文件夹下会生成conf文件夹，进入/home/myrepos/conf下面会有下面3个文
2016-12-22 14:49:56
631
原创 hadoop之zookeeper集群搭建
一 、zookeeper简介 有一个leader，n个follower 二 、作用 对hadoop ------>确保集群中只有一个活跃的NameNode... 对HBase ------>确保集群中只有一个HMaster... 三 、环境搭建 下载地址:http://zookeeper.apache.org/1.上传zk安装包
2016-12-21 21:48:47
641
原创 nginx服务器安装及部署
一 、环境准备 1. 下载nginx 下载地址：http://nginx.org/en/download.html 2.上传到虚拟机上，并解压 tar-zxvf nginx-1.8.1.tar.gz二 、安装nginx 1.进入nginx目录并输入以下命令进行配置： ./configure --prefix=/usr/local/nginx --a
2016-12-20 22:34:00
388
原创 hadoop之shuffle------>MapReduce的心脏i
一 、shuffle简介 什么是shuffle 一句话：Reducer端获取Mapper端的数据的过程二、shuffle工作流程 1.Map读取输入文件------>进行map计算------>Mapper将数据写入到环形缓冲区 注意：1.一个Mapper对应一个环形缓冲区 2.环形缓冲区存在于内存中，默认100M，mappered-site.x
2016-12-18 11:06:39
472
原创 hadoop之shuffle------>soft和combiner
一 、shuflle之soft 此处用一个具体的实例来说明soft机制实例： 1. 需求账号 收入 支出 日期zhangsan@163.com6000 0 2014-02-20lisi@163.com 2000 0 2014-02-20lisi@163.com 0
2016-12-18 10:23:34
511
原创 hadoop之shuffle------>分区机制Partitioner
一 、需求 用一个具体需求实例来说明Partitioner分区机制例如： 将下列手机号进行分区，135,136,137,138，139等开头的手机号放到一个文件，150，159等开头的手机号放到一个文件，182，183等开头的手机号放到一个文件，其他手机号放到一个文件手机号 上行流量 下行流量 总流量1348025310418018036013
2016-12-13 21:46:48
2375
原创 Hadoop之Mapreduce------>3种运行模式
一 、本地模式运行1/在windows的idea里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行 ----输入输出数据可以放在本地路径下（c:/wc/srcdata/） ----输入输出数据也可以放在hdfs中(hdfs://hadoop03:9000/wc/srcdata)（注意：如果提示权限错误：附给权限即可 例
2016-12-11 16:15:39
1224
原创 hadoop提交作业------>yarn提交job的源码跟踪
一、流程分析图二 、代码跟进waitForCompletion(){ submit()}------>class job{ private Cluster cluster; submit(){connect(){cluser = new Cluster(getConfiguration() //持有Client的引用，作为job的成员变量
2016-12-11 10:16:13
1135
原创 最好的代码开发工具------>IntelliJ IDEA
一、IntelliJ IDEA下载 下载地址： https://www.jetbrains.com/idea/download/二、IntelliJ IDEA快捷键设置 File ------>Settings------>Keymap------>Eclipse三 、IntelliJ IDEA常用快捷键1.双击shift 在项目的
2016-12-09 10:28:10
898
原创 Hadoop提交作业------>hadoop工作流程
一 、需要知道的内容1.ResourceManager ------>yarn的老大2.NodeManager ------>yarn的小弟3.ResourceManager调度器 a.默认调度器------>先进先出FIFO b.公平调度器------>每个任务都有执行的机会......4.心跳
2016-12-08 20:55:08
5578
原创 Hadoop之Mapreduce------>入门级程序WordCount代码编写
一 、Mapper编写继承Mapper类------>重写map方法------>实现具体业务逻辑------>将新的key,value输出public class WCMapper extends Mapper { @Override protected void map(LongWritable key, Text value, Context cont
2016-12-07 21:50:48
435
原创 大数据最火的平台------> streamsets
一 、环境搭建1.环境准备 maven 3.23+ ------> 下载地址 http://maven.apache.org/download.cgi jdk 1.8.x ------> 下载地址 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2016-12-07 15:41:25
9916
2
原创 Hadoop之Mapreduce------>入门级程序WordCount原理
一、WordCount的需求 计算每一个单词出现的次数二、WordCount的分析Map读取输入文件内容，解析成key、value对（k1是字节偏移量，v1是一行的文件内容）------>将文件内容转换成字符串------>按照空格切分成若干单词------>遍历单词内容，出现一次，记作‘1’，以新的key、value写出去Reduce得到上面
2016-12-07 10:32:49
457
原创 Hadoop之Mapreduce------>Mapreduce原理
Mapruduce工作原理与hdfs（分布式文件系统）不同，Mapreduce 是一个分布式计算模型，如图执行步骤： 1. map任务处理------>切片1.1 读取输入文件内容，解析成key、value对，输入文件的每一行，就是一个key、value对，对应调用一次map函数。1.2 写自己的逻辑，对输入的key、value（k1,v1）处理，转换成新的key、va
2016-12-07 10:07:29
462
原创 HDFS上传与下载底层实现------>源码分析
一 、 java实现下载回顾二 、原理解析1. FileSystem.get(conf)解析FileSystem.get(conf) //得到文件系统FileSystem的实例------>get(conf){get(url,conf) //调用内部的get(url,conf)方法}------>get(url,conf){
2016-12-04 11:40:50
668
原创 Hadoop的RPC通信(二)------>框架封装思想
一 、 RPC框架的底层原理封装1.客户端Controller2.服务端Server3.业务接口LoginServiceInterface如图：1.首先controller会根据业务员接口，生成一个客户端socket程序动态代理对象proxy2.controller通过proxy调用业务的方法，例如：proxy.login(username,password)3
2016-12-01 22:03:10
372
原创 Hadoop的RPC通信------>java实现
一 、服务端编写（1）RPCServer类 public class RPCServer implements Bizable{ public String sayHi(String name){ return "Hi~"+name; } public static void main(String[] args) throws Excep
2016-11-29 21:44:38
366
原创 HDFS的java接口实现上传下载
简单的hdfs上传，下载实现1.使用idea导入hdfs的基本包方法一：复制粘贴法导jar包 项目工程下新建lib文件夹------>复制hadoop的jar包到文件夹下：hadoop-2.7.3/share/hadoop/common下的包（包含lib下的包）hadoop-2.7.3/share/hadoop/hdfs（包含lib下的包）------>
2016-11-28 13:37:16
1124
原创 CentOs7虚拟机与防火墙
浏览器与防火墙------>解决浏览器因防火墙无法访问问题一 、 对所有端口操作 在Linux中输入命令 1.查看所有端口的防火墙状态 service firewalld status 2.打开/关闭/重启所有端口的防火墙 service firewalld start/stop/restart二 、对某一端
2016-11-28 12:06:08
2534
2
原创 hadoop核心------>HDFS原理
一 、hdfs体系架构1.NameNode------>管理节点------>hdfs中老大 （1）维护着整个文件系统的文件目录树； （2）维护元数据信息； （3）接收用户的操作请求2.DataNode------>提供真实文件数据的存储服务------>hdfs中小弟 将文件进行划分并编号，切分成n个B
2016-11-23 22:01:22
463
原创 ssh免登录原理解析
利用ssh可以将两台服务器serverA 和 serverB相互关联，serverB如果想要登陆serverA需要输入密码，如何进行免登录设置呢？原理又是什么？设serverA ip:192.168.18.128serverB ip:192.168.18.129一 免登录设置serverA中 #进入到我的home目录 cd ~/.ssh
2016-11-20 10:17:34
534
原创 HDFS shell常用命令
1.0查看帮助hadoop fs -help 1.1上传hadoop fs -put 例如：hadoop fs -put /home/hadoop/jdk-8u45-linux-x64.tar.gz hdfs://hadoop01:9000/jdk1.2查看文件内容hadoop fs -cat 例如：hadoo
2016-11-20 10:09:38
1141
原创 hadoop2.7.3伪分布式搭建之三------>Hadoop2.7.3的安装
1. 第一步 上传hadoop的安装包hadoop-2.7.3.tar.gz到服务器上去/home/hadoop/2. 第二步 配置hadoophadoop-2.7.3的搭建需要修改5个配置文件第一个：hadoop-env.shvim hadoop-env.sh#第27行export JAVA_HOME=/usr/java/jdk1.8
2016-11-17 20:08:40
4027
原创 hadoop2.7.3伪分布式搭建之二------>JDK在Linux虚拟机上的安装
1. 下载jdk-8u45-linux-x64.tar.gz，并上传到Linux虚拟机中2.解压jdk #创建文件夹 mkdir /home/hadoop/app#解压 tar -zxvf jdk-8u45-linux-x64.tar.gz -C /home/hadoop/app3.将java添加到环境变量
2016-11-17 19:55:58
869
原创 hadoop2.7.3伪分布式搭建之一------>Linux环境的准备
图形界面法 虚拟机ip设置 (1) 打开VMware Workstation----> 虚拟机---->设置---->网络适配器---->自定义模式 Vnet8 （2）查询windows ip 进入cmd命令窗口---->输入ipconfig----> 记住 以太网适配器 VMware Ne
2016-11-16 23:19:55
590
原创 本地svn安装及使用
一 建立本地svn服务平台1.下载svn软件，TortoiseSVN2.安装TortoiseSVN，注意，command lineclient tools要选中 进入cmd命令，输入svn --version 出现版本说明安装成功3.在cmd命令行输入svnadmin create 版本库路径（例如：svnadmin create E:\201611
2016-11-12 21:40:38
4572
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人