<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[四叶草的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/chongxin1</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; chongxin1]]></copyright><item><title><![CDATA[Spark分布式编程之全局变量专题【共享变量】]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/78048134</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/78048134</guid><author>chongxin1</author><pubDate>Thu, 05 Apr 2018 19:03:37 +0800</pubDate><description><![CDATA[ 转载自：http://www.aboutyun.com/thread-19652-1-1.html问题导读1.spark共享变量的作用是什么？2.什么情况下使用共享变量？3.如何在程序中使用共享变量？4.广播变量源码包含哪些内容？spark编程中，我们经常会遇到使用全局变量，来累加或则使用全局变量。然而对于分布式编程这个却与传统编程有着很大的区别。不可能在程序中声明一个全局变量，在分布式编程中就...]]></description><category></category></item><item><title><![CDATA[超详细单机版搭建hadoop环境图文解析]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/76105472</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/76105472</guid><author>chongxin1</author><pubDate>Wed, 26 Jul 2017 09:32:26 +0800</pubDate><description><![CDATA[参考自：http://www.cnblogs.com/end/archive/2012/08/13/2636645.html

Hadoop2.7.2之集群搭建（单机）

一、安装Linux操作系统 

VMware+Ubuntu安装详细过程  :   http://blog.youkuaiyun.com/chongxin1/article/details/68951393

ubuntu-1]]></description><category></category></item><item><title><![CDATA[RedHat6.5上安装Hadoop单机]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/76105281</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/76105281</guid><author>chongxin1</author><pubDate>Wed, 26 Jul 2017 09:30:34 +0800</pubDate><description><![CDATA[版本号：RedHat6.5   JDK1.8   Hadoop2.7.3

 

hadoop  说明：从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。

基础环境准备：

 


RedHat6.5安装：RHEL 6.5系统安装配置图解教程(]]></description><category></category></item><item><title><![CDATA[RedHat6.5安装单机flume1.6]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/76104357</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/76104357</guid><author>chongxin1</author><pubDate>Wed, 26 Jul 2017 09:24:47 +0800</pubDate><description><![CDATA[版本号：

RedHat6.5   JDK1.8   apache-flume-1.6.0

1.apache-flume-1.6.0-bin.tar.gz 下载

官网下载地址：http://archive.apache.org/dist/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz

百度云盘下载地址：链接：http://pan.baidu]]></description><category></category></item><item><title><![CDATA[Flume和Kafka整合安装]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/76104232</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/76104232</guid><author>chongxin1</author><pubDate>Wed, 26 Jul 2017 09:23:58 +0800</pubDate><description><![CDATA[版本号：

RedHat6.5   JDK1.8    flume-1.6.0   kafka_2.11-0.8.2.1

1.flume安装

RedHat6.5安装单机flume1.6：http://blog.leanote.com/post/2630794313@qq.com/26781d33b435


2.kafka安装

RedHat6.5安装kafka集群 ： ]]></description><category></category></item><item><title><![CDATA[Flume连接oracle实时推送数据到kafka]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/76104075</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/76104075</guid><author>chongxin1</author><pubDate>Wed, 26 Jul 2017 09:23:01 +0800</pubDate><description><![CDATA[版本号：

RedHat6.5   JDK1.8    flume-1.6.0   kafka_2.11-0.8.2.1

flume安装

RedHat6.5安装单机flume1.6：RedHat6.5安装单机flume1.6


kafka安装

RedHat6.5安装kafka集群 ： RedHat6.5安装kafka集群

1、下载flume-ng-sql-sou]]></description><category></category></item><item><title><![CDATA[RedHat如何关闭防火墙]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/76072758</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/76072758</guid><author>chongxin1</author><pubDate>Tue, 25 Jul 2017 15:16:39 +0800</pubDate><description><![CDATA[1、查看防火墙是否已开启
#可以查看到iptables服务的当前状态。service iptables status﻿​


上图表示防火墙已关闭。

2、关闭防火墙

关闭防火墙的方法为：

 

1）永久性生效

 

开启：chkconfig iptables on

 

关闭：chkconfig iptables off

 

2） 即时]]></description><category></category></item><item><title><![CDATA[Linux下批处理文件编写]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/76072567</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/76072567</guid><author>chongxin1</author><pubDate>Tue, 25 Jul 2017 15:15:30 +0800</pubDate><description><![CDATA[linux下的批处理文件，基本就是shell脚本文件。

一、最简单的脚本书写方法为：

1、新建一个文件，名字为test(自己定义的名字)

touch test.sh

2、在里面编写脚本

程序必须以下面的行开始（必须方在文件的第一行）： 

 #!/bin/sh 

符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行]]></description><category></category></item><item><title><![CDATA[RedHat6.5系统LVM增加新硬盘实现根文件系统扩容]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/76072071</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/76072071</guid><author>chongxin1</author><pubDate>Tue, 25 Jul 2017 15:14:03 +0800</pubDate><description><![CDATA[一、新增物理空间



二、linux中创建新分区

1、首先查看硬盘信息，用fdisk
 -l命令，如果有硬盘有剩余空间就可以对其进行分区。
[root@master 桌面]# fdisk -l Disk /dev/sda: 64.4 GB, 64424509440 bytes255 heads, 63 sectors/track, 7832 cylindersUnits = c]]></description><category></category></item><item><title><![CDATA[RedHat6.5如何被windows系统远程桌面连接]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/76071884</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/76071884</guid><author>chongxin1</author><pubDate>Tue, 25 Jul 2017 15:11:59 +0800</pubDate><description><![CDATA[一、redhat 6.5远程桌面配置

服务器端：

1、设置允许其它人查看您的远程桌面

在“系统”-“首选项”-“远程桌面”-在“允许其它人查看您的远程桌面”前打勾；在“允许其它用户控制您的桌面”打勾

如图：








2、修改配置/etc/gdm/custom.conf

在/etc/gdm/custom.conf配置文件中的[xdmcp]下，添]]></description><category></category></item><item><title><![CDATA[RedHat无法ping通Win10的解决办法]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/76071709</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/76071709</guid><author>chongxin1</author><pubDate>Tue, 25 Jul 2017 15:10:52 +0800</pubDate><description><![CDATA[1.环境

            主机: win10 企业版 64位

              ip地址: 192.168.168.100  

           虚拟机：Red Hat

                 ip地址: 192.168.168.200

2.现象:

       win10系统可以ping通RedHat，但是RedHat ping]]></description><category></category></item><item><title><![CDATA[VMware Ubuntu配置虚拟机和主机互相ping通]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/76071650</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/76071650</guid><author>chongxin1</author><pubDate>Tue, 25 Jul 2017 15:08:02 +0800</pubDate><description><![CDATA[安装VMware后，主机会有两个虚拟网卡： 
vmnet1和vmnet8是两个虚拟网卡，主要作用是让虚拟机可以通过你的宿主机的网线上网。注意：如果有“！”，说明不能用。

vmnet1是为host-only（仅主机）方式服务的，vmnet8是为NAT方式服务的。 
一个是设置私有网络（Host Only）时，用来和主机通信的，禁用以后就无法正常使用Host-Only模式了，另一个是设置网络]]></description><category></category></item><item><title><![CDATA[VMware Ubuntu如何连接互联网]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/76071544</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/76071544</guid><author>chongxin1</author><pubDate>Tue, 25 Jul 2017 15:07:16 +0800</pubDate><description><![CDATA[Brigde——桥接 ：默认使用VMnet0 
1、原理： 
Bridge 桥”就是一个主机，这个机器拥有两块网卡，分别处于两个局域网中，同时在”桥”上，运行着程序，让局域网A中的所有数据包原封不动的流入B，反之亦然。这样，局域网A和B就无缝的在链路层连接起来了，在桥接时，VMWare网卡和物理网卡应该处于同一IP网段 当然要保证两个局域网没有冲突的IP. 
VMWare 的桥也是同样的道理]]></description><category></category></item><item><title><![CDATA[使用shell脚本批处理控制大数据环境服务启动停止]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/76071454</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/76071454</guid><author>chongxin1</author><pubDate>Tue, 25 Jul 2017 15:06:04 +0800</pubDate><description><![CDATA[三台集群机器：

master   192.168.168.200

slave1     192.168.168.201

slave2     192.168.168.202

1、start-master.sh
#!bin/sh echo "==============================================="echo "=============]]></description><category></category></item><item><title><![CDATA[集群RedHat6.5+JDK1.8+Hadoop2.7.3+Spark2.1.1+zookeeper3.4.6+kafka2.11+flume1.6环境搭建步骤]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/75287220</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/75287220</guid><author>chongxin1</author><pubDate>Tue, 18 Jul 2017 11:41:29 +0800</pubDate><description><![CDATA[1、RHEL 6.5系统安装配置图解教程(rhel-server-6.5)

2、在Linux下安装JDK图文解析

3、RedHat6.5上安装Hadoop集群

4、RedHat6.5安装Spark集群

5、RedHat6.5安装zookeeper集群

6、RedHat6.5安装kafka集群

7、RedHat6.5安装单机flume1.6]]></description><category></category></item><item><title><![CDATA[RedHat6.5上安装Hadoop集群]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/74502564</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/74502564</guid><author>chongxin1</author><pubDate>Wed, 05 Jul 2017 21:01:07 +0800</pubDate><description><![CDATA[版本号：RedHat6.5   JDK1.8   Hadoop2.7.3

 

hadoop  说明：从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。

基础环境准备：

 


RedHat6.5安装：RHEL
 6.5系统安装配置图解教]]></description><category></category></item><item><title><![CDATA[RHEL 6.5系统安装配置图解教程(rhel-server-6.5)]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/72774030</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/72774030</guid><author>chongxin1</author><pubDate>Fri, 26 May 2017 22:09:21 +0800</pubDate><description><![CDATA[RHEL 6.5系统安装配置图解教程(rhel-server-6.5)

作者：佚名 字体：[增加 减小] 来源：互联网 时间：01-05 13:35:50 我要评论


截止目前RHEL 6.x最新版本为RHEL 6.5，下面介绍RHEL 6.5的具体安装配置过程,需要的朋友可以参考下









说明：

截止目前RHEL 6.x最新版本为RHEL 6.]]></description><category></category></item><item><title><![CDATA[在Linux下安装JDK图文解析]]></title><link>https://blog.youkuaiyun.com/chongxin1/article/details/68957808</link><guid>https://blog.youkuaiyun.com/chongxin1/article/details/68957808</guid><author>chongxin1</author><pubDate>Mon, 03 Apr 2017 11:19:43 +0800</pubDate><description><![CDATA[参考自http://weixiaolu.iteye.com/blog/1401786下载地址：http://pan.baidu.com/s/1dEJjT41 
1、复制jdk到安装目录（1）假设jdk安装文件在桌面，我们指定的安装目录是：/usr/local/java 。可是系统安装后在/usr/local下并没有java目录，这需要我们去创建一个java文件夹 
cd /usr/local 
su]]></description><category></category></item></channel></rss>