<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[大数据学习]]></title><description><![CDATA[学习和记录大数据知识]]></description><link>https://blog.youkuaiyun.com/qq_42250913</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_42250913]]></copyright><item><title><![CDATA[Hadoop集群时间同步NTP]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/88954266</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/88954266</guid><author>qq_42250913</author><pubDate>Thu, 05 Sep 2019 01:56:36 +0800</pubDate><description><![CDATA[一、集群时间同步介绍
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;时间同步的方式：找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，比如，每隔十分钟，同步一次时间。
NTP服务器【Network Time Protocol（NTP）】是用来使计算机时间同步化的一种协议，它可以使计算机对其服务器或时钟源（如石英钟，GPS等等)做同步化，它可以...]]></description><category></category></item><item><title><![CDATA[CentOS7将默认的源更换为ailiyun源]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/89342576</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/89342576</guid><author>qq_42250913</author><pubDate>Wed, 17 Apr 2019 21:15:19 +0800</pubDate><description><![CDATA[&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;CentOS默认自带CentOS-Base.repo源，但官方源在国外，连接速度令人心痛。并且有很多软件在默认源里面是找不到的。
这时候需要将yum源设置为国内镜像站点。国内主要开源的开源镜像站点应该是网易和阿里云了。
1、首先是到yum源设置文件夹里
cd /etc/yum.repos.d
2、接着备份旧的配置文...]]></description><category></category></item><item><title><![CDATA[Hadoop完全分布式的安装与配置]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/86184235</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/86184235</guid><author>qq_42250913</author><pubDate>Tue, 16 Apr 2019 22:53:25 +0800</pubDate><description><![CDATA[一、完全分布式安装介绍
真正的分布式，由3个及以上的实体机或者虚拟机组件的机群。
二、关闭防火墙
这是CentOS7版本命令：
systemctl status firewalld.service  --&amp;amp;amp;amp;amp;amp;amp;amp;gt;查看防火墙状态
systemctl stop firewalld.service —&amp;amp;amp;amp;amp;amp;amp;amp;gt; 如果重启，会重启防火墙
systemctl disable fir]]></description><category></category></item><item><title><![CDATA[关于Java自动类型转换范围的一些理解]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/89072801</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/89072801</guid><author>qq_42250913</author><pubDate>Sun, 07 Apr 2019 18:13:25 +0800</pubDate><description><![CDATA[Java所有的数值型的变量(包括char)可以互相转换,小范围的数值赋值给大范围的数值就称为自动类型转换，大范围的数值赋值给小范围的数值就成为强制转换。

结论：关于数值范围大小我看到两种解释
①byte、char、short&lt;int&lt;long&lt;float&lt;double
②byte&lt;short&lt;int&lt;long&lt;float&lt;double
&nb...]]></description><category></category></item><item><title><![CDATA[jdk1.9的安装与环境配置]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/89042853</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/89042853</guid><author>qq_42250913</author><pubDate>Fri, 05 Apr 2019 13:55:00 +0800</pubDate><description><![CDATA[实验于Win10

1.首先双击安装包，下一步。


2.公共JRE根据需求可选可不选

3.点击下一步后，等待安装即可。

4.jdk1.9目录结构


说明：
没有名为jre的子目录
bin 目录包含所有命令
conf 目录包含用户可编辑的配置文件，例如以前位于jre\lib目录中的.properties和.policy文件
include 目录包含要在以前编译本地代码时使用的C/C++头文件...]]></description><category></category></item><item><title><![CDATA[解决Centos7关闭You have new mail in /var/spool/mail/root提示]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/88981259</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/88981259</guid><author>qq_42250913</author><pubDate>Tue, 02 Apr 2019 21:04:20 +0800</pubDate><description><![CDATA[一、问题
运行一个命令就会出现“You have new mail in /var/spool/mail/root ”很烦人。
[root@HP112 hbase-1.3.1]# jps
11381 DataNode
11477 SecondaryNameNode
11574 HRegionServer
12167 Jps
You have new mail in /var/spool/mail/...]]></description><category></category></item><item><title><![CDATA[HBase全分布模式的安装与配置]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/86184751</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/86184751</guid><author>qq_42250913</author><pubDate>Tue, 02 Apr 2019 08:10:19 +0800</pubDate><description><![CDATA[一、全分布模式介绍
特点：多台机器部署，一般情况下Hmaster和HregionServer分布在不同的服务器，需要依赖底层HDFS分布式存储。
搭建HBase的全分布:
bigdata112 bigdata113 bigdata114
注意：时间同步
如果不同步：（1）Hadoop：执行MR出错
（2）HBase：RegionServer会自动停止
bigdata112: HMaster、Zoo...]]></description><category></category></item><item><title><![CDATA[Hadoop集群脚本工具rsync、xsync和xcall]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/88945157</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/88945157</guid><author>qq_42250913</author><pubDate>Mon, 01 Apr 2019 13:41:10 +0800</pubDate><description><![CDATA[一、 rsync 远程同步工具
    rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
    rsync和scp区别：用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。scp是把所有文件都复制过去。
    （1）基本语法
    rsync    -rvl       $pdir/$fname              $user@ha...]]></description><category></category></item><item><title><![CDATA[安装Maven并配置环境和Eclipse、IDEA新建Maven项目]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/88933170</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/88933170</guid><author>qq_42250913</author><pubDate>Sun, 31 Mar 2019 19:47:01 +0800</pubDate><description><![CDATA[一、下载Maven
官网下载，直接百度maven

二、配置Maven
1.解压部署Maven
（1）检查JAVA_HOME环境变量
C:\Users\ysw28&gt;echo %JAVA_HOME%
D:\JAVA\jdk1.8.0_201
（2）解压Maven的核心程序
将apache-maven-3.6.0-bin.zip解压到一个非中文无空格的目录下。例如：D:\JAVA\apache-...]]></description><category></category></item><item><title><![CDATA[jdk1.8的安装与环境配置]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/85715887</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/85715887</guid><author>qq_42250913</author><pubDate>Sun, 31 Mar 2019 01:28:32 +0800</pubDate><description><![CDATA[实验于win10
网上很多是win7，而新手当作win10来配置（以前笔者就是这样，后来安装多次以及在菜鸟教程才发现）。两者主要是path环境变量的区别，由于 win10 的不同，当选中 Path 变量的时候，系统会很方便的把所有不同路径都分开了，不会像 win7 或者 win8 那样连在一起。
一、下载JDK
1.要安装 JDK，请转 JDK地址，我现在自己使用1.8版本
2.点击接受许可协议，...]]></description><category></category></item><item><title><![CDATA[Hadoop常用Shell操作]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/88851132</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/88851132</guid><author>qq_42250913</author><pubDate>Wed, 27 Mar 2019 17:58:13 +0800</pubDate><description><![CDATA[一、普通操作命令：
hadoop fs  适用于任何不同文件系统，比如本地文件系统和HDFS文件系统
hadoop 只能适用于HDFS文件系统
hdfs fs 跟hadoop dfs的命令作用一样，也只能适用于HDFS文件系统
常用普通命令：

    1.创建目录
	  -mkdir -p 加上-p表示递归创建目录
			
	2.查看目录    			
	  -ls
	  -ls -R 查看目录...]]></description><category></category></item><item><title><![CDATA[MapReduce程序数据清洗]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/88832121</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/88832121</guid><author>qq_42250913</author><pubDate>Tue, 26 Mar 2019 22:22:49 +0800</pubDate><description><![CDATA[一、首先准备好需要的清洗的数据
二、将数据导入项目中，在项目下新建input(原数据)，output(清洗过后的数据)，如下图所示：
三、导入所需要的jar
hadoop-2.8.5\share\hadoop\common*jar
hadoop-2.8.5\share\hadoop\common\lib*jar
hadoop-2.8.5\share\hadoop\hdfs*jar
hadoop-2...]]></description><category></category></item><item><title><![CDATA[Hadoop的API操作遇到的坑]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/88542525</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/88542525</guid><author>qq_42250913</author><pubDate>Tue, 26 Mar 2019 16:55:03 +0800</pubDate><description><![CDATA[问题一：
压缩包莫名不能上传，但像TXT文档可以上传
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;如下图,主要是隐藏了文件扩展名

解决办法：如下图


]]></description><category></category></item><item><title><![CDATA[CentOS7安装MySQL错误解决：error: Failed dependencies  net-tools is needed by]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/88744438</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/88744438</guid><author>qq_42250913</author><pubDate>Fri, 22 Mar 2019 16:32:05 +0800</pubDate><description><![CDATA[错误信息：
[root@HP110 software]# rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm
warning: mysql-community-server-5.7.19-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
error...]]></description><category></category></item><item><title><![CDATA[数组的冒泡排序和倒置]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/88428690</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/88428690</guid><author>qq_42250913</author><pubDate>Tue, 12 Mar 2019 20:38:23 +0800</pubDate><description><![CDATA[代码如下：
package com.stu.demo;

import javax.naming.ldap.SortControl;

/**
 * 
 * @author ysw28 数组排序
 */

public class Demo01 {

	public static void main(String args[]) {

		// 定义一个数组
		int date[] = new ...]]></description><category></category></item><item><title><![CDATA[Eclipse代码自动提示设置]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/88426353</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/88426353</guid><author>qq_42250913</author><pubDate>Tue, 12 Mar 2019 18:41:19 +0800</pubDate><description><![CDATA[&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;对于编程人员来说，要记住大量的类名或类方法的名字，着实不是一件容易的事情。如果要IDE能够自动补全代码，那将为我们编程人员带来很大帮助。
平常都是在Eclipse  -&amp;amp;gt; Window -&amp;amp;gt; Perferences -&amp;amp;gt; ]]></description><category></category></item><item><title><![CDATA[Xshell5连接不上Linux的问题解决（NET模式指定静态IP）]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/88188282</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/88188282</guid><author>qq_42250913</author><pubDate>Tue, 05 Mar 2019 16:33:39 +0800</pubDate><description><![CDATA[&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;&amp;amp;nbsp;NET模式下之所以能上网是通过在自己电脑形成一个局域网，NET模式的网段和Windows的网段能通信，然后访问外网。下面是在NET模式上新建一个宿主机IP形成一个局域网。（仅仅是个人理解，有错望指出，一起学习）


...]]></description><category></category></item><item><title><![CDATA[Hadoop配置历史服务器和日志聚集]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/88185188</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/88185188</guid><author>qq_42250913</author><pubDate>Tue, 05 Mar 2019 16:12:35 +0800</pubDate><description><![CDATA[为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：
1.	配置mapred-site.xml
[atguigu@hadoop101 hadoop]$ vi mapred-site.xml
在该文件里面增加如下配置。
&amp;amp;lt;!-- 历史服务器端地址 --&amp;amp;gt;
&amp;amp;lt;property&amp;amp;gt;
&amp;amp;lt;name&amp;amp;gt;mapreduce.jobhistory.address&amp;amp;]]></description><category></category></item><item><title><![CDATA[Hive的安装与配置之嵌入模式]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/86188252</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/86188252</guid><author>qq_42250913</author><pubDate>Sun, 13 Jan 2019 16:34:34 +0800</pubDate><description><![CDATA[前言：首先，Hive是依赖于hadoop系统的，因此在运行Hive之前需要保证已经搭建好hadoop环境，JAVA环境也是必须有的，可以参考前文搭建。
一、嵌入模式介绍
特点：
不需要使用MySQL，使用Hive自带的Derby数据库存储Hive的元信息
使用自带的Derby
只支持一个连接
metadata即元数据。元数据包含用Hive创建的database、tabel等的元信息在Linux目录...]]></description><category></category></item><item><title><![CDATA[Hive安装与配置之本地模式]]></title><link>https://blog.youkuaiyun.com/qq_42250913/article/details/86188730</link><guid>https://blog.youkuaiyun.com/qq_42250913/article/details/86188730</guid><author>qq_42250913</author><pubDate>Sun, 13 Jan 2019 16:34:11 +0800</pubDate><description><![CDATA[一、本地模式介绍
特点：

需要安装配置MySQL数据库替代derby存储元数据
可以支持多个连接
MySQL在本机中

二、准备工作：
解压 tar -zxvf apache-hive-2.3.0-bin.tar.gz -C ~/training/
设置环境变量 vi ~/.bash_profile
HIVE_HOME=/root/training/apache-hive-2.3.0-bin
e...]]></description><category></category></item></channel></rss>