<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[doubimen的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/doubimen</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; doubimen]]></copyright><item><title><![CDATA[Scala语言的基础知识与简单应用(主要是Scala的判断与循环)]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/95031315</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/95031315</guid><author>doubimen</author><pubDate>Sun, 07 Jul 2019 21:19:18 +0800</pubDate><description><![CDATA[今日内容
 0.值类型隐式转换
 1.强制类型装换
 2.值类型和字符串类型的转换
 3.判断语句
 4.循环语句
 5.循环跳出语句
 6.元祖的介绍和使用
 7.数组的介绍和使用
 8.集合的介绍和使用
 
0.隐式转换(高阶隐式转换和隐式函数,这里我们先不讲)
  当scala程序在进行赋值或者运算的时候,精度小的类...]]></description><category></category></item><item><title><![CDATA[初识Scala与Scala的简单应用]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/94741734</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/94741734</guid><author>doubimen</author><pubDate>Fri, 05 Jul 2019 17:03:39 +0800</pubDate><description><![CDATA[今日内容
 1.为什么要学习scala?
 2.scala的介绍
 3.与java语言的对比
 4.编译工具的安装
 5.main方法讲解
 6.常量和变量
 7.数据类型
 8.懒加载
 9.差值器
 
1.为什么要学习scala?
 1)离线计算
 2)在线计算  spark  scala 
  a.s...]]></description><category></category></item><item><title><![CDATA[菜鸟进阶(idea快捷键的使用)]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/93237055</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/93237055</guid><author>doubimen</author><pubDate>Fri, 21 Jun 2019 21:45:36 +0800</pubDate><description><![CDATA[备注：快捷键
在项目工程名上右键选择refactor--&gt;rename,可以重命名
alt+enter 快速补充jar包
右键 generate快速生成get/set方法
添加try-catch  ctrl+alt+t
导入maven库：setting ---&gt;tools---&gt;maven----&gt;maven下的setting以及maven库

IDEA的常用操作（快捷...]]></description><category></category></item><item><title><![CDATA[菜鸟进阶(Hive的深入应用，分区和分桶）]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/93130497</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/93130497</guid><author>doubimen</author><pubDate>Thu, 20 Jun 2019 20:56:46 +0800</pubDate><description><![CDATA[导入数据：
 1、load data local inpath '/root/tes.txt' into table test.usr;
   将本地的数据导入到hive中
 2、load data inpath 'hdfs://node01:9000/user/tes.txt' into table test.te;
  从hdfs集群导入数据
 
 ...]]></description><category></category></item><item><title><![CDATA[菜鸟进阶(Hive的安装与使用)]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/92847502</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/92847502</guid><author>doubimen</author><pubDate>Wed, 19 Jun 2019 21:31:49 +0800</pubDate><description><![CDATA[1.上传tar包

2.解压
 tar -zxvf hive-1.2.1.tar.gz
3.安装mysql数据库
 推荐yum 在线安装（运行脚本安装）

4.配置hive
 （a）配置HIVE_HOME环境变量 
  vi conf/hive-env.sh
  配置其中的$hadoop_home

 
 （b）配置元数据库信息 
 ...]]></description><category></category></item><item><title><![CDATA[菜鸟进阶(hadoop生态圈的简单知识点串联)]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/92800251</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/92800251</guid><author>doubimen</author><pubDate>Tue, 18 Jun 2019 21:30:02 +0800</pubDate><description><![CDATA[hadoop生态圈
&nbsp;1、common
&nbsp;
&nbsp;
&nbsp;2、hdfs—分布式存储（多台节点协同工作）
&nbsp;&nbsp;2.1 角色—NN DN SNN
&nbsp;&nbsp;2.2 工作机制、
&nbsp;&nbsp;&nbsp;读写机制----block块（1.x 64M&nbsp;&nbsp;&nbsp; 2.x 128M）
&nbsp;&nbsp;...]]></description><category></category></item><item><title><![CDATA[菜鸟进阶(zookeeper)]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/92800195</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/92800195</guid><author>doubimen</author><pubDate>Tue, 18 Jun 2019 21:26:39 +0800</pubDate><description><![CDATA[zookeeper
分布式协调服务
配置
zoo.cfg----配置文件
datadir----自己定义的目录路径
server.1=node1:2888:3888 第一台虚拟机地址
server.1=node1:2888:3888 第二台虚拟机地址
server.1=node1:2888:3888 第三台虚拟机地址
2888端口：提供zookeeper对外通信
3888端口：当leader挂掉之...]]></description><category></category></item><item><title><![CDATA[菜鸟进阶(Map,Reduce,Shuffle详解)]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/92651370</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/92651370</guid><author>doubimen</author><pubDate>Mon, 17 Jun 2019 16:56:21 +0800</pubDate><description><![CDATA[Map的详解:

1:每个大文件会切成N个小文件或切片
2:默认按照block大小进行切分
3:每个小文件或切片对应一个maptask
4:部分文件压缩格式无法Split,所以上传文件的时候请注意压缩包类型
Combiner的应用：


由以上两个图片我们可以看出有没有Combiner对WordCount的影响，而Combiner是map端的小范围reduce操作，用好了事半功倍，用不好影响结果的...]]></description><category></category></item><item><title><![CDATA[菜鸟进阶大数据第六天(MapReduce工作原理)]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/91978388</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/91978388</guid><author>doubimen</author><pubDate>Fri, 14 Jun 2019 15:31:21 +0800</pubDate><description><![CDATA[MapReduce
MapReduce 综述
MapReduce是一种计算模型，该模型可以将大型数据处理任务分解成很多单个的、可以在服务器集群中并行执行的任务，而这些任务的计算结果可以合并在一起来计算最终的结果。简而言之，Hadoop Mapreduce是一个易于编程并且能在大型集群（上千节点）快速地并行得处理大量数据的软件框架，以可靠，容错的方式部署在商用机器上。
MapReduce这个术语来自...]]></description><category></category></item><item><title><![CDATA[菜鸟进阶大数据第五天(搭建外部客户端)]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/91894673</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/91894673</guid><author>doubimen</author><pubDate>Thu, 13 Jun 2019 20:53:23 +0800</pubDate><description><![CDATA[1、配置环境变量
1.1 配置jdk的环境变量
1.2 配置hadoop的环境变量   变量名：HADOOP_HOME   路径：自己HADOOP的地址
修改Path   %HADOOP_HOME%\bin
1.3   修改系统用户名   在系统变量中新建HADOOP_USER_NAME   值为root
2、配置eclipse环境
2.1在eclipse启动之前，将hadoop-eclipse-...]]></description><category></category></item><item><title><![CDATA[菜鸟进阶大数据第四天(伪分布式集群的搭建和配置免密登录)]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/91537477</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/91537477</guid><author>doubimen</author><pubDate>Wed, 12 Jun 2019 15:47:48 +0800</pubDate><description><![CDATA[在Xshell里操作
1:上传文件------使用命令rz
 如果在你的Xshell里用不了这个命令，你可以先执行yum install lrzsz -y先下载
2：解压jdk的压缩包
 tar -zxvf 压缩包名
3:配置环境变量
 export JAVA_HOME=/opt/software/jdk1.8.0_121
 export PATH=$PATH:$JAVA...]]></description><category></category></item><item><title><![CDATA[菜鸟进阶大数据第三天（SecondaryNamenode----持久化）]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/91473584</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/91473584</guid><author>doubimen</author><pubDate>Tue, 11 Jun 2019 22:02:04 +0800</pubDate><description><![CDATA[Namenode掌握一批元数据放在内存里
内存分为硬盘（内存大，便宜，但是慢）和内存（内存小，贵，但是速度快）
为了保证元数据的安全----将内存中的数据存放在磁盘中的行为就是持久化
当我们的集群因断电等特殊原因产生问题的时候，问题解决，重新开机，会去磁盘上读取元数据，恢复到断电前的状态
Namenode不能做持久化的原因
可以做:需求小，占用内存小，不影响计算效率时。
不可以做:NN本身的工作已...]]></description><category></category></item><item><title><![CDATA[菜鸟进阶大数据第二天（主要是大数据的概述）]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/91399882</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/91399882</guid><author>doubimen</author><pubDate>Mon, 10 Jun 2019 20:59:05 +0800</pubDate><description><![CDATA[大数据：
自己的定义：在短时间内快速产生大量多种多样的有价值的信息
而为了解决大数据数据量过大的问题，所以产生了垂直扩展和横向扩展	。
垂直扩展是在一个服务器上分多个块
横向扩展是增加多个廉价的服务器
根据谷歌的三大论文所以产生了
1：GFS--------HDFS分布式文件系统（分布式的存储）	
2：MapReduce-------分布式的处理
3：BigData-------------HBa...]]></description><category></category></item><item><title><![CDATA[菜鸟进阶大数据第一天]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/91378176</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/91378176</guid><author>doubimen</author><pubDate>Mon, 10 Jun 2019 15:10:40 +0800</pubDate><description><![CDATA[今天主要是了解了linux命令与大数据之间的联系，也深入学习了linux的一些命令，总结下来主要是以下几点：
1：数据流
主要分为输入和输出，输出又分为标准输出和错误输出。
2：变量
变量分为本地变量，局部变量，环境变量，特殊变量和位置变量
本地变量：最简单就是直接在脚本中定义一个变量     变量名=变量值
局部变量：用local声明并且在函数里定义的变量
环境变量：用export声明的变量
特...]]></description><category></category></item><item><title><![CDATA[新手入门计算器]]></title><link>https://blog.youkuaiyun.com/doubimen/article/details/91358898</link><guid>https://blog.youkuaiyun.com/doubimen/article/details/91358898</guid><author>doubimen</author><pubDate>Sun, 09 Jun 2019 23:10:27 +0800</pubDate><description><![CDATA[啥都不多说，直接上代码
#！/bin/bash
read -p “请输入第一个数字” num1
read -p “请输入运算符” fuhao
read -p “请输入第二个数字” num2
if [ “$fuhao” == “+” ]
then
echo num1+num1+num1+num2=((((((num1 + num2))elif[&amp;quot;num2))
elif [ &amp...]]></description><category></category></item></channel></rss>