<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[PowerBlogger的博客]]></title><description><![CDATA[一点拙见]]></description><link>https://blog.youkuaiyun.com/PowerBlogger</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; PowerBlogger]]></copyright><item><title><![CDATA[java Stream操作小全]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/120404894</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/120404894</guid><author>PowerBlogger</author><pubDate>Thu, 23 Sep 2021 15:13:32 +0800</pubDate><description><![CDATA[java8 内置的四大核心函数式接口
Consumer&lt;T&gt; : 消费型接口
		void accept(T t);

Supplier&lt;T&gt; : 供给型接口
		T get();

Function&lt;T,R&gt; : 函数型接口
		R apply(T t);

Predicate&lt;T&gt; : 断言型接口
		boolean test(T t);

创建Stream
1.Collection系列集合提供的steam()或parallelStream()
List&]]></description><category></category></item><item><title><![CDATA[java stream中的reduce问题]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/120023019</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/120023019</guid><author>PowerBlogger</author><pubDate>Tue, 31 Aug 2021 18:08:29 +0800</pubDate><description><![CDATA[问题
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。
新的改变
我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

全新的界面设计 ，将会带来全新的写作体验；
在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
增加了 图片拖拽 功能，你可以将本地的]]></description><category></category></item><item><title><![CDATA[mysql 0 和 ‘’的比较]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/110863765</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/110863765</guid><author>PowerBlogger</author><pubDate>Tue, 08 Dec 2020 13:59:36 +0800</pubDate><description><![CDATA[现象：
本来想要看一下数据库中有没有某字段为空的数据结果使用select * from table where a=’‘查出来的结果a字段全是0，没有为空的，当然后来发现其实a字段是int类型的，自然也不存在为’'的情况。
但是这个现象之前没有发现过，引起了我的好奇心，于是有了如下测试




select 0=’'结果为1





select 0='0’结果为1



select 0='A’结果为1



select 0='1A’结果为0



select 0='1’结果为0



原因：
当比]]></description><category></category></item><item><title><![CDATA[关于新版本的IDEA Version Control窗口的还原]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/107707937</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/107707937</guid><author>PowerBlogger</author><pubDate>Fri, 31 Jul 2020 10:31:47 +0800</pubDate><description><![CDATA[关于新版本的IDEA Version Control窗口被取代的还原
之前一直用的是2019.1版的IDEA，代码改动的查看、对比、提交及提交记录的查看都是在Version Control中进行的，一直觉得也挺方便，最近更新了2020.1版本，发现Version Control不见了，取而代之的是Commit和Git两个窗口，Commit中只能查看待提交的文件，Git中直接显示的就是log，点击还会在右边直接显示出三个窗口，显示改动，堆在一起根本看不清楚，还是要点击弹出来看，特别不方便。
下面上步骤：
在s]]></description><category></category></item><item><title><![CDATA[一次性搞清楚Java中右移运算符和左移运算符]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/105820903</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/105820903</guid><author>PowerBlogger</author><pubDate>Tue, 28 Apr 2020 21:38:58 +0800</pubDate><description><![CDATA[今天在ArrayList源码的时候看到扩容机制中的右移操作

当时一时没反应过来到底是扩容了多少，痛定思痛的决定好好研究下java中的左移右移操作。
左移 &lt;&lt;
&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;由于不需要考虑符号位的变化，对左移来说左移时只需要在右边加0就可以，逻辑左移和算术左移都是一样的，在Java中左移操作符只有&lt;&lt;，所以相对比较...]]></description><category></category></item><item><title><![CDATA[SQL NULL值比较陷阱]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/105787432</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/105787432</guid><author>PowerBlogger</author><pubDate>Mon, 27 Apr 2020 11:50:02 +0800</pubDate><description><![CDATA[mysql中NULL值和其他值比较的时候用<>返回结果为false，也就是(NULL<>'abc')=false]]></description><category></category></item><item><title><![CDATA[目标关键字存在，IDEA全局搜索搜不到结果]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/102487454</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/102487454</guid><author>PowerBlogger</author><pubDate>Thu, 10 Oct 2019 17:41:07 +0800</pubDate><description><![CDATA[目标关键字存在，IDEA全局搜索搜不到结果
今天在使用IDEA全局搜索（Ctrl+Shift+F）请求路径的时候，发现搜不到，但是后来发现目标关键字是存在的，文件中的Ctrl+F是可以搜索到的，后来发现了这篇文章：https://blog.youkuaiyun.com/qq_20492999/article/details/80944218
使用解决方法清除了缓存之后就可以搜索到了
[File]-&gt;[I...]]></description><category></category></item><item><title><![CDATA[Spark集群的搭建]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/83755111</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/83755111</guid><author>PowerBlogger</author><pubDate>Mon, 05 Nov 2018 19:27:11 +0800</pubDate><description><![CDATA[

首先，去spark官网下载spark安装包
笔者这次使用的是spark1.6.3、Hadoop2.6版本的jar包


下载完成后，把jar包发送到服务器上进行解压，然后把解压后的文件夹名称改为spark1.6.3.


进入conf目录



修改slave.template-&amp;amp;amp;gt;slave(这里是配置Woker所在节点位置)

node02
node03
node04


修改spar...]]></description><category></category></item><item><title><![CDATA[Spark概述]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/83754720</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/83754720</guid><author>PowerBlogger</author><pubDate>Mon, 05 Nov 2018 19:04:19 +0800</pubDate><description><![CDATA[基本介绍：
Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，用来构建大型的、低延迟的数据分析应用程序。它扩充了MapReduce的计算模型。
spark的一个主要特点是基于内存进行计算，即使依赖磁盘进行复杂的运算，Spark依然比MapRed...]]></description><category></category></item><item><title><![CDATA[Hive基础理论及表的类型]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/83626449</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/83626449</guid><author>PowerBlogger</author><pubDate>Fri, 02 Nov 2018 20:09:27 +0800</pubDate><description><![CDATA[什么是Hive？
Hive是建立在Hadoop上的，用来构建数据仓库的工具，里面有表的概念，可以使用SQL语句实现存储、查询和分析存储在 HDFS上的数据，这些SQL语句在Hive中称为HQL，语法和SQL语句基本一样。
由于数据是杂乱无章的，所以Hive需要一份关于这些数据的元数据来管理和操作这些数据。这份元数据包括：
元数据（
行的分隔符（在映射成表的时候知道在哪里分行显示）
字段分隔符（在映...]]></description><category></category></item><item><title><![CDATA[Hive工具的配置与使用]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/83216654</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/83216654</guid><author>PowerBlogger</author><pubDate>Sat, 20 Oct 2018 20:37:26 +0800</pubDate><description><![CDATA[Hive有三种模式：

内嵌Derby方式
Local方式
Remote方式

在实际的开发中，我们经常用的是第三种，所以接下来我们就介绍一下Remote方式的Hive如何配置
 由于Remote方式和Local方式都是使用的mysql数据库，所以在安装Hive之前，我们需要先安装mysql


首先从官网下载安装文件    http://mirror.bit.edu.cn/apache/hive...]]></description><category></category></item><item><title><![CDATA[基于高可用的HDFS分布式集群搭建Yarn]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/83145761</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/83145761</guid><author>PowerBlogger</author><pubDate>Thu, 18 Oct 2018 14:08:12 +0800</pubDate><description><![CDATA[高可用的集群搭建可以参考博主的另一篇博客
https://blog.youkuaiyun.com/PowerBlogger/article/details/83018127
集群规划：
基于HDFS高可用分布式集群搭建yarn步骤：

找到hadoop安装目录下的 mapred-site.xml.template ，将其更名为mapred-site.xml ，

mv mapred-site.xml.temp...]]></description><category></category></item><item><title><![CDATA[MapReduce的运行原理]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/83097895</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/83097895</guid><author>PowerBlogger</author><pubDate>Tue, 16 Oct 2018 21:29:14 +0800</pubDate><description><![CDATA[MapReduce的执行步骤：


每个Map上创建一个split数据，默认和block大小相同，每一个split都会由一个map task进行处理，从block中读取出每一行的数据会变成一个个的键值对&amp;amp;amp;amp;lt;K,V&amp;amp;amp;amp;gt;。


接下来，读取出来的数据都会进入内存缓冲区，在进入缓冲区之前，每一条数据都会被打上标签，这个过程叫做分区，由分区器来完成，默认的分区器是HashPartitioner，然...]]></description><category></category></item><item><title><![CDATA[大数据课程-HDFS详解]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/83058180</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/83058180</guid><author>PowerBlogger</author><pubDate>Mon, 15 Oct 2018 14:17:30 +0800</pubDate><description><![CDATA[大数据课程
一、分布式存储HDFS
1、 Hadoop的历史


作者Doug Cutting


Lucene


三驾马车
GFS
MapReduce
BigTable


hadoop生态圈
hdfs
mapreduce
yarn
common


2、HDFS的存储原理
各个角色的作用


NameNode
1、接受客户端的读写请求
2、管理元数据
   ①上传的文件的权限
   ②上传文...]]></description><category></category></item><item><title><![CDATA[HDFS HA高可用完全分布式搭建步骤]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/83018127</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/83018127</guid><author>PowerBlogger</author><pubDate>Thu, 11 Oct 2018 20:14:52 +0800</pubDate><description><![CDATA[集群规划：





NameNode
DataNode
ZooKeeper
ZKFC
JournalNode




node01
√


√
√


node02
√
√
√
√
√


node03

√
√

√


node04

√
√




准备

在每个节点的/etc/hosts文件中配置对各个主机的映射
关闭防火墙chkconfig iptables off
每个节点安装JDK...]]></description><category></category></item><item><title><![CDATA[HDFS完全分布式的搭建步骤]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/83002981</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/83002981</guid><author>PowerBlogger</author><pubDate>Wed, 10 Oct 2018 20:35:26 +0800</pubDate><description><![CDATA[1.时间同步
  首先需要在各个节点上都安装上ntp yum install ntp
  然后在网上查找最新的时间服务器ntp1.aliyun.com
  使用ntp同步时间ntpdate ntp1.aliyun.com
2.配置免密登录
也就是所有NameNode到所有节点的免密登录
所有节点执行ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
然后在NameNo...]]></description><category></category></item><item><title><![CDATA[HDFS伪分布式的搭建步骤]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/82990717</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/82990717</guid><author>PowerBlogger</author><pubDate>Tue, 09 Oct 2018 23:43:23 +0800</pubDate><description><![CDATA[HDFS伪分布式的搭建
1.配置免密登录

①	ssh-keygen -t rsa （此处一路回车即可）
②	ssh-copy-id -i ~/.ssh/id_rsa.pub root@node01
2.配置JDK

①	export JAVA_HOME=/opt/software/jdk/jdk1.8.0_151
②	export PATH=$PATH: $JAVA_HOME/bin
注意：如果...]]></description><category></category></item><item><title><![CDATA[HDFS原理]]></title><link>https://blog.youkuaiyun.com/PowerBlogger/article/details/82989434</link><guid>https://blog.youkuaiyun.com/PowerBlogger/article/details/82989434</guid><author>PowerBlogger</author><pubDate>Tue, 09 Oct 2018 23:28:41 +0800</pubDate><description><![CDATA[HDFS原理
NameNode
1.接收客户端请求
2.管理元数据
文件的上传时间
文件权限
文件属主
文件的位置信息
block的Id
3.管理集群
各个存储节点的存储情况以及存活情况
SecondrayNameNode
持久化内存中的元数据，除了block的位置信息，其他元数据都会持久化
DataNode
1.存储源数据（以block块的形式存储）
2.接收客户端的读请求
3.向NameNod...]]></description><category></category></item></channel></rss>