<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Even710的博客]]></title><description><![CDATA[好好学习，天天向上]]></description><link>https://blog.youkuaiyun.com/weixin_37581297</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; weixin_37581297]]></copyright><item><title><![CDATA[OpenCV4人脸识别在Linux，Windows和Android上的安装]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/87694658</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/87694658</guid><author>weixin_37581297</author><pubDate>Fri, 22 Feb 2019 17:29:44 +0800</pubDate><description><![CDATA[OpenCV4版本为4.0.1。

Windows平台

下载win pack，如果浏览器下载太慢，可以使用迅雷下载。

直接安装

把build/java/opencv-401.jar包导入到自己项目的lib中，如果是maven 项目，则把它打包成maven依赖。

# maven install
mvn install:install-file -Dfile=opencv-401.jar -D...]]></description><category></category></item><item><title><![CDATA[Kafka]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/86764291</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/86764291</guid><author>weixin_37581297</author><pubDate>Tue, 12 Feb 2019 18:50:10 +0800</pubDate><description><![CDATA[文章目录Kafka介绍
Kafka介绍
ApacheKafka®是一个分布式流媒体平台。
流媒体平台有三个关键功能：
发布和订阅记录流，类似于消息队列或企业消息传递系统。
以容错的持久方式存储记录流。
记录发生时处理流。
Kafka通常用于两大类应用：
构建可在系统或应用程序之间可靠获取数据的实时流数据管道
构建转换或响应数据流的实时流应用程序
Kafka有四个核心API：
生产者（Produce...]]></description><category></category></item><item><title><![CDATA[HBase-MR操作]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/86710432</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/86710432</guid><author>weixin_37581297</author><pubDate>Thu, 31 Jan 2019 00:42:05 +0800</pubDate><description><![CDATA[HBase擅长存储数据，但不擅长计算分析数据，但是它可以借用其他组件（mapreduce/spark），使用官方提供的hbase-api来实现计算分析数据功能。
hbase-server.jar
下面官方提供的一个Hbase操作MR的例子，此例子作用是对一张表的rowkey进行计数。

解决HBase与MapReduce的依赖包问题。

# 显示hbase需要的MapReduce Jar包
hba...]]></description><category></category></item><item><title><![CDATA[HBase介绍及使用]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/86689182</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/86689182</guid><author>weixin_37581297</author><pubDate>Wed, 30 Jan 2019 18:33:03 +0800</pubDate><description><![CDATA[文章目录Apache HBase简介HBase架构HBase读取数据流程HBase安装部署Hbase Shell命令基本命令表操作
Apache HBase简介
Apache HBase™是Hadoop数据库，是一个分布式，可扩展的大数据存储。
当您需要对大数据进行随机，实时读/写访问时，请使用Apache HBase™。该项目的目标是托管非常大的表 - 数十亿行X百万列 - 在商品硬件集群上。A...]]></description><category></category></item><item><title><![CDATA[Azkaban使用]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/86683937</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/86683937</guid><author>weixin_37581297</author><pubDate>Tue, 29 Jan 2019 11:50:07 +0800</pubDate><description><![CDATA[文章目录Azkaban简介Azkaban VS OozieAzkaba安装部署Azkaban使用
Azkaban简介
官网：https://azkaban.github.io/
Azkaban是在LinkedIn上创建的批处理工作流作业调度程序，用于运行Hadoop作业。Azkaban通过作业依赖性解决顺序问题，并提供易于使用的Web用户界面来维护和跟踪您的工作流程。


兼容任何版本的Hadoo...]]></description><category></category></item><item><title><![CDATA[Sqoop入门]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/86680505</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/86680505</guid><author>weixin_37581297</author><pubDate>Mon, 28 Jan 2019 22:45:47 +0800</pubDate><description><![CDATA[文章目录Sqoop简介Sqoop安装部署Sqoop使用import命令
Sqoop简介
官网：http://sqoop.apache.org/
Apache Sqoop（TM）是一种工具，用于在Apache Hadoop和结构化数据存储（如关系数据库）之间高效传输批量数据 。
Sqoop于2012年3月成功从孵化器毕业，现在是一个顶级Apache项目： 更多信息
最新的稳定版本是1.4.7（下载，...]]></description><category></category></item><item><title><![CDATA[Flume框架]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/86630483</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/86630483</guid><author>weixin_37581297</author><pubDate>Mon, 28 Jan 2019 16:38:59 +0800</pubDate><description><![CDATA[文章目录Flume概述Flume安装部署
Flume概述
官网地址：http://flume.apache.org/
Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。它具有基于流式数据流的简单灵活的架构。它具有可靠性机制和许多故障转移和恢复机制，具有强大的容错性。它使用简单的可扩展数据模型，允许在线分析应用程序。
Flume的中文翻译是“引水槽”，是用于引导水的，...]]></description><category></category></item><item><title><![CDATA[Solr全攻略]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/86571986</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/86571986</guid><author>weixin_37581297</author><pubDate>Mon, 28 Jan 2019 10:51:15 +0800</pubDate><description><![CDATA[文章目录Solr简介Solr安装使用Solr部署模式
Solr简介
官网：https://lucene.apache.org/solr/
Solr是基于Apache Lucene ™构建的流行，快速，开源的企业搜索平台。

Solr是一个Java Web应用，可以运行在任何主流Java Servlet引擎中。下面来看一个Solr服务器的主要软件构成：


Solr基于已有的XML、JSON和HTT...]]></description><category></category></item><item><title><![CDATA[Dubbo攻略]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/86065403</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/86065403</guid><author>weixin_37581297</author><pubDate>Sat, 12 Jan 2019 15:45:19 +0800</pubDate><description><![CDATA[文章目录Dubbo介绍背景单一应用架构垂直应用架构分布式服务架构流动计算架构需求架构连通性健壮性伸缩性
Dubbo介绍
（Dubbo介绍转自官网 http://dubbo.apache.org/zh-cn/docs/user/preface/architecture.html）
背景
随着互联网的发展，网站应用的规模不断扩大，常规的垂直应用架构已无法应对，分布式服务架构以及流动计算架构势在必行，亟...]]></description><category></category></item><item><title><![CDATA[Hive全方面攻略]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/86105670</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/86105670</guid><author>weixin_37581297</author><pubDate>Fri, 11 Jan 2019 15:56:55 +0800</pubDate><description><![CDATA[文章目录概述Hive优缺点Hive架构安装部署Hive测试操作数据
概述
Apache Hive™数据仓库软件有助于使用SQL读取，编写和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据中。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。

简单点来说，hive是为了替代hadoop的mapreduce。
从数据计算的角度来说：
mapreduce分布式计算难度大，而hi...]]></description><category></category></item><item><title><![CDATA[MapReduce数据压缩]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/85644912</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/85644912</guid><author>weixin_37581297</author><pubDate>Thu, 10 Jan 2019 15:35:45 +0800</pubDate><description><![CDATA[MapReduce数据压缩Hadoop三个阶段Hadoop数据压缩压缩的基本原则MR支持的压缩编码编码/解码器压缩性能使用方式map端输出压缩reduce端输出压缩
Hadoop三个阶段
1）分布式文件系统HDFS
用于存储宏大数据量文件。
2）分布式编程框架MapReduce
用于分布式计算海量数据。
3）yarn框架
分布式调度平台，用于为MapReducer合理分配资源。
Hadoop数据压...]]></description><category></category></item><item><title><![CDATA[Zookeeper集群]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/85715660</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/85715660</guid><author>weixin_37581297</author><pubDate>Sat, 05 Jan 2019 22:04:11 +0800</pubDate><description><![CDATA[文章目录Zookeeper简介什么是Zookeeper？Zookeeper的功能Zookeeper工作机制Zookeeper应用场景Zookeeper安装zookeeper分布式安装Zookeeper命令行Zookeeper选举机制为什么ZK集群需要奇数台服务器？服务器动态上下线感知
Zookeeper简介
Apache Zookeeper：把Zookeeper拆开来读，zoo-keeper，即动...]]></description><category></category></item><item><title><![CDATA[MapReduce工作流程]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/85336489</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/85336489</guid><author>weixin_37581297</author><pubDate>Wed, 02 Jan 2019 21:02:27 +0800</pubDate><description><![CDATA[MapReduce工作流程图

流程步骤：

生成驱动Jar包，上传到Yarn集群；
hadoop jar jar文件启动客户端，Yarn集群根据切片，计算MapTask数，分配NodeManager资源；
通过默认TextInputFormat方式传输数据到MapTask节点，进入Map阶段；
经逻辑运算后，通过outputcontroller把数据写入到环形缓冲区&amp;amp;amp;lt;k,v&amp;amp;amp;gt;；
达到...]]></description><category></category></item><item><title><![CDATA[MapTask运行机制]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/85291770</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/85291770</guid><author>weixin_37581297</author><pubDate>Fri, 28 Dec 2018 11:21:43 +0800</pubDate><description><![CDATA[MapTask并行度

前文提到MapReduce程序包含两个阶段——Map阶段和Reduce。在提交一个Job任务时，在Map阶段会根据提交的任务，来决定需要开启多少个MapTask来执行。
split表示针对每一个文件的单独切片，即，每一个split，会分配到一个maptask进行处理，而默认情况下，split的大小和block的大小一致，即128M，有多少个block，就需要开启多少个Map...]]></description><category></category></item><item><title><![CDATA[MapReduce编程及Yarn集群]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/84785118</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/84785118</guid><author>weixin_37581297</author><pubDate>Thu, 27 Dec 2018 11:38:37 +0800</pubDate><description><![CDATA[MapReduce是Hadoop的分布式运算组件，是Hadoop数据分析应用的核发框架，主要分为两部分，Map和Reduce。Map阶段把数据拆分处理输出，Reduce把Map阶段输出的数据整合处理。
MR程序分成三阶段：Map阶段，Reduce阶段，Driver阶段。

...]]></description><category></category></item><item><title><![CDATA[RPC框架与MR框架]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/84787039</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/84787039</guid><author>weixin_37581297</author><pubDate>Tue, 11 Dec 2018 13:48:07 +0800</pubDate><description><![CDATA[手写RPC框架
客户端与NameNode通信的RPC原理，本篇手写RPC框架模拟客户端获取指定路径的元数据。
hdfs读写文件机制：https://blog.youkuaiyun.com/weixin_37581297/article/details/84633121
第一步，pom.xml
&amp;amp;amp;lt;dependency&amp;amp;amp;gt;
        &amp;amp;amp;lt;groupId&amp;amp;amp;gt;org.apache.hadoop...]]></description><category></category></item><item><title><![CDATA[NameNode和DataNode工作机制]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/84646452</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/84646452</guid><author>weixin_37581297</author><pubDate>Tue, 04 Dec 2018 09:06:28 +0800</pubDate><description><![CDATA[文章目录NameNode工作机制
NameNode工作机制


NameNode启动时，会把fsimage和edits 001加载到内存，并对fsimage进行合并，此时的fsimage是最新的镜像文件。
client执行增删改操作时，会使元数据发生变化，新建一个edits 002记录这些变化，此时的fsimage还是只有edits 001的记录。
当edits 002日志文件满了或者是触发了ch...]]></description><category></category></item><item><title><![CDATA[图解HDFS读写文件机制]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/84633121</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/84633121</guid><author>weixin_37581297</author><pubDate>Thu, 29 Nov 2018 16:16:44 +0800</pubDate><description><![CDATA[HDFS读写文件HDFS写文件过程
HDFS写文件过程

关键点：

hadoop2.x版本默认块大小为128M，所以预处理文件时，对200M的文件分块就是分成128M和72M。
第二步前，namenode需要根据client传递过来的消息来判断是否可以写文件，判断依据有是否存在目录，是否已存在文件等。
namenode选取datanode时可以遵循机架感知策略来选择机器。默认情况没有开启，是随机...]]></description><category></category></item><item><title><![CDATA[java实现操作Hadoop]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/84349916</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/84349916</guid><author>weixin_37581297</author><pubDate>Thu, 22 Nov 2018 22:13:48 +0800</pubDate><description><![CDATA[java api for hadoop基本操作文件读写
基本操作
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.Test;
import org.junit.jupiter.api.BeforeEach;
import org.junit.jupiter.ap...]]></description><category></category></item><item><title><![CDATA[winodws使用Hadoop]]></title><link>https://blog.youkuaiyun.com/weixin_37581297/article/details/84326783</link><guid>https://blog.youkuaiyun.com/weixin_37581297/article/details/84326783</guid><author>weixin_37581297</author><pubDate>Wed, 21 Nov 2018 17:31:05 +0800</pubDate><description><![CDATA[windows java使用Hadoop需要的jar包
在hadoop目录/share/hadoop/中，有common、hdfs文件夹等
hadoop-common-2.8.4.jar
hadoop-hdfs-2.8.4.jar
及它们的依赖包，依赖包在各自目录的lib中。
如果报下面错误：
Cannot load filesystem: java.util.ServiceConfigurati...]]></description><category></category></item></channel></rss>