Kayleigh520的博客

目的：第一阶段的目的是统计每个用户的关注列表，并整合为键值对。第二阶段的目的是计算每两位用户之间的共同关注好友，并整合为键值对。数据类型变化：在第一阶段，键值对的变化是从用户和关注列表到好友和拥有该好友的用户列表字符串。在第二阶段，键值对的变化是从好友和拥有该好友的用户列表字符串到用户组合和共同关注好友列表。这样的设计和变化使得整个 MapReduce 过程在不同阶段能够有效地处理数据，从而实现了共同好友查找系统的功能。数据集：张三:谢霆锋,陈奕迅,邓昊天,风清扬,伊森,奥布莱恩。

简介map算子：map算子是将rdd中的数据一条一条传递给后面的函数，将函数的返回值构建成一个新的rdd。map算子是不会生成shuffle。后面的分区数等于map算子的分区数。//saprk代码的入口/*** 构建rdd的方法* 1.读取文件* 2.基于scala的集合构建rdd ---- 用于测试*//*** map算子* 将rdd中的数据一条一条传递给后面的函数，将函数的返回值构建成一个新的rdd* map 不会产生shuffle，map之后的分区数等于map之前rdd的分区数。

sqoop安装教程

使用OGG实现Oracle到kafka数据同步

如上图，点击Installations，在右侧点击add添加Maven_home替换掉eclipse自身的，同时点击User Settings添加maven的配置文件settings.xml。这个时候重启eclipse，然后点击windows-->Preferences-->Maven这个时候就说明安装成功。如果你采用2这种方式的话，一定要写“\\”，不然eclipse无法正确识别你填写的路径，推荐使用1。在系统环境变量中配置MAVEN_HOME,同时将%MAVEN_HOME%\bin加入的path中。

● Extract● Data pump● Trails● Collector● Replicat● Manager利用抽取进程(Extract Process)在源端数据库中读取Online Redo Log或者Archive Log，然后进行解析，只提取其中数据的变化信息，比如DML操作——增、删、改操作，将抽取的信息转换为GoldenGate自定义的中间格式存放在队列文件(trail file)中。再利用传输进程将队列文件(trail file)通过TCP/IP传送到目标系统。目标端有一个

这里根据官方文档进行安装。这里不做讲解。有两种方式安装ogg：选择自己对应的系统，因为我这里是linux系统，所以我选择下载第一个。这里直接给出下载地址点击即可下载环境介绍，为了节省资源OGG我选择和原库安装在了同一台服务器安装之前，介绍一下ogg的目录用途说明：介绍完成以后，我们首先来配置源库和目标库OGG19C可以使用基于日志的DDL复制，要求添binlog_row_metadata为full模式才可以实现目标库配置主备数据库创建同步用户并附权1.3 OGG配置在19C的OGG中ogg可

Oracle GoldenGate（ogg）的基本介绍、安装与使用

Flume的安装及使用文章目录Flume的安装及使用Flume的安装1、上传至虚拟机，并解压2、重命名目录，并配置环境变量3、查看flume版本4、测试flume5、flume的使用Flume的安装1、上传至虚拟机，并解压tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /usr/local/soft/在环境变量中增加如下命令，可以使用 soft 快速切换到 /usr/local/softalias soft=‘cd /usr/local/soft/’

datax的安装以及使用

学习之前先介绍一下什么是sparkSpark 是基于内存计算的大数据并行计算框架，因为它基于内存计算，所以提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark 部署在大量廉价硬件之上，形成集群。RDD介绍RDD概念RDD(Resilient Distributed Dataset) 弹性分布式数据集 ， 是 Spark 中最基本的数据对象，它代表一个不可变，可区，里面的元素可并行计算的集合。这里虽然是集合但是里面却没有数据。特点自动容错性.

Kafka中的分区副本机制、消费组Consumer Group Rebalance机制、消费者的分区分配策略、副本的ACK机制kafka的原理：leader和follower

kafka的基本介绍

flink的历史介绍，flink安装以及算子介绍

SparkContext详细理解

断更只是为了更好的出现，这里带来最详细的hbase的笔记。这里我们详细的来看hbase的教学，今天这一章节主要对hbase做了基本的介绍和一些基本的使用。hbase的简介一、Hadoop和HbaseHBase是基于Hadoop集群之上来搭建的Hadoop有一些局限性的：做一些批量的数据处理，吞吐量比较高，但是它对随机查询、实时操作性能是不行的HBase是NoSQL数据库的一种，它跟传统的RDBMS有很大的差别不支持JOIN的，摒弃了关系型模型，而且在HBase中只有一种数据类型：b.

Hbase的基础介绍

hbase-1.4.6的安装

1、启动hadoopstart-all.sh验证http://master:500702、启动zookeeper需要在在三台中分别启动zkServer.sh startzkServer.sh status搭建hbase1、上传解压配置环境变量 tar -xvf hbase-1.4.6-bin.tar.gz2、修改hbase-env.sh文件增加java配置export JAVA_HOME=/usr/local/soft/jdk1.8.0_171关闭默认zk配置expo

详细的讲解了idea如果远程访问hive2.3.7

Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient错误的解决以及原理以及metastore介绍

什么是内部表外部表、hive的基本介绍，分桶、分区。简单介绍了hive JDBC，关于hive JDBC的后面单独详细介绍

hive的保姆式安装和注意事项，很详细，最简单的方式，做出最好的结果

redis的详细保姆式安装，还有一些基本信息的介绍

文章目录HBase的特点RowKey列簇时间戳CellRegion的分裂策略Compaction操作Minor Compaction：Major Compaction：HBase的特点大：一个表可以有上亿行，上百万列。面向列：面向列表（簇）的存储和权限控制，列（簇）独立检索。稀疏：对于为空（NULL）的列，并不占用存储空间，因此，表可以设计的非常稀疏。无模式：每一行都有一个可以排序的主键和任意多的列，列可以根据需要动态增 加，同一张表中不同的行可以有截然不同的列。数据多版本：

浅谈Hadoop的实际应用

Linux的常见指令的学习

简单提一下flink的安装教程

这里补充一下外网权限，Linux的启动级别的修改，三台虚拟机的时间同步如何修改，还有安全模式如何查看打开关闭

day04Hadoop环境搭建之网络配置

详细介绍正则表达睡的概念用途和使用，多个例子去理解和使用正则表达式

两种方法实现workcount

深度了解hdfs架构，Hadoop的特点以及其工作机制

hdfs的java实现，进行一些简单的操作，初学者学习还是很简单的，但是要求java的基础要好，不然可能看不懂

jdk的安装和Hadoop的分布式安装，安装步骤简单，还有一些常见错误的讲解，安装过程有什么问题随时联系小编

傻瓜式安装mysql，全程无错，可以随意使用，如果安装第一步提示安装失败，就是官网资源出了问题，可以联系小编更改