<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[BigData2018的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/BigData2018</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; BigData2018]]></copyright><item><title><![CDATA[如何根据数据量确定Kafka分区个数、Kafka的分区是不是越多越好、Kafak生产者分发策略，消费者负载均衡 09]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/108277012</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/108277012</guid><author>BigData2018</author><pubDate>Fri, 28 Aug 2020 11:55:50 +0800</pubDate><description><![CDATA[Kafka的分区数是不是越多越好？
1.1 分区多的优点
Kafka使用分区将topic的消息打算到多个分区分布保存在不同的broker上，实现了producer和consumer消息处理的高吞吐量。
Kafka的producer和consumer都可以多线程地并行操作，而每个线程处理的是一个分区的数据。
因此分区实际上是调优Kafka并行度的最小单元。
对于producer而言，它实际上是用多个线程并发地向不同分区所在的broker发起socket连接，同时给这些分区发送消息。
对于consumer，同.]]></description><category></category></item><item><title><![CDATA[大数据面试-Spark专题-002]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/107260694</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/107260694</guid><author>BigData2018</author><pubDate>Fri, 10 Jul 2020 18:39:58 +0800</pubDate><description><![CDATA[目录:01、Spark常用算子reduceByKey与groupByKey的区别，哪一种更具优势？02、如何使用Spark实现TopN的获取（描述思路或使用伪代码）03、分别简述Spark中的缓存机制（cache和persist）与checkpoint机制，并指出两者的区别与联系04、当Spark涉及到数据库的操作时，如何减少Spark运行中的数据库连接数？05、简述Spark中共享变量（广播变量和累加器）的基本原理与用途。
01、Spark常用算子reduceByKey与groupByKey的区别，哪一种]]></description><category></category></item><item><title><![CDATA[大数据面试-Spark专题-001]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/107173023</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/107173023</guid><author>BigData2018</author><pubDate>Tue, 07 Jul 2020 08:40:36 +0800</pubDate><description><![CDATA[这里写目录标题1、Spark有几种部署方式？请分别简要论述2、Spark提交作业参数，及参数常规设置？3、简述Spark的宽窄依赖，以及Spark如何划分stage,每个stage又根据什么决定task个数？4、Spark任务使用什么进行提交，JavaEE界面还是脚本?5、简述Spark的架构与作业提交流程（画图并注明务个部分作用）
1、Spark有几种部署方式？请分别简要论述
1）Local:运行在一台机器上，通常是练手或者测试环境。
2）Standalone:构建一个基于Mster+Slaves的资源调]]></description><category></category></item><item><title><![CDATA[Spark(02)——Spark快速度入门、WordCount案例]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/106504626</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/106504626</guid><author>BigData2018</author><pubDate>Tue, 02 Jun 2020 20:52:04 +0800</pubDate><description><![CDATA[目录一、创建工程二、增加依赖关系三、WordCount案例四、异常处理
一、创建工程
我们使用的Spark版本为2.4.5，默认采用的Scala版本为2.12
1、创建 IDEA 工程

2、增加 Scala 支持

二、增加依赖关系
修改Maven项目中的POM文件，增加Spark框架的依赖关系。本课件基于Spark2.4.5版本，使用时请注意对应版本。
&lt;dependencies&gt;
    &lt;dependency&gt;
        &lt;groupId&gt;org.apach]]></description><category></category></item><item><title><![CDATA[Spark(03)——Spark四种运行部署模式：Local模式、Standalone模式、Yarn模式、Windows模式]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/106503865</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/106503865</guid><author>BigData2018</author><pubDate>Tue, 02 Jun 2020 20:32:29 +0800</pubDate><description><![CDATA[目录一、Local模式二、Standalone模式**6、配置历史服务**三、Yarn模式四、Windows模式
Spark作为一个数据处理框架和计算引擎，被设计在所有常见的集群环境中运行, 在国内工作中主流的环境为Yarn，不过逐渐容器式环境也慢慢流行起来。接下来，我们就分别看看不同环境下Spark的运行

一、Local模式
所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等，之前在IDEA中运行代码的环境我们称之为开发环境，不太一样。
1、]]></description><category></category></item><item><title><![CDATA[阿里云CDH6（03）--Centos7.6部署Cloudera Manager6.3.1、CDH6.32]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/106460053</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/106460053</guid><author>BigData2018</author><pubDate>Sun, 31 May 2020 19:46:04 +0800</pubDate><description><![CDATA[一、前置准备
1、三台服务器hosts文件修改
vim /etc/hosts

更改为：
192.168.117.100  nogc112 nogc112
192.168.117.101  nogc113 nogc113
192.168.117.102  nogc114 nogc114

2.ssh免密登录
1、三台服务器执行
ssh-keygen

然后一直回车。
2、三台服务器执行
ssh-copy-id nogc112

点yes
输入密码。
3、三台服务器执行
ssh-copy-id nogc113]]></description><category></category></item><item><title><![CDATA[阿里云CDH6（02）--Centos7.6部署Cloudera Manager6.3.1、CDH6.32]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/106460031</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/106460031</guid><author>BigData2018</author><pubDate>Sun, 31 May 2020 19:41:38 +0800</pubDate><description><![CDATA[一、软件版本准备




类目
版本
下载地址




操作系统
CentOS-7.6
阿里云镜像


数据库
mysql-5.7
yum安装


JDK
jdk-8u212-linux-x64.tar
oracle官网


Cloudera Manager
cmd6.3.1、cms6.3.1、cma6.3.1
yum安装或官网下载


CDH
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CM在线安装或官网下载


cloudera要求的配置网址
二、节点准备


]]></description><category></category></item><item><title><![CDATA[阿里云CDH6（01）--Centos7.6部署Cloudera Manager6.3.1、CDH6.32]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/106459916</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/106459916</guid><author>BigData2018</author><pubDate>Sun, 31 May 2020 19:40:19 +0800</pubDate><description><![CDATA[一、阿里云服务器申请步骤
1、先用支付宝注册登录阿里云
2、然后按图流程注册


然后点下一步：

然后点下一步：

最后提交订单，账号里要有至少100元才能完成提交。
二、创建安全组


三、实例说明

选择停止不收费，会释放公有IP，再次启动时要更改C:\Windows\System32\drivers\etc下的hosts和Xshell里的主机（H）:  ip
四、连接Xshell6等工具

第二步：

五、Windows下更改hosts映射
在C:\Windows\System32\drivers\]]></description><category></category></item><item><title><![CDATA[大数据shell常用脚本01--集群分发脚本xsync]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/106063682</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/106063682</guid><author>BigData2018</author><pubDate>Mon, 11 May 2020 22:07:42 +0800</pubDate><description><![CDATA[目录:一、scp（secure copy）安全拷贝二、rsync 远程同步工具三、xsync集群分发脚本(重点)
一、scp（secure copy）安全拷贝

scp定义：

scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）

基本语法

scp   -r      $pdir/$fname            $user@hadoop$host:$pdir/$fname

命令  递归     要拷贝的文件路径/名称      目的用户@主机:目的路径/名]]></description><category></category></item><item><title><![CDATA[Flume1.9.0实时监控目录下多个新文件]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/105924776</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/105924776</guid><author>BigData2018</author><pubDate>Mon, 04 May 2020 22:29:54 +0800</pubDate><description><![CDATA[1.案例需求：使用Flume监听整个目录的文件，并上传至HDFS
2.实现步骤：
（1）创建配置文件flume-dir-hdfs.conf
创建一个文件
[nogc@hadoop102 job]$ vim flume-dir-hdfs.conf

添加如下内容:
a3.sources = r3
a3.sinks = k3
a3.channels = c3

# Describe/configure...]]></description><category></category></item><item><title><![CDATA[Windows环境下解决github里图片图像无法显示问题]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/105762487</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/105762487</guid><author>BigData2018</author><pubDate>Sun, 26 Apr 2020 10:07:35 +0800</pubDate><description><![CDATA[Windows端解决方案：
打开路径C:\Windows\System32\drivers\etc下的hosts文件
最后一行添加如下代码：
# GitHub Start 
192.30.253.112    github.com 
192.30.253.119    gist.github.com
151.101.184.133    assets-cdn.github.com
151.101....]]></description><category></category></item><item><title><![CDATA[基于Centos7.6和Hadoop3.13环境下安装Hive3.12]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/105742606</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/105742606</guid><author>BigData2018</author><pubDate>Sat, 25 Apr 2020 00:01:21 +0800</pubDate><description><![CDATA[目录一、前置环境二、Hive地址三、Hive安装部署四、Hive元数据配置到MySql五、安装Tez引擎六、启动Hive一、初始化元数据库二、启动metastore和hiveserver2七、HiveJDBC访问八、Hive访问
一、前置环境
Centos7.6下MySql-5.7.28安装
Centos7.6下Hadoop-3.13安装
二、Hive地址
1.Hive官网地址
http://hi...]]></description><category></category></item><item><title><![CDATA[Centos7.6环境下Zookeeper本地模式安装部署]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/105722778</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/105722778</guid><author>BigData2018</author><pubDate>Fri, 24 Apr 2020 08:29:37 +0800</pubDate><description><![CDATA[目录一、前置条件二、配置修改三、操作Zookeeper
一、前置条件
Hadoop本地运行模式的运行依赖 JDK，Hadoop需要预先安装，安装步骤见：

虚拟机环境


Centos7.6环境下 JDK8 安装
集群分发脚本xsync

拷贝Zookeeper安装包到Linux系统下，解压到指定目录
[nogc@hadoop102 software]$ tar -zxvf zookeeper-3...]]></description><category></category></item><item><title><![CDATA[Centos7.6环境下Zookeeper分布式集群环境安装部署]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/105720495</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/105720495</guid><author>BigData2018</author><pubDate>Thu, 23 Apr 2020 23:29:15 +0800</pubDate><description><![CDATA[Zookeeper分布式安装部署

一、前置条件
二、分布式安装部署
三、操作Zookeeper

一、前置条件
Hadoop本地运行模式的运行依赖 JDK，Hadoop需要预先安装，安装步骤见：

虚拟机环境


Centos7.6环境下 JDK8 安装
集群分发脚本xsync

拷贝Zookeeper安装包到Linux系统下，解压到指定目录
[nogc@hadoop102 software]$...]]></description><category></category></item><item><title><![CDATA[基于Hadoop3.13完全分布式运行模式环境安装部署]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/105720372</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/105720372</guid><author>BigData2018</author><pubDate>Thu, 23 Apr 2020 23:25:14 +0800</pubDate><description><![CDATA[Hadoop完全分布式运行模式（开发重点)

一、前置条件
二、集群环境
三、Hadoop集群环境配置
   四、集群单点启动
    五、SSH无密登录配置
    六、群起集群
    七、集群启动与停止方式
    八、配置历史服务器
    九、配置日志的聚集
    十、集群时间同步

一、前置条件
Hadoop本地运行模式的运行依赖 JDK，Hadoop需要预先安装，安装步骤见：

虚...]]></description><category></category></item><item><title><![CDATA[Spark(01)——Spark概念]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/105501694</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/105501694</guid><author>BigData2018</author><pubDate>Tue, 14 Apr 2020 00:32:25 +0800</pubDate><description><![CDATA[Spark-Core 和 弹性分布式数据集(RDDs)

Spark-Core 是整个 Spark 的基础, 提供了分布式任务调度和基本的 I/O 功能
Spark 的基础的程序抽象是弹性分布式数据集(RDDs), 是一个可以并行操作, 有容错的数据集合

RDDs 可以通过引用外部存储系统的数据集创建(如HDFS, HBase), 或者通过现有的 RDDs 转换得到
RDDs 抽象提供了 Ja...]]></description><category></category></item><item><title><![CDATA[Scala与Java对比性学习（基础部分）不断更新完善中....]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/105261900</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/105261900</guid><author>BigData2018</author><pubDate>Thu, 02 Apr 2020 09:15:39 +0800</pubDate><description><![CDATA[一、
1.程序入口,IDEA中java用psvm，scala用main快捷（异）
Scala程序的执行入口是main（）函数

scala: 
object Cc {
  def main(args: Array[String]): Unit = {
    println("cc")
  }
}
//反编译后：
public final class HelloWorld
{
  public s...]]></description><category></category></item><item><title><![CDATA[VMware Workstation15安装]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/105219074</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/105219074</guid><author>BigData2018</author><pubDate>Tue, 31 Mar 2020 11:47:15 +0800</pubDate><description><![CDATA[VMware Workstation安装


双击运行安装包程序



接受许可证协议(关键不接受不让安装啊………)




选择安装位置，建议非中文无空格，增强型键盘驱动程序可选



按照自身使用习惯勾选产品更新和客户体验提升计划



快捷方式



开始安装……



稍等一会会……  不要捉急……



可输入许可证也可直接完成，如直接完成需要在打开软件时输入许可证。



输入许可证秘...]]></description><category></category></item><item><title><![CDATA[Maven的依赖]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/105204719</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/105204719</guid><author>BigData2018</author><pubDate>Mon, 30 Mar 2020 18:12:52 +0800</pubDate><description><![CDATA[目录一、依赖管理1、基本概念2、直接依赖和间接依赖二、依赖范围1、compile2、test3、provided4、其他：runtime、import、system等。三、依赖的传递性四、依赖的原则：解决jar包冲突1、路径最短者优先2、路径相同时先声明者优先五、依赖的排除1、有的时候为了确保程序正确可以将有可能重复的间接依赖排除。请看如下的例子：
一、依赖管理
1、基本概念
当A jar包需要用...]]></description><category></category></item><item><title><![CDATA[Python报错SyntaxError: (unicode error) 'unicodeescape' codec can't decode bytes in position 2-3:]]></title><link>https://blog.youkuaiyun.com/BigData2018/article/details/105182676</link><guid>https://blog.youkuaiyun.com/BigData2018/article/details/105182676</guid><author>BigData2018</author><pubDate>Sun, 29 Mar 2020 18:04:14 +0800</pubDate><description><![CDATA[错误原因是在windows下，你的文件路径没转义处理导致！
一 、错误演示
f = open('C:\Users\whj\Desktop\一亿测试数据.csv','r',encoding='utf8')

二、正确演示
1、使用正斜杠
f = open('C:/Users/whj/Desktop/一亿测试数据.csv','r',encoding='utf8')

2、使用双反斜杠,第一个代表转义
...]]></description><category></category></item></channel></rss>