- 博客(4)
- 收藏
- 关注
RSS订阅原创 用Tez替换MR作为Hive的计算引擎
用Tez替换MR作为Hive的计算引擎一、安装包准备（1）下载tez的依赖包：http://tez.apache.org2）（2）解压安装包apache-tez-0.9.1-bin.tar.gz二、在Hive中配置Tez（1）进入到Hive的配置目录：/opt/module/hive/conf（这是我的路径，根据自己的安装路径去找）（2）在hive-env.sh文件中添加tez环境变量...
2019-08-24 21:30:46
1376
原创 Spark RDD的五大特性及Spark常用算子说明
Spark RDD的五大特性及Spark常用算子说明一、RDD的五大特性1.a list of partiotioner有很多个partiotioner(这里有3个partiotioner),可以明确的说，一个分区在一台机器上，一个分区其实就是放在一台机器的内存上，一台机器上可以有多个分区。2.a function for partiotioner一个函数作用在一个分区上。比如说一个分区有1...
2019-08-24 20:50:57
587
原创 MySQL5.1.73版本的安装
MySQL5.1.73版本的安装1．查看mysql是否安装，如果安装了，卸载mysql （1）查看[root@hadoop102 桌面]# rpm -qa|grep mysqlmysql-libs-5.1.73-7.el6.x86_64 （2）卸载[root@hadoop102 桌面]# rpm -e --nodeps mysql-libs-5.1.73-7.el6.x86_642．...
2019-08-24 19:47:02
2404
1
原创 spark中rdd分区数量的决定因素
spark中rdd分区数量的决定因素1、参数配置(并行度)分区的默认个数等于对spark.default.parallelism的指定值2、根据父rdd的reduceTask数量3、读取hdfs的文件生成的rddrdd分区的数量等于hdfs的文件的block4、sparkStreaming生成的rdd根据block interval，batch interval的时间决定defau...
2019-08-24 19:10:30
2272
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人