- 博客(18)
- 收藏
- 关注
RSS订阅原创 Spark调优篇
spark调优策略 一.代码调优 1.避免创建重复的RDD，服用同一个RDD以尽可能减少RDD的数量，从而减少算子计算次数 2.对多次使用的RDD进行持久化 如何选择合适的持久化？ 首先要知道持久化的级别都有哪些 cache: MEMORY_ONLY persist： MEMORY_AND_DISK MEMORY_ONLY_SER MEMORY_AND_DISK_SER DISK_ONLY MEMORY_ONLY_2 MEMORY_AND_DISK_2 checkpoint: ①如果一个RDD的计算时间比较
2020-09-01 17:27:40
243
原创 Hive优化的方式
Hive优化 1）MapJoin 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join，即：在Reduce阶段完成join。容易发生数据倾斜。可以用MapJoin把小表全部加载到内存在map端进行join，避免reducer处理。默认是打开的，不要关闭。 2）行列过滤 列处理：在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *。 行处理：在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会
2020-08-21 17:24:41
408
原创 hive解决数据倾斜
Hive性能调优通常建议使用以下属性： hive.optimize.reducededuplication.min.reducer=4 hive.optimize.reducededuplication=true hive.merge.mapfiles=true hive.merge.mapredfiles=false hive.merge.smallfiles.avgsize=16000000 hive.merge.size.per.task=256000000 hive.merge.sparkfiles
2020-08-21 17:20:50
503
转载 HIVE如何处理大量小文件
HIVE如何处理大量小文件 一、 控制hive任务中的map数: 通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 举例： a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块（6个128m的块和1个12m的块），从而产生7个ma
2020-08-21 17:05:36
685
原创 flink知识点总结-大白话
1.什么是flink？ Apache Flink十一个能够提供毫秒级延迟，同时有保证了数据处理的低延迟、高吞吐和结果的正确性的框架和分布式处理引擎，用于对无界流和有界流进行状态计算 2.Flink 的重要特点？ 事件驱动型 基于流的世界观 在Flink的世界观中，一切都是由流组成的，离线数据是有界限的流，实时数据是一个没有界限的流，这就是所谓的有界流和无界流。 分层API 越顶层越抽象，表达含义越简明，使用越方便 越底层越具体，表达能力越丰富，使用越灵活 3.什么是有界流和无界流？ 无界数据流：有定义流
2020-07-22 09:52:10
1776
1
原创 Flink常见面试题汇总
1.面试题一：应用架构 问题：公司怎么提交的实时任务，有多少 Job Manager？ 解答： 1. 我们使用 yarn session 模式提交任务。每次提交都会创建一个新的 Flink 集群，为每一个 job 提供一个 yarn-session，任务之间互相独立，互不影响， 方便管理。任务执行完成之后创建的集群也会消失。 2. 集群默认只有一个 Job Manager。但为了防止单点故障，我们配置了高可用。 我们公司一般配置一个主 Job Manager，两个备用 Job Manager，然后结合 Zo
2020-07-21 09:52:32
1516
2
原创 MYSQL卸载方法
Linux下彻底卸载mysql详解 1、确认当前主机是否安装MySQL数据库 使用以下命令查看当前安装mysql情况，查找以前是否装有mysql rpm -qa|grep -i mysql 可以看到如下图的所示： 显示之前安装了： MySQL-client-5.5.25a-1.rhel5 MySQL-server-5.5.25a-1.rhel5 2、停止mysql服务、删除之前安装的mysql 删除命令：rpm -e –nodeps 包名 rpm -ev MySQL-client-5.5.25a-1.
2020-07-07 18:55:25
268
原创 web.xml is missing and is set to true的问题
web.xml is missing and is set to true的问题 是因为项目中没有web.xml文件， 解决步骤如下：
2020-07-01 21:12:46
176
原创 spark集群--standlone.md
1.参见网址: http://spark.apache.org/docs/latest/spark-standalone.html 2.对自己的服务器做一个规划 3.准备工作 网络 免密钥 把spark的包四台电脑都复制一份 4.启动主服务器（haodoop102） sbin/start-master.sh 会产生log日志 – 要看日志 5.查看网页 6.启动小弟(在想当小弟的服务器...
2019-12-28 14:17:37
143
原创 sqoop的基本使用
bin/sqoop list-databases --connect jdbc:mysql://jinghang02:3306/ --username root --password 000000 //将RDNMS数据导入到hdfs bin/sqoop import –connect jdbc:mysql://jinghang02:3306/school –username root –pa...
2019-12-28 14:15:50
147
原创 配置spark单机，集群及高可用和yarn
Java -version 查看 jdk版本 whereis javac 查看jdk安装路径 搭建spark 搭建单机版本 在/data/spark目录下上传spark的包 解压压缩包 tar -xzvf spark-2.4.4-bin-hadoop2.7.tgz 修改文件夹的名字(去掉版本号) mv spark-2.4.4-bin-hadoop2.7/ spark 安装好后尝...
2019-12-28 10:43:39
329
原创 bin/schematool -dbType mysql -initSchema
报这个错，是因为 关键在: com.google .common.base .Preconditions.checkArgument这是因为hive内依赖的guava.jar和hadoop内的版本不一致造 成的。检验方法: 1.查看hadoop安装目录下share/hadoop/common/lib内guavajar版本 2.查看hive安装目录下lib内guavajar的版本如果两者不一致， ...
2019-12-18 20:26:17
747
原创 HBase配置及使用
1.Why 1.1.为什么要学习hbase Web框架图 Model2 开发的顺序:从下到上 读别人代码的时候是从上到下 总结(共性) 所有的项目,数据都存储到了数据库中 数据库只认sql语句(crud) 用户会在网页上进行:点击,双击,右击,滑动此效果;会被jsp(Servlet)(java)翻译成sql语句,发送给数据库 Cud:是对数据库进行更改操作,R:对数据库进行查询操...
2019-12-13 20:24:38
365
转载 hadoop的复习点
Hadoop优势 hdfs定义 hdfs优点 什么是hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 1）Hive处理的数据存储在HDFS 2）Hive分析数据底层的实现是MapReduce 3）执行程序运行在Y...
2019-12-06 16:00:37
276
原创 zookeeper概述
zookeeper 总结 1.zookeeper是什么：是一个分布式协调服务的开源概架，主要用来解决分布式集群中应用系统的一致性问题， 本质上是一个分布式的小文件存储系统，使用目录树的方式存储数据，可以对树中的节点进行有效管理 2.zookeeper的特性： Zookeeper: 一个领导者(Leader) ，多个跟随者(Follower) 组成的集群。 2)集群中只要有半数以上节点存活，Zoo...
2019-12-04 15:02:29
204
原创 Hadoop概念试题
Hadoop的回顾以及面试试题 以下是试题及总结 1. Hadoop集群SafeMode模式 SafeMode又称Hadoop安全模式是hadoop的一种保护机制，用于保证集群中的数据块的安全性。 在安全模式下不允许客户端进行任何修改文件的操作,包括上传文件，删除文件，重命名，创建文件夹等操作 虽然不能进行修改文件的操作，但是可以浏览目录结构、查看文件内容的。 在命令行下是可以...
2019-12-01 18:42:51
1177
原创 概念梳理
hadoop1.x和hadoop2.x区别 1.Hadoop1.X就是第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中HDFS由一个NameNode和多个DateNode组成，MapReduce由一个JobTracker和多个TaskTracker组成 2.Hadoop2.0即第二代Hadoop。 hadoop2中可以让多个NameNode分管不同的目录进而...
2019-11-16 11:22:10
206
原创 linux命令总结&shell总结&如何搭建伪分布式(总结)
linux命令总结&shell总结&如何搭建伪分布式(总结) 1linux命令总结 （1）vim命令 yy 复制当前行 y数字y 从当前行开始，复制数字行 p 粘贴 u 撤销上一步 dd 删除当前行 d数字d 从当前行开始，删除数字行 x 删除一位，向后删 X 删除一位，向前删 yw 复制一个词 dw 删除一个词 shift+^ 移动到本行开头 shift+$ 移动到本行结尾 g...
2019-11-10 20:03:42
227
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人