- 博客(6)
- 资源 (3)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 flume从mysql采集数据同时存入hdfs和kafka，加载数据到hive中
1.在mysql创建表导入数据 use test; create table wlslog (id int not null, time_stamp varchar(40), category varchar(40), type varchar(40), servername varchar(40), code varchar(4...
2019-02-26 22:04:06
3056
翻译 数组学习总结
极客时间：https://time.geekbang.org/column/article/40961 数组：数组一种线性表结构，它用一组连续的内存空间，存放一组具有相同类型的数据。 线性表（Linear List）：线性表就是数据排成像一条线一样的结构；每个线性表上的数据最多只有前和后两个方向。除了数组，链表、队列、栈等也是线性表结构。 非线性表：比如二叉树、堆、图等。在非线性表中，数...
2019-03-09 10:46:59
365
转载 Mapreduce工作原理
阅读目录 一、MapReduce完整运行流程 二、MapReduce任务的Shuffle和排序过程 三、内存缓冲区：MapOutputBuffer 回到顶部 一、MapReduce完整运行流程 解析： 1 在客户端启动一个作业。 2 向JobTracker请求一个Job ID。 3 将运行作业所需要的资源文件复制到HDFS上，包括MapReduce程序打包的jar文件、配...
2019-02-27 10:25:20
595
转载 spark-submit 提交任务及参数说明
spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 1. 例子 一个最简单的例子，部署 spark standalone 模式后，提交到本地执行。 ./bin/spark-submit \ --master spark://localhost:7077 \ examples/src/main/python/pi.py...
2019-02-16 22:11:58
378
转载 Spark中yarn模式两种提交任务方式
一、前述 Spark可以和Yarn整合，将Application提交到Yarn上运行，和StandAlone提交模式一样，Yarn也有两种提交任务的方式。 二、具体 1、yarn-client提交任务方式 配置 在client节点配置中spark-env.sh添加Hadoop_HOME的配置目录即可提交yarn 任务，具体步骤如下： ...
2019-02-16 22:08:07
278
转载 Hive SQL的优化
十一、Hive SQL的优化 本章只是从HQL层面介绍一下，日常开发HQL中需要注意的一些优化点，不涉及Hadoop层面的参数、配置等优化。 其中大部分是我之前发过的博客文章，这里整理了下。 11.1 使用分区剪裁、列剪裁 在SELECT中，只拿需要的列，如果有，尽量使用分区过滤，少用SELECT *。 在分区剪裁中，当使用外关联时，如果将副表的过滤条件写在Where后面，那么就会...
2019-02-16 21:44:14
369
maven3.3.9编译hadoop2.6.5报错 帮忙解决问题
2018-06-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人