自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

Ganymede的Hadoop世界

Hadoop Spark Storm技术应用

  • 博客(252)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 Spark作业优化总结

Spark作业优化总结，针对Spark-Streaming作业，针对 Shuffle的优化

2016-04-26 00:00:34 1956

原创 Spark配置文件详解

Spark配置文件详解

2016-03-19 13:29:30 5016

原创 基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程

基于Flume+Kafka+Spark-Streaming的实时流式处理完整流程

2016-02-28 22:28:33 18249 2

原创 Linux下安装mysql-8.0.15

1、下载安装文件wget https://dev.mysql.com/get/Downloads/MySQL-8.0/mysql-8.0.15-linux-glibc2.12-x86_64.tar.xz2、解压安装文件tar xf mysql-8.0.15-linux-glibc2.12-x86_64.tar.xz迁移至 /usr/local/mysql 目录下3...

2019-04-14 19:25:53 3333

原创 检查hdfs块的块——工具fsck(file system check)

hadoop集群运行过程中，上下节点是常有的事情，如果下架节点，hdfs存储的块肯定会受到影响。如何查看当前的hdfs的块的状态hadoop1.x时候的命令，hadoop2.x也可使用：hadoop fsck /在hadoop2.0之后，可以使用新命令：hdfs fsck /返回结果截图如下：参数说明：Total size ： hdfs集群存储大小，不包括复...

2018-08-24 14:33:45 6323

原创 配置linux下的limits.conf的说明

配置linux下的limits.conf的说明

2017-10-05 16:26:43 6310

原创 Presto常用配置详细

Presto常用配置详细

2017-07-03 21:02:07 6797 1

原创 基于Zookeeper的分布式锁实现

基于Zookeeper的分布式锁实现

2017-06-29 00:29:03 953

原创 Nginx安装与负载均衡配置

Nginx安装与负载均衡配置

2017-06-24 19:55:39 1899

原创 CentOS6.x安装Postgresql9.6

CentOS6.x安装Postgresql9.6

2017-05-17 01:35:52 2158

原创 CentOS 6.x下离线安装apache2.4

CentOS 6.x下离线安装apache2.4

2017-05-04 20:08:05 2422

转载 Linux流量监控工具 - iftop (最全面的iftop教程)

Linux流量监控工具 - iftop (最全面的iftop教程)

2017-04-18 09:24:19 1116

原创 Kafka基础操作命令

Kafka基础操作命令

2017-04-11 14:21:45 1095

原创 HDFS创建快照备份数据

HDFS创建快照备份数据

2017-04-10 20:34:15 1667

原创 mysql创建索引

mysql创建索引

2017-04-10 14:01:59 512

原创 【解决】hive跑批后presto未同步源数据的问题

【解决】hive跑批后presto未同步源数据的问题

2017-04-06 17:56:59 3460

原创 maven打包跳过测试

maven打包跳过测试

2017-03-27 17:54:22 991

原创 [解决]Hive执行语句：Unable to create temp file for insert values Expression of type TOK_FUNCTION not suppor

[解决]Hive执行语句异常：Unable to create temp file for insert values Expression of type TOK_FUNCTION not suppor

2017-03-21 15:50:05 14182 1

原创 大数据SQL交互查询 presto/spark/mapreduce 计算引擎对比

大数据SQL交互查询 presto/spark/mapreduce 计算引擎对比

2017-03-16 19:20:39 4125

原创 presto使用技巧

presto使用技巧

2017-03-10 20:31:51 3162

原创 【解决】ssh: connect to host slave port 22: Connection timed out的问题

【解决】ssh: connect to host slave port 22: Connection timed out的问题

2017-03-10 16:16:00 41226 2

原创 [解决]presto查询中The node may have crashed or be under too much load.的问题

[解决]presto查询中The node may have crashed or be under too much load.的问题

2017-03-08 13:29:22 2811 2

原创 hive修改表/视图的注释

hive修改表/视图的注释

2017-02-25 16:31:44 13170

转载 Presto 来自Facebook的开源分布式查询引擎

Presto 来自Facebook的开源分布式查询引擎

2017-02-04 17:05:48 701

原创 Linux查找当前目录下的文件

Linux查找当前目录下的文件

2017-02-04 11:23:08 985

转载 [解决]/bin/bash^M: bad interpreter: No such file or directory

[解决]/bin/bash^M: bad interpreter: No such file or directory

2017-01-06 09:46:44 18767 2

原创 Scala语法中的协变与逆变

Scala语法中的协变与逆变

2016-12-21 22:52:15 1202

原创 Linux查看硬件基本信息

Linux查看硬件基本信息

2016-12-21 14:50:46 719

原创 Linux下打包压缩文件

Linux下打包压缩文件

2016-12-20 21:55:57 462

原创 查看Linux下IO使用

查看Linux下IO使用

2016-12-14 17:08:59 860

原创 解析Mysql执行语句并优化

解析Mysql执行语句并优化

2016-12-14 17:02:09 399

原创 yum安装phpMyAdmin

yum安装phpMyAdmin

2016-12-08 18:43:01 1355

原创 Linux创建用户并分配用户组

Linux创建用户并分配用户组

2016-12-08 18:37:28 3024

原创 hive使用技巧（五）—— 一行转多行,多行转一行

hive使用技巧（五）—— 一行转多行,多行转一行

2016-12-02 17:09:02 24878

原创 基于maven配置jetty运行

基于maven配置jetty运行

2016-11-28 22:50:42 635

原创 Apache负载均衡配置详解

Apache负载均衡配置详解

2016-11-28 21:52:26 3996

转载 Hive实现从表中随机抽样得到一个不重复的数据样本

Hive实现从表中随机抽样得到一个不重复的数据样本

2016-11-02 15:15:03 13869 2

原创 Java基于AES的加密与解密

Java基于AES的加密与解密

2016-11-01 17:15:06 878

原创 Hive处理JSON字符串

Hive处理JSON字符串

2016-10-27 17:32:30 28835

原创 Apache反向代理配置

Apache反向代理配置，可以实现同台或者多台服务器间的多http服务的统一代理。

2016-10-22 13:05:32 1657

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除