Andy-Hadoop-优快云博客

原创 Hive-为什么没有启动MapReduce任务

Hive-fetch task 优化hive.fetch.task.conversionhive.fetch.task.aggrhive.fetch.task.conversion.threshold

2017-06-07 20:41:26 4234

原创磁盘坏道引起的hbase查询错误

1、现象说明早上，客户反映某些日期的历史数据查询不出来（我们系统将历史的汇总数据是保存到Hbase中），从查询端的日志看查询失败（查询端是erlang写的分布式查询引擎）。erlang是通过HBase提供的thrift 服务接口来查询hbase的，所以进一步去查看thrift server的日志信息，发现如下的错误：备注：并不是所有的查询都失败，只有某些站点的某些日期的数据查询失败。2、问题

2017-03-09 14:16:54 2710

原创 hdfs中snapshot的解释

一、snapshot的定义： snapshot是hdfs的整个文件系统，或者某个目录在某个时刻的镜像。该镜像并不会随着源目录的改变而进行动态的更新。二、使用snapshot可以解决的问题（1）防止用户的误操作管理员可以通过滚动的方式来对重要的目录进行创建snapshot的操作，这样在系统中就存在针对某个目录的多个快照版本。当用户误删除掉某个文件时，可以通过最新的snapshot来进行相

2017-02-19 11:17:21 3177 1

原创 HDFS的坏盘相关的处理

一、坏盘的识别 hdfs不会直接和磁盘进行打交道的，它是通过识别dfs.datanode.data.dir（dfs.data.dir）和yarn.nodemanager.local-dirs（mapred.local.dir）两个属性所指定的目录的可用性来间接识别磁盘的可用性的，一般情况下一个目录会单独对应着一个磁盘。Hdfs认为目录或者磁盘是有效的标准为： 1. The specified

2017-02-19 08:59:38 4672

原创检查HDFS的健康状态

首先需要明确的问题是：HDFS健康的标准是什么样的呢？如果所有的文件满足最小副本的要求，那么就认为文件系统是健康的。（HDFS is considered healthy if—and only if—all files have a minimum number of replicas available）如何检查HDFS的健康情况呢？ hadoop提供了fsck tool来对整个文

2017-02-18 11:13:29 5614

csdn上的第一篇博客好久没有写技术博客了，最近三年一直在创业公司工作，每天需要解决各种问题，包括技术、管理、协调等。期间积累的各种知识更多的是写到了内部的confluence wiki中，是时候将其搬到博客中了。（之前一直在用百度空间写文章，里面更多的是在生产环境中使用hadoop生态系统的各个组件所遇到的各种问题以及hadoop源码的分析，不过很多代码的架构已经调整了，具体的链接： https

2017-02-18 10:35:18 350

大数据之路：阿里巴巴大数据实践

大数据之路：阿里巴巴大数据实践大数据之路：阿里巴巴大数据实践

2018-05-24

手机号码归属地数据库

CREATE TABLE `mobile` ( `id` mediumint(8) unsigned NOT NULL AUTO_INCREMENT COMMENT '主键', `phone` char(9) NOT NULL DEFAULT '' COMMENT '手机号码段', `province` char(10) NOT NULL DEFAULT '' COMMENT '省份', `city` char(10) NOT NULL DEFAULT '' COMMENT '市', `service_provider` char(10) NOT NULL DEFAULT '' COMMENT '运营商', `city_code` char(9) NOT NULL DEFAULT '' COMMENT '区号', `postcode` char(9) NOT NULL DEFAULT '' COMMENT '邮编', PRIMARY KEY (`id`), UNIQUE KEY `phone` (`phone`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='全国手机号码段归属地';

2018-05-24

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

早睡早起的Hadooper

原创 Hive-为什么没有启动MapReduce任务

原创磁盘坏道引起的hbase查询错误

原创 hdfs中snapshot的解释

原创 HDFS的坏盘相关的处理

原创检查HDFS的健康状态

原创 csdn上的第一篇博客，新的技术里程的开始

大数据之路：阿里巴巴大数据实践

手机号码归属地数据库

数据仓库工具箱维度建模权威指南第3版

Spark The Definitive Guide

机器学习实战

c语言编写的下雨程序

空空如也

原创 Hive-为什么没有启动MapReduce任务

原创 磁盘坏道引起的hbase查询错误

原创 hdfs中snapshot的解释

原创 HDFS的坏盘相关的处理

原创 检查HDFS的健康状态

原创 csdn上的第一篇博客，新的技术里程的开始

大数据之路：阿里巴巴大数据实践

手机号码归属地数据库

数据仓库工具箱 维度建模权威指南 第3版

Spark The Definitive Guide

机器学习实战

c语言编写的下雨程序

空空如也

原创磁盘坏道引起的hbase查询错误

原创检查HDFS的健康状态

数据仓库工具箱维度建模权威指南第3版