tiimfei的专栏

如何使用命令行在Hadoop 集群间 进行数据迁移，特别是hive表的数据迁移。

Hortonworks 的招牌一直是采用全部apache 开源方案搭建hadoop 大数据系统。 Hortonworks HDP 2.2 今年新鲜出炉， 里面集成了开源hadoop社区几乎所有最新的内容。 遗憾的是 Hue 这个目前在hadoop上最好用的查询界面 在HDP上一直不好用。 原因很简单，hue 是Cloudera 开发的， 默认集成在Cloudera的hadoop 发行版 CDH中。 因此Hue 中使用了一些CDH所特有的api。 这些api 导致hue 不能直接 和 Apache 标

我正在搭建一个基于Hadoop/hive的数据仓库方案。 使用的Hortonworks的HDP2.2 版本。   数据仓库主要的使用场景（use case） 是1. 从各数据源通过ETL 将数据汇集到hadoop 和hive中。 2. 在Hive中进行各种归集运算后，将数据结果导出到一个关系数据库中，并通过报表工具将数据展现给用户。 3. 支持数据分析师 直接登录到Hive客户端（Hu

近期在根据集群上的各节点的物理机配置对集群的内存参数进行调整。  因此较系统的学习了一下hadoop里对资源调配的各组件的相关参数。 主要包含如何设置yarn中的参数， mapreduce2的参数， 在执行hive job时可以手工覆盖的参数。首先要理解， hadoop 中 yarn 作为资源管理器， 起到一个底层的控制调配运算资源的作用。   yarn中资源的最小单位是container。 一个container 可以认为是一个运行的jvm进程。一个yarn集群中，有一个ResourceM