大数据
关注
分享
扫一扫
「已注销」
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【大数据】Hive: 获取字段数据类型
2018.12.01文章目录前言方法前言某项目涉及将Hive中的textFile表转换成parquet表，由于parquet表不支持date类型，需要判断字段是否是date，并cast成timestamp。方法采用DESCRIBE语句1既可：DESCRIBE [FORMATTED] [db_name.]table_name[.complex_col_name ...]DE...原创 2018-12-01 23:48:04 · 14524 阅读 · 0 评论 -
【大数据】Hive: 创建分区表（partition表）及分区表导入csv文本文件数据
2018.11.21文章目录前言方法前言某项目生产环境中的Hive是按月份分区，而测试环境的没有分区，导致部分功能无法验证。方法基本思路：分别创建两个表，一张是分区表，另一张是非分区表，表结构相同；再通过insert语句将非分区表的数据插入到分区表1。要注意是，分区表的插入分两种：静态插入和动态插入。在一般情况下，Hive不建议直接使用动态插入2，所以有个默认情况下是不允许使用动态...原创 2018-11-21 22:07:27 · 4505 阅读 · 0 评论 -
【大数据】HDFS Java API配置用户（远程用户）
HDFS Java API配置用户（远程用户）2018.010.26前言某项目使用HDFS Java API操作HDFS，但在本地机器运行单元测试时发现会出现permission denied的问题，原因是该单元测试是直接操作HDFS集群，而本地运行单测时默认会使用本地机器的登录用户去操作HDFS。为了保证单测在不同机器上运行结果一致，就需要在配置HDFS时设置集群环境中的远程用户。方...原创 2018-10-26 19:09:11 · 2578 阅读 · 0 评论 -
【大数据】HDFS Java API按行读取
HDFS Java API按行读取前言翻译自stackoverflow一回答1方法public void test() throws Exception { Path path = new Path("hdfs://pathToFile"); FileSystem fs = FileSystem.get(context.getConfiguration); BufferedReade...翻译 2018-10-23 16:45:47 · 2480 阅读 · 0 评论