- 博客(7)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 hive多次嵌套使用struct时如何指定分隔符？
目前是嵌套了两层，HUE查看表结构如下： 建表语句： CREATE TABLE `test.struct_test2`( `a` int, `b` struct<b1:int,b2:struct<b21:int,b22:int,b23:int>,b3:int>, `c` int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' COLLECTION ITEMS TERMINATED BY ',' 可以看到这里指定
2021-09-14 11:12:59
485
1
转载 【转】数据仓库ODS、DW和DM概念区分
【转】数据仓库ODS、DW和DM概念区分 原文章 今天看了一些专业的解释，还是对ODS、DW和DM认识不深刻，下班后花时间分别查了查它们的概念。 ODS——操作性数据 DW——数据仓库 DM——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构，各个系统的元数据通过ETL同步到操作性数据仓库ODS中，对ODS数据进行面向主题域建模形成DW（数据仓库），DM是针对某一个业务领域建立模型，具体用户（决策层）查看DM生成的报表。 2.数据仓库的ODS、DW和DM概念 ods、dw、dm区分
2020-11-19 14:46:36
426
原创 scala处理科学计数法的时间
遇到了一个科学计数法表示的时间1.3815072E+12，想要将其转换为指定格式yyyy-MM-dd HH:mm:ss，思路如下： import java.text.SimpleDateFormat import java.util.Date object test { def main(args: Array[String]): Unit = { val decimal = new java.math.BigDecimal("1.3815072E+12") val timesta
2020-11-16 11:43:56
722
原创 hive表加载数据
hive表加载数据 总结自己在hive表中常用的几种载入数据的方式 1. load data （常用） load data inpath ‘/集群路径.txt’; load data local inpath ‘/本地路径’; 2. select（偶尔用） insert into table tablename1 as select * from tablename2 3. insert（基本不用） insert into table tablename (id,name) values (001,aa
2020-09-29 12:01:48
249
原创 hive内部表外部表的挂载数据、删除数据及修改原数据
标题hive内部表外部表的挂载数据、删除数据及修改原数据 各种细节,一一帮你踩坑 原数据 1700 Beijing 1800 London 1900 Tokyo 建立外部表： create external table student id int name strin )row format delimited fields terminated by ' ' 加载本地数据： load data local inpath '/root/data/student.txt' into table st
2020-09-29 09:27:18
1536
3
原创 Hadoop高可用+联邦机制简谈
Hadoop HA及联邦机制配置指南一 Hadoop HA机制存在原因1.1 HA：High Available，高可用1.2 如何解决：1.3 集群规划样例：二 HAhadoop安装配置2.1 以3台机器配置 hadoop HA 为例2.2 提前工作2.3 Hadoop集群模式环境部署 HA一、服务节点的部署规划二、ZooKeeper 配置--分布式模式三、配置 Hadoop 集群1)、core-site.xml2)、hdfs-site.xml3)、mapred-site.xml4)、yarn-site.
2020-08-17 20:40:25
739
网络舆情分析系统的设计与实现.rar
2019-06-10
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人