- 博客(5)
- 收藏
- 关注
RSS订阅转载 Hive自定义UDF,生成32位随机数
引言曾经认为Hive自带的函数应该可以cover住我的日常所需，心想那些需要使用自定义函数的场景是不是太奇葩，谁知命运弄人，自己还是碰上了。需求很简单，我需要模拟Oracle中的SYS_GUID()函数，生成一个32位的字母数字随机串。开发环境：Eclipse+Maven，引入Hive0.13.1的依赖。package cn.fulong.bigdata.tools;i...
2019-09-19 13:26:00
729
转载 MySQL
1.1数据概念什么是数据库数据就是存储数据的仓库，其本质就是一个文件系统，数据按照特定的格式将数据存储起来，用户可以对数据库的数进行增加，修改，删除及查询等什么是数据管理系统数据管理系统：指一种操作和管理数据的大型软件，用于建立，使用和维护数据库，对数据库进行统一管理和控制，一保证数据库的安全性和完整性。用户通过数据据管理系统访问数据库中表的数据数...
2019-09-05 21:49:00
409
转载 Excel整理测试数据
(1)生成范围内随机数=randbetween(最小整数,最大整数)注:对于要求唯一的数据,选中该列;在数据选项中,点击删除重复值选项(2)生成范围内的随机日期=TEXT(RANDBETWEEN(最小整数,最大整数)+("指定日期"),"YYYY-MM-DD")=TEXT(RANDBETWEEN(0,100)+("2019-01-01"),"YYYY-MM...
2019-09-04 15:14:00
352
转载 调度工具（ETL+任务流）
1.区别ETL作业调度工具和任务流调度工具kettle是一个ETL工具，ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程）。kettle中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。所以他的重心是用于数据oozie是一个工作流，Oozie工作流是放置在控制依赖DAG（有向无环图 ...
2019-09-03 23:18:00
3045
转载 数据仓库
1.1数据仓库概念什么是数据仓库？数据仓库本身并不“生产”任何数据，同时自身也不需要“消费”任何的数据，数据来源于外部，并且开放给外部应用目的？构建面向分析的集成化数据环境，主要职责是做分析，对仓库里面的数据来做分析，数据分析可以支持我们做决策数据分析特征：（1）面向主题：数据分析有一定范围，需要选取一定的主题进行分析（比如：我们针对订单分析，那么可能跟我们的商品...
2019-09-03 23:01:00
272
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人