- 博客(12)
- 收藏
- 关注
RSS订阅转载 CDH未启用认证的情况下安装及使用Sentry
https://yq.aliyun.com/articles/672068?spm=a2c4e.11153940.0.0.2c86698fOLUayG
2020-03-19 09:16:34
180
转载 MapReduce框架实现SQL基本操作的原理
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的 咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比...
2020-03-18 20:39:52
461
原创 hive注释中文乱码
hive注释中文乱码 use hive; alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8; alter table PART...
2020-03-18 20:15:03
174
转载 hive函数整理
https://blog.youkuaiyun.com/qq_34897849/article/details/102670465
2020-03-18 20:14:07
159
转载 使用cannle对mysql 数据实时同步到hbase
https://blog.youkuaiyun.com/beyond_qjm/article/details/83624896
2020-03-18 20:12:20
730
转载 sqoop sqlsever to hbase
create table student(id int,name varchar(255),score int ,home varchar(255)); insert into student VALUES(1,‘yang’,90,‘beijing’); insert into student VALUES(2,‘chong’,90,‘hanghzou’); 与mysql相比，只是改变了数据库连接...
2020-03-18 20:10:12
182
转载 sqoop mysql to hbase
mysql 建表 create table. student(id int(11),name varchar(255)); insert into student values(1,‘yang’); hbase 建表 create ‘hbase_student’,‘info’ 查看hbase中有哪些表 list hbase表不存在会自动创建 –hbase-create-table \ 无批次 sq...
2020-03-18 20:09:02
144
转载 sqoop sqlserver to hive
–全量导入hdfs sqoop import –connect ‘jdbc:sqlserver://al-node3:1433;database=test’ –username sa --password 123 –table student –target-dir “/test” –delete-target-dir –split-by id -m 5 –增量 导入hdfs sqo...
2020-03-18 20:06:47
466
转载 sqoop hive to sqlserver
不能使用–staging-table 参数 只有两种模式 更新 更新和插入 这个参数必须要加 – --identity-insert –hive建表 create table if not exists test.student( id int, name string, score int, home string ) row format delimited fields terminated...
2020-03-18 20:04:57
568
原创 sqoop 整库迁移
sqoop把mysql库中所有表一次性导入hdfs 使用import-all-tables，它是强制性的，在该数据库中的每个表必须有一个主键字段。 如果有的表没有主键会报错，提示Please specify one with --split-by or perform a sequential import with ‘-m 1’ 这是因为sqoop 默认四个任务，不指定–split-by，默认用...
2020-03-18 20:03:13
680
转载 sqoop hive to mysql
hive to mysql 有三种模式 1、默认是把hive中的数据插入到进mysql的 表中 2、更新mysql中的数据 3、更新和插入mysql中的数据 mysql 和 hive中空值存储转化 –input-null-string ‘\N’ –input-null-non-string ‘\N’ \ 先把数据导入到临时表中，成功之后 再把临时表中 的数据导入到真正 的表中。 避免导出部分任务...
2020-03-18 19:56:41
367
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人