- 博客(6)
- 收藏
- 关注
RSS订阅原创 如何保证sqoop数据同步后2边数据量一致
#1-sqoop导数sqoop import --connect jdbc:mysql://node1:3306/库名 \--username root \--password 123456 \--table dd_table \--hive-table ods.table \--fields-terminated-by '\t' \--hive-import \--hive-overwrite \--delete-target-dir \-m 1#2-查询MySQL的表的条数
2022-02-18 20:31:49
976
原创 mapjoin,bucket mapjoin,SMB join测试
mapjoin（大表join小表）1、造一个1千万条数据的表备用先借用sparksql界面运行，不要用hive运行。因为sparksql支持sequence函数，hive不支持。use test_db;set spark.sql.shuffle.partitions=100;drop table if exists test_1kw;create table test_1kw as--造1千万条数select id, ceil(1000*rand())
2022-02-17 22:53:33
1520
原创 --统计出每个用户的累积访问次数
CREATE TABLE test(userId string,visitDate string,visitCount INT )ROW format delimited FIELDS TERMINATED BY "\t";INSERT INTO TABLE test.test1VALUES( 'u01', '2017/1/21', 5 ),( 'u02', '2017/1/23', 6 ),( 'u03', '2017/1/22', 8 ),( 'u04', '2017/...
2022-02-16 17:01:13
710
原创 Hive的常用日期函数
date_format():1.select date_format('2021-01-01', 'y'); 2015 #取年份2.select date_format('2021-01-01', 'yyyy'); 2015 #取年份3.select date_format('2021-01-01', 'yyyy-mm-dd'); #取年月日4.select date_format(regexp_replace('2021/01/01','/','-'), 'yyyy-mm-dd')#
2022-02-16 00:16:09
3496
原创 Linux的替代字符串,grep 命令,find命令
替换字符串::n1,n2s/原word1/新word2/g1. sed 's/home/family/g' test.txt > test.tmp && mv test.tmp test2.txt2. awk '{gsub(/I/,"Me");print $0}' test.txt > test.tmp && mv test.tmp test2.txtgrep 命令: netstat -alnp | grep 指定 #端口被占用解决..
2022-02-16 00:04:16
1061
转载 Hive数据倾斜解决方案
数据倾斜问题剖析数据倾斜是分布式系统不可避免的问题，任何分布式系统都有几率发生数据倾斜，但有些小伙伴在平时工作中感知不是很明显。这里要注意本篇文章的标题—“千亿级数据”，为什么说千亿级，因为如果一个任务的数据量只有几百万，它即使发生了数据倾斜，所有数据都跑到一台机器去执行，对于几百万的数据量，一台机器执行起来还是毫无压力的，这时数据倾斜对我们感知不大，只有数据达到一个量级时，一台机器应付不了这么多数据，这时如果发生数据倾斜，最后就很难算出结果。所以就需要我们对数据倾斜的问题进行优化，尽量避免或减轻数
2022-02-15 23:27:47
2772
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人