- 博客(18)
- 收藏
- 关注
RSS订阅原创 已知某家基金公司在全国拥有多家代销机构代销其基金产品，每家代销机构下辖多个代销网点，每个代销网点下有多个销售员，此外不同销售机构的销售网点代码可能相同，同一销售机构的销售网点不可相同。
已知某家基金公司在全国拥有多家代销机构代销其基金产品，每家代销机构下辖多个代销网点，每个代销网点下有多个销售员，此外不同销售机构的销售网点代码可能相同，同一销售机构的销售网点不可相同。下表为代销机构的代销网点销量统计表：下表为销售员与代销机构、网点关系表：因某些原因，部分销售机构网点未配置销售员，因此总部决定，以销售机构划分，将该销售机构下未配置销售员的网点销量分摊到该销售机构下有销售员的网点上，重新计算销量统计表，用于销量考核。1.第一种分摊方式：按照销售网点销售员数量分摊，生成.
2022-04-29 16:17:22
1384
1
原创 hive表加字段sqoop同步到mysql，新字段内容同步不过去，同步报错。
做hive数据仓库的时候，我想大家都遇到同步数据到各个业务系统的事情，当之前开发的一个同步任务需要新增一些列的时候，当再次使用sqoop脚本进行hive到mysql数据同步操作的时候，问题出现了。问题1：同步过程中报新增的某个字段can't be null 不能为空的错误因为如果mysql侧新增的列加了not null 的约束，那么同步数据可能报这个错，解决办法，删掉hive的表重新创建表，再次同步，就好了，当然不能轻易删掉，删除之前做备份，然后再将备份的数据插入到重建的表中。问题2：同步过程不
2021-08-11 17:00:24
714
原创 hive查询或者插入数据报return code 2的错误
org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask at org.apache.hive.service.cli.operation.Operation.toSQLException(Operation.java:3...
2021-08-04 12:53:54
13614
1
原创 spark处理中有中文乱码的问题
//解决本地idea程序向hadoop集群的hdfs上写数据的问题System.setProperty("HADOOP_USER_NAME","root")//解决spark处理中有中文乱码的问题，在main方法中添加如下代码System.setProperty("file.encoding", "UTF-8")
2020-05-12 20:07:49
1052
原创 hive 静态分区 动态分区 批量删除分区
1，首先在虚拟机的note-01的节点（也就是hive服务器所在的Linux电脑上）上创建一个user_partition.txt文件。cd /root/hivefilevim user_partition.txt向user_partition.txt文件添加如下内容1,tom,usa,newyork2,james,usa,newyork3,jon,usa,newyo...
2020-03-22 22:05:57
1839
原创 MapReduce 分组top n编程
注：技术交流可以加我VX：k-loop，昵称：默读者。需求：有一个order.txt文件，存放位置(D:\test\order.txt)里面存放的内容如下。第一列orderId 订单id，第二列orderName 商品名称，第三列price 价格。1 小米10pro 59991 华为mate30 49992 味全乳酸菌 4.52 优酸乳 10.94 大碗宽面 12...
2020-03-20 18:40:02
287
原创 mysql8 hive oracle 窗口函数，分摊金额
注：技术交流可以加我VX：k-loop，昵称：默读者。需求：一个订单2000块钱对应4个子订单，这笔订单优惠了200块钱，然后将200块钱需要根据子订单的金额/订单2000块钱，进行分摊。但是最后一笔，需要用200-之前3比分摊出去的金额，这样4笔子订单加一块才是200元。-- 创建订单表create table `order`(id int, -- 订单idprice DOU...
2020-03-17 18:49:20
968
1
原创 Linux搭建集群
本地配置host迎神C:\Windows\System32\drivers\etc192.168.153.101 note-01192.168.153.102 note-02192.168.153.103 note-03192.168.153.104 note-04#ifconfig eth0|grep "inet addr"|awk '{print $2}'|awk -F ":"...
2020-03-08 18:14:59
227
原创 Oracle时间表
SELECTTO_CHAR(c_date, 'yyyy-mm-dd') AS TJ_DATE -- 自然日,to_char( TRUNC(c_date , 'IW'),'yyyy-mm-dd') AS W_BEGIN --周开始,to_char(trunc(c_date, 'IW') + 6 , 'yyyy-mm-dd') AS W_END--周结束--,trunc((to_numb...
2019-10-21 18:55:25
467
原创 hive时间上减去不足1天的写法
--将日期字段减去12个小时from_unixtime(unix_timestamp(日期字段)-43200,'yyyy-MM-dd HH:mm:ss') as A如果减去3个小时那就将43200换成3*60*60（计算3个小时等于多少秒即可）...
2019-10-18 16:50:34
4815
原创 hive 分组取top n的写法
注：技术交流可以加我VX：k-loop，昵称：默读者。创建测试表create table tmp_ma(class string comment'品类',brand string comment'品牌',sales int comment'销量')插入测试数据insert into tmp_ma(class,brand,sales) values('手机','小米...
2019-07-16 14:19:16
561
原创 python精确查找表名出现在那些hivesql中
注：技术交流可以加我VX：k-loop，昵称：默读者。场景：当我们编写了一堆hivesql文件时，突然有一天发现其中使用的一张表不能用了，这个时候，需要将此表替换成新表，笨的方法是挨个查看每一个hivesql脚本。为解决此问题。开发了一个python脚本。欢迎指导。#-*- encoding:utf-8 -*-#用途：从所有的HQL中检索输入的表名，看那些HQL使用了输入的表。...
2019-07-08 18:27:51
395
2
原创 HIVE的left semi join （in和exsist）与 join（inner join） 相同点与区别
注：技术交流可以加我VX：k-loop，昵称：默读者。1，创建用户表create table tmp_user(uid string comment'用户ID',name string comment'用户名')comment'用户表';插入测试数据insert into tmp_user(uid,name) values('A','理财规划师A')...
2019-07-05 14:05:19
1047
原创 HIVE的join，left join，in等使用
注：技术交流可以加我VX：k-loop，昵称：默读者。1，创建用户表 create table tmp_user(uid string comment'用户ID',name string comment'用户名')comment'用户表';插入测试数据 insert into tmp_user(uid,name) values('A','理财规划师A'...
2019-07-04 15:37:10
1083
1
原创 oracle连续天数的计算
注：技术交流可以加我VX：k-loop，昵称：默读者。--1，创建一个用户登录表create table tmp_ma(u_id varchar2(20) ,login_day date);comment on table tmp_ma is '用户登录表';comment on column tmp_ma.u_id is '用户id';comment on colu...
2019-06-24 18:20:50
1156
原创 HIVE行转列和列转行
注：技术交流可以加我VX：k-loop，昵称：默读者。1，表tmp_ma中，存放了用户A，出现在（北京市,长春市,吉林市）3个城市。 uid stage A 北京市,长春市,吉林市 需求：查看每个城市出现的会员分析：将（北京市,长春市,吉林市）按照（,）分隔，然后转换成3行数据展示语句：s...
2019-06-24 15:14:36
427
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人