- 博客(14)
- 资源 (15)
- 收藏
- 关注
原创 ipv4与十进制整数的转换
样例数据:184.153.243.168 和 3097097128。1、ipv4转十进制整数。2、十进制整数转ipv4。
2024-04-24 17:23:34
281
1
原创 IDEA工具栏显示
视图 | 外观 主菜单 的右侧有开启和关闭,点击开启,工具栏就出来了。退出微信、钉钉等可能起快捷键冲突的app;CTRL+SHIFT+A ,输入menu。
2023-11-23 17:25:12
259
原创 指定文件格式写入hdfs目录
insert overwrite directory '/dw/ads/ads_dailyreport_rcfile/dt=20231024' ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\n' NULL DEFINED AS '' STORED AS rcfile select user_level,uv from dailyreport_info where dt='20231024'
2023-10-26 16:39:40
103
1
原创 连续签到的天数
<题目>给定一张用户签到表user_attendence,表中包含三个字段,分别是用户ID:【user_id】,日期:【date】,是否签到:【is_sign_in】,0否1是。<问题1>计算截至当前,每个用户已经连续签到的天数:要求输出用户ID【user_id】和连续签到天数【recent_continuous_days】...
2021-05-30 14:27:24
527
1
原创 is running beyond physical memory limits
问题:Diagnostics: Container [pid=39140,containerID=container_e10_1565335325310_20621_02_000001] is running beyond physical memory limits. Current usage: 4.5 GB of 4.5 GB physical memory used; 6.6 GB of ...
2020-03-04 08:29:31
750
原创 org.apache.hadoop.ipc.RemoteException
Job Submission failed with exception 'org.apache.hadoop.ipc.RemoteException(File /tmp/hadoop-yarn/staging/gongsi/.staging/job_1565942010093_25147/libjars/commons-compress-1.4.1.jar could only be repli...
2019-09-02 15:25:47
718
原创 jdk版本卸载安装mac
1 终端执行:sudo rm -rf /Library/Java/JavaVirtualMachines/jdk1.7.0_80.jdksudo rm -rf /Library/Java/JavaVirtualMachines/jdk1.8.0_40.jdksudo rm -rf /Library/PreferencePanes/JavaControlPanel.prefPanesudo ...
2019-09-02 15:24:08
154
原创 简述如何得到map 个数
我总结的还待改进:dfs.block.size=128 集群块的大小total_size 每个文件的大小;default_num =total_size/dfs.block.size ;default_num =max(default_num,集群默认2)可以根据map.mapred.task 来指定map数量,前提是,这个数量大于split_num 生效;还有两个...
2019-08-22 15:11:27
1426
原创 根据价格变动求销售总量,有日期跨度的
问题:有一张表存了每天货品的销量,另一张表存了每个物品一年内的价格变化,这个价格表是只有价格变化才会有记录,所以这张表日期不全 ,如何计算每个商品一年的销售总价?一、下面是我写的sql,如果你有更好的办法请不吝指教 ~select s1.name,sum(s1.num*s2.salary)from 销量 s1join( -- 每个商品每天对应的最近的单价 sel...
2019-08-22 14:53:15
248
原创 presto,hive查询比较,presto缺点
presto:default> select * from mds_bhv where dt='20190319' limit 10;Query 20190418_083902_00583_dewqj, FAILED, 1 nodeSplits: 17 total, 0 done (0.00%)0:00 [0 rows, 0B] [0 rows/s, 0B/s]Query 201...
2019-04-18 16:51:28
2948
1
原创 Mac 添加 hosts
Mac OSX的hosts文件位于/private/etc/hosts。记得用sudo权限编辑即可。在文件中添加如下内容:xxx.xxx.xxx.xxx (ip地址) abc.com(你的host名称)
2019-04-16 17:48:32
1813
原创 java.lang.IllegalArgumentException: Illegal pattern component: XXX
问题、Spark bug:java.lang.IllegalArgumentException: Illegal pattern component: XXX 解决办法原因概述:代码用到了调用spark.read.json,maven升级的时候,没有自动加载完整依赖包解决方式手动增加lang包的依赖,在pom文件里面增加:<dependency><...
2019-04-16 15:45:44
1260
原创 Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder'
问题 User class threw exception: java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder':解决:代码里config 配置信息异常;hive.exec.scratchdir 的配置拼写异常...
2019-04-16 15:44:51
2612
1
原创 org.apache.spark.sql.AnalysisException: Table or view not found: testtable
问题 User class threw exception: org.apache.spark.sql.AnalysisException: Table or view not found: testtable; line 1 ;解决办法,引入--files /data0/spark/spark-2.2.1-bin/conf/hive-site.xml...
2019-04-16 15:43:42
1911
1
Java反编译eclipse插件
2012-03-14
因果图 单价为5角的饮料自动售货机
2010-09-20
简单的购物车Java程序代码
2010-01-06
网上售书数据库课程设计
2010-01-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人