- 博客(6)
- 收藏
- 关注
RSS订阅原创 竖表转横表的sql优化
还是接手同事的代码。之前没有想着要优化，但是自己测试的时候，发现10460的数据，三个属性打横，mysql引擎，居然耗时302.985s！！！！！这你能忍？？果断开始优化。源表：目标表：原方案：CREATE TABLEIF NOT EXISTS student_cross1 ( id INT NOT NULL AUTO_INCREMENT, PRIMARY KEY (id)) AS SELECT `name`, class, ( SELECT..
2022-05-24 15:55:08
494
1
原创 Scala json转复杂对象(含数组)的工具类
友友之前接手同事的代码的时候，被一整溜儿的 JSONObject.get 给妥妥的震惊了。作为一个java面向对象开发的信徒外加强迫症，实在无法接受这种写法，于是，二话不说，给他改。scala是基于Java开发的，所以，理论上，java能实现的方法，scala也是可以实现的。但是对于列表元素是对象的json转化，java的那些方法似乎不是那么好使，以下是好使代码pom: <dependency> <groupId>com.f
2022-05-13 15:38:00
615
2
原创 Azkaban的executors与重启问题解决
文章是流水账，记录了处理问题的心路历程，不要嫌弃耐心观看呦，也可以直接划到结尾，看总结~事情经过：项目一直用azkaban来调度任务。前段时间，服务器异常终止，运维小哥哥教我直接调用sh start-exec.sh脚本启动，解决。这次，azkaban的一个任务一直preparing，于是就kill掉这个任务，然后发现一直kill不掉。我就去度娘，发现一直preparing可能是内存问题，或者executors问题。详见https://blog.youkuaiyun.com/qq_43771096/artic
2021-04-13 11:50:59
4444
3
原创 idea在循环过程中的debug小技巧
今天博主学到了一个新的小技巧，来自同事的分享，特此分享给大家。大家在循环需要debug的时候，只想要看某一符合条件的元素的debug过程，是不是还在手动的一个一个点，直到循环到符合元素。其实idea的debug是支持条件查看的。首先，写一个循环语句。public class Main { public static void main(String[] args){ ...
2019-10-29 20:30:46
12084
3
原创 在presto中使用hyperloglog计算uv（设定精确度）
HyperLogLog利用基数估计算法，通过概率，在不追求绝对精确的情况下，可以有效的在大数据场景中统计uv值，同时消耗更少内存，并且大大减少计算时间。对于HLL的算法详解，大部分博客都记录的很详细，随意贴上个链接就很够用——HyperLogLog算法详解presto中也兼容了对HLL的使用，下面将介绍一下，如果在presto中使用HLL计算uv1.建表。对于要计算uv的字段，需要用p...
2019-10-29 15:25:32
1680
2
原创 利用oss实现下载功能
目前我接触的实现下载功能有3种方式。第一种，就是把要下载的内容写到本地目录，然后把目录返回给前端，利用a标签下载。第二种，本地不允许访问，挂载目录，使目录可以对外访问，同样的，把目录返给前端下载。第三种，使用第三方存储，其中阿里云oss就是一种可以用来实现的对象存储。首先，导入依赖包<dependency> <groupId>com.aliyun....
2019-10-28 17:44:39
5749
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人