jy00885876的专栏

原创 canal_json_to_doris

canal to doris

原创 flink sql 多个 group by插入一个表

使用'format' = 'canal-json'多个inset into d1select a,b from x1 group by c;inset into d2select a1,b1 from x2 group by c1;inset into d3select a2,b2 from x2 group by c2;d1,d2,d3 都是同一个表只是字段不一样1 遇到第一个问题 如果数据有回撤 会将整条数据删除so 将where 条件 放到distinct case when里2 再更新的时候

原创 flink mysql断开连接 使用druid 重写 flink-connector-jdbc_2.11-1.14.3.jar

flink mysql 老是断开

原创 maven setting.xml 配置多个仓库 mirror 不行，得用profiles

111

原创 阿里注定陨落

阿里不行了

原创 spark

spark-sql 提交至yarn 执行

原创 flink canal-json

flink

原创 hive 3.几每次插入增加一个目录base_0000x

sqoop导出的时候出现问题导出的时候会将之前的文件夹里的都导出一查原来是3.x 创建表默认支持acid这个基本不需要这个功能 去掉之后 删掉旧表，创建一个新的就ok了hive.strict.managed.tables=false hive.create.as.insert.only=false metastore.create.as.acid=false...

原创 bigtop 创建源并且 deploy 到独立机器上

bigtop

原创 superset 连接 mysql8.0 连接 presto

root进入docker exec -it -u root 2a2c23bfc165 /bin/bash升级pip3pip3 install --upgrade pip安装mysqlclientpip3 install mysqlclient调整 config.py 绕过csrfPUBLIC_ROLE_LIKE_GAMMA = TrueWTF_CSRF_ENABLED = False安装 prestoimport requestsfrom sqlalche..

原创 docker 集群 zk

踩坑 你妈version: '3.4'services: zoo2: image: zookeeper:3.4.14 restart: always hostname: zoo2 container_name: zoo2 ports: - 2181:2181 - 2888:2888 - 3888:3888 volumes: - "/home/data/zookeeper:/data" environment:...

原创 虚幻5 亿面原理猜想

再多的三角形 在显示器里也是像素点。看了虚幻5的演示里，里面的主持人说是将三角形变成了像素点 这毅哥可能就是亿面的关键了。如果距离够远那么三角形大小其实就是一个像素点，那么这个点基本是别的三角形的顶点，如果不是则构造一个新的三角形，只要将这个顶点插值计算颜色即可。但是这么搞的话 缓存就变得困难，基本上就是将一个模型分成几部分存储如果摄像机的距离不变那么看到的三角形还是像素点。缓存不变，大概是这么一个道理吧。或者是基本的图形存储起来，细节分开存储。嗯嗯~~其实和做服务器架构一个道理吧。...

原创 flink 分页读取mysql

其实在官网的例子里有 但是baidu查不到package org.example;import org.apache.flink.api.common.typeinfo.BasicTypeInfo;import org.apache.flink.api.common.typeinfo.TypeInformation;import org.apache.flink.api.java.io.jdbc.JDBCInputFormat;import org.apache.flink.api.ja

原创 kylin 链接superset

http://localhost:7070/kylin/api/tables_and_columns?project=learn_kylin查看他的table_SCHEM DEFAULT 填入schem中 然后就可以连接了

原创 Fluentd+InfluxDB java日志收集系统搭建

<match system.*.*> type influxdb dbname test flush_interval 10s host 192.168.200.11 port 8086</match>这样会丢数据要加 time_precision ns安装Fluentdcurl -L https://toolb...

原创 activiti5 bean

@Beanpublic SpringProcessEngineConfiguration processEngineConfiguration(@Qualifier("primaryDataSource")DataSource primaryDataSource, DataSourceTransactionManager primaryTransactionManager){ Spri...

原创 tk mybatis join 方案 最小改动兼容之前的condition

import org.apache.commons.beanutils.BeanUtils;import tk.mybatis.mapper.entity.Condition;import tk.mybatis.mapper.entity.EntityColumn;import tk.mybatis.mapper.entity.Example;import tk.mybatis.map...

原创 记一次二手笔记本死机故障排除

买了L510 但是会突然死机，然后磁盘那个亮亮的不亮了 猜测是换六ssd的原因 。但是很有规律离开半小时之后就死机。猜测某个配置触发了硬盘的断开。看电源配置高级设置 pci express 电源管理 关闭。随不死机了。...

原创 千万不要用idea 编辑android项目

有时候会把android项目的sdk编程 java项目的sdk 结果导致打包失败~~~

原创 最简单秒杀系统设计

比如我有100件商品抢购。那么10000个人抢前200个入redis key 为 fasterman的list里。一旦list的数量大于200个则返回抢购完毕。而入这200个的人则需要知道是排在中的前100个那么就返回成功。如果是那100个后面的也返回抢购完毕。抢购成功滴进入购买商品逻辑。...

原创 关于mycat

关于mycat分页的一些问题。分页是肯定全表查的。但是我们可以优化语句，可以让客户端把上个分页的最后一个id传回服务端，那么每次查询都是limit0，10。这比limit100000，100010快上无数倍。然后是一些join的语句很多join的语句是没有意义的。完全可以不用join比如有a 和 b表select * from a join b on a.id = b.pi...

原创 关于数据库mvcc如何破解。

比如我有一账号里面有余额1000。然后发起一个事务，select * from account where uid = 1 发现余额1000。结果这个时候另外一个事务已经提交账号减去800，这个时候呢实际账户只有200元，而且因为mvcc的原因你如果再去查询的话结果还是余额1000。如果使用update account set money = money -1000 where uid =...

原创 使用bitcoinj 和 Insight-api创建没有sp节点的钱包

bitcoinj好是好但是需要下载钱包的数据这个一下可能就20分钟，然后本地还会有300m的节点数据。如果是android的钱包的话，300m就是比较不可以接受的呢 因为还要不断更新数据。最好的方法就是使用Insight的apiInsight的api有查询地址的utxo还有send rawtx交易的功能android只需要组装rawtx即可，因为他是在本地组装的所以没有泄漏...

原创 json 数组一个问题

老夫需要在一个字符串中查找是否有某个值、使用fastJson发现性能其实并不好后来发现其实不需要将他反序列化成jsonobject或者类 我只需要在字符串里查找该值即可所花费减少了很多倍 public class JSONStringUtil { public static String getStringFromJsonByKey(String str,String...

原创 spring mvc 攔截器跨域問題

@Overridepublic boolean preHandle(HttpServletRequest request, HttpServletResponse response, Object handler) throws Exception { System.out.println("-------------------preHandle"); response.set

原创 redis eval geoadd php

嘛了个蛋 昨天看redis文档说是3.0之后支持geo然后我试了下 果然可以 然后我看redis 的php 并不支持这个geo但是可以用eval 来调用redis内部的lua来调用他的命令 但是尼玛直接出错。然后我就进了redis-cli 来调试结果发现还是不行 eval "retrun geoadd  'sd' 1.1212 1.2121  'sdsd'" 0报错 但是像其他的r

原创 360 baidu杀毒

本来已经卸载了360没想到baidu静默安装了杀毒软件 还删不掉尝试很多遍之后重新安装360 卸掉了baidu杀毒。。

原创 string 转 html js textarea text 转div

String.prototype.replaceAll = function(s1,s2){ return this.replace(new RegExp(s1,"gm"),s2); } var textTohtml = function( $str ){    return $str.replaceAll("&", "&")    .replaceAll(" 

原创 canvas 层的控制

Document      canvasFn = {};canvasFn.isEmpty = function($var){if( typeof $var == 'undefined'|| $var== 0 || $var == ''|| $var== null || $var == false){return true;}return false;

原创 iis web.config 如果不是文件或者文件夹就rewrite 伪静态

原创 remote_addr

remote_addr是服务器或者的握手ip不是在http头里面的这个改了的话 客户端就收不到信息了 所以无法修改 但是如果通过代理就显示代理ip

原创 php 一行行读取utf16le文件转化为utf-8

utf16是两个字节存储1个字utf8有可能是一耳光z

原创 android点击传递方式

从离人最近的view开始如果是半透明的话就往下面的层扩散。如果

原创 智能cut php 切割图片

/*** 智能裁剪 裁剪中间部门* @param int $width 要裁剪的宽度* @param int $height 要裁剪的长度* @param string $imgpath 来源图片地址* @param string $topath 生成图片地址* @param boolean $isPadding 是要填充模式吗* @param string $padd

原创 java的锁

synchronized 锁保持一个线程对该实例有操作权限锁就是防止在这个线程

转载 经典sql语句

select a.title,a.username,b.adddatefrom table a,(select max(adddate) adddate from table where table.title=a.title) b这里select max(adddate) adddate from table where table.title=a.title就相当于一个临时

原创 利用Application在同一应用的各个activity传值

Application是用来管理整个应用的所以他的 参数是整个进程里面都存在的 <application android:name=".world.Myapplication"然后在world包里面自己定义一个  public class Myapplicationextends Application{ public int xx = 1;//xx在所有

原创 如何获取屏幕长宽 android

看了很多资料都是  用getWindowManager().getDefaultDisplay().getWidth();的方式并不能准确的得到屏幕长宽。应为平板啊 啥的貌似不行最靠谱的方法就是去测量一个撑满全屏幕的控件的长宽 像很多软件一开始有几张图片让你滑动 就i是为了初始化系统的一些参数 把这些参数写到配置文件里面  以后调就行了 done!

原创 超出屏幕的图片随意挪动哦

OnTouchListener imageButtonTouchListener = new OnTouchListener() { public boolean onTouch(View v, MotionEvent event) { // TODO Auto-generated method stub if (event.getAction()== Motio

转载 安卓 view.setOnTouchListener为什么检测不到move呢

android:longClickable="false" 改成 android:longClickable="true"哎浪费我时间啊