- 博客(9)
- 收藏
- 关注
RSS订阅原创 袋鼠云数据库数据同步之flinkx1.10版入门-搭配flink1.11
1.前提介绍公司最近有个项目要做数据库之间的数据离线同步，经过调研在git上发现了袋鼠云的flinkx插件，感觉很好用，我们可以理解flnkx就是封装了同步操作的jar包，调用起来也很方便，我们只需要关注一个json文件，里面定义好reader和writer，就能够进行数据库数据同步，当前我们的需求只需要到离线的，其实选用flinkx也是考虑到以后拓展，毕竟flink本身支持实时同步，虽然我用的程度只是基本的mysql到mysql的操作，但以后有实时需求的时候，感觉flinkx应该也会有解决方案2.
2021-04-06 20:13:54
798
原创 centos7离线安装spark2.4.7及基本pyspark运行示例
1.安装原因公司最有在搞一个项目，项目中的etl沿用了旧版本的etl，而旧版本的etl是通过pyspark做的，略坑的是旧版的pyspark用的python依赖的是centos7自带的，也就是python2.7，作为曾经被python2.7一通好坑的我，想着说啥得把python版本换了，因为低版本的python2.7官方都早已不维护了，缺少sparksql中各种api以及python里的api，总之我是不换不行了。由于以后的实施环境都是内网，所以不能采用在线安装方式，所以这里需要离线安装python3.
2021-01-21 16:17:52
949
原创 springboot+mybatis+达梦数据库最简demo
1.需求公司最近需要使用国产数据库，因为oracle，mysql，pg等库都是国外的，战略上不安全，所以需要调研一下达梦，看看和mybatis的适配，可能是由于springboot实在太方便了，所以每次新项目总是拷过来拷过去的，这导致很多臃肿无用的配置或者冗余了很多无用或无效配置。为了以后方便，自己搞一个简洁版的了，博文目的是记录mybatis最简方式，顺带着也把达梦的连接带着了。2.方案1)项目目录结构如下：截图这个主要是为了方便后续的代码介绍一目了然2) pom文件依赖构成如下.
2020-12-30 16:35:21
1406
原创 springcloud 在nacos注册网关服务简单demo
1.需求公司需要将很多项目做成微服务 ，原来用eureka ，但eureka不是动态修改配置文件，所以同事看上了nacos，而且依赖的开源框架ruo-yi框架本身也支持nacos，所以需要结合着搞个网关微服务。2.方案很多网上方案的配置文件用的application.yml,甚至官网的还是application.property文件，我相同配置搞起后用不起来，虽然在我的target下的classes文件中也能找到正确的编译后的配置文件，但是就是不起作用。启动项目报错no server av...
2020-12-24 12:16:22
842
1
原创 如何引入springboot基本依赖及进行统一版本管理
1.问题描述当我们新建一个项目的springboot项目时，如果不是通过arc来建立的，那么就需要我们自己在pom里进行基本包引入，这里可以通过两种方式集中引入2.引入方式1）spring-boot-starter-parent 通过继承方式 ，当然也可以在项目中的dependency中引入 <parent> <groupId>org.springframework.boot</groupId> <arti..
2020-12-24 11:58:35
3291
原创 restTemplate的post方法传递参数
1.问题背景服务之间调用，通过spring自带的restTemplate访问nacos网关服务， 网关路由到真正需要的服务上 ，此过程需要携带对象参数及tokenpackage com.zy;import com.alibaba.fastjson.JSONObject;import com.alibaba.nacos.api.annotation.NacosInjected;import com.alibaba.nacos.api.naming.NamingService;impo...
2020-12-24 11:02:33
2230
2
原创 atlas在windows下的idea中打包失败的问题
1.问题描述（本问题针对可以通过maven打包 却无法通过idea打包）本次面对的问题是apache atlas源码在windows中无法直接通过idea自带的install按键打包的问题，打包过程会报错：Failed to execute goal org.apache.rat:apache-rat-plugin:0.7:check (verify.rat) on project flume-ng-elasticsearch-sink: Too many unapproved licenses
2020-12-11 10:32:56
560
原创 maven打包web项目将后台代码打包进lib
参考博主：https://blog.youkuaiyun.com/limm33/article/details/70173113?utm_medium=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&depth_1-utm_source=distribute.pc_relevant_t0.none-task-blog-BlogCommendFromMachineLearnPai2-1.con
2020-11-27 11:07:46
285
原创 springboot整合mq连接池无法注入JmsMessagingTemplate
参考大神：https://blog.youkuaiyun.com/qq_37145915/article/details/102990848?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-3.co...
2020-11-25 16:03:43
883
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人