- 博客(61)
- 收藏
- 关注
RSS订阅原创 flink cdc2.2.1同步postgresql表
然后通过postman调用flink的REST api接口提交sql，接口文档地址：https://nightlies.apache.org/flink/flink-docs-release-1.14/docs/ops/rest_api/在flink1.14.4 和 flink cdc2.2.1下，采用flink sql方式，postgresql同步表数据，本文采用的是上传jar包，利用flink REST api的方式进行sql执行。将项目打包成不带依赖的jar。
2025-02-11 15:56:18
902
原创 java 利用gdal，转换tif的坐标系
在java开发中，利用gdal，通过命令行的方式，将原本栅格文件的坐标系转为想要的坐标系，并输出新的栅格文件。
2024-11-11 15:02:13
315
1
原创 java 利用jackcess和Esri geometry api解析mdb矢量数据
在java，利用jackcess 和 Esri Geometry API，解析mdb的矢量数据；主要注意的地方是，记录矢量表的矢量字段的几何信息是在GDB_GeomColumns中；另外目前暂时无法找到原本数据的坐标系epsg code。
2024-09-24 14:32:29
296
1
原创 DataX PostgreSQL 读写支持Geometry类型
因为在关系型数据库下的读数据都是通过CommonRdbmsReader封装的逻辑，在现在的框架下，是不支持geometry类型的字段的，你可以通过java.sql.Types了解到，并没有geometry的对应值，所以通过jdbc connection执行得到的字段元数据中，geometry的数据库类型被标注为‘1111’（代表其他），所以我们必须做些特殊处理。即是在组装record时，遍历读取到的数据时，当columnTypeName为geometry时，当成字符串处理。3.DBUtil工具类的修改。
2024-08-07 14:49:11
1128
原创 DataX 本地调试配置
根据自己的开发需求，完成了reader、writer、transformer开发后，在ide内通过Engine入口，调试自己的插件和job的json。
2024-07-23 16:34:47
696
原创 java 利用 gdal 对shpfile 进行裁剪（二）
在java，利用gdal，将裁剪范围的shpfile 对 目标shpfile 进行裁剪；前置条件是两个shpfile处于一个坐标系下，不然裁剪结果可能为空。
2024-07-01 16:57:41
436
原创 java 利用 gdal 对shpfile 进行裁剪（一）
在java，使用gdal ，使用裁剪范围的geojson 对 目标shpfile 进行裁剪，裁剪结果为一份新的shpfile；前置条件是geojson的坐标系和 shpfile 的坐标系一致，不然裁剪结果可能为空。
2024-07-01 16:22:48
266
原创 java 利用gdal对遥感影像做cog模拟处理
在java开发中，利用gdal，对遥感数据tif，模拟进行cog处理；由于没找到相应的rest api，只能通过gdal.Translate进行处理。
2024-06-18 14:49:35
520
原创 gdal 转换 shpfile 坐标系
在java利用gdal工具，将shpfile的坐标系转为指定坐标系。目前测试发现，国外坐标系转换有问题，转换处理的shpfile再去geoserver发布时，经纬度调转了，例如坐标系4547转4490；不过转国外坐标系3857时，却正常。暂时还未定位到哪里问题，也欢迎留言指导一下。
2024-04-07 09:52:53
392
原创 Springboot2 restTemplate 使用UriComponentsBuilder时编码问题
在使用springboot2的restTemplate配合UriComponentsBuilder，UriComponentsBuilder拿到uri字符串时有编码过程，而restTemplate在execute时，底层也是有encode编码，这样就到时了双重编码，接收方解码后仍然没法正确处理参数。所以使用restTemplate时，针对get请求的参数，不需要硬编码，也不需要使用UriComponentsBuilder的toUriString()点击 getForObject方法。
2024-03-25 09:57:30
538
原创 postgis sde表在geoserver中服务发布
利用开源工具geoserver-manager，对postgresql的空间表进行地图服务发布。
2024-02-19 14:41:54
357
原创 Git push异常：Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password) fatal: Could not read
在使用新的gitlab仓库迁移旧代码时，当push代码，报了如下异常：Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password) .fatal: Could not read remote repository.在git bash下1.先清楚本地旧的账号密码：git config --global --unset credential.helper2.重新设置用户名称和邮箱git config --global user.n
2024-02-02 09:55:35
2429
1
原创 flink cdc，standalone模式下,任务运行一段时间taskmanager挂掉
这个配置的含义是,超时(以毫秒为单位)，在此之后任务取消超时并导致致命的 TaskManager 错误。
2024-01-30 10:15:26
1676
原创 java 利用gdal，转换shpfile的坐标系
在java开发中，利用gdal，将原本shpfile的坐标系转为想要的坐标系，并输出新的shpfile。
2024-01-26 13:45:32
607
原创 java 利用gdal，将postgresql的空间表转shpfile
在java开发中，利用gdal将postgresql的空间表转为shpfile文件。
2024-01-25 09:23:18
755
原创 java 利用gdal，将shpfile转featureCollection
在java开发中，利用gdal，将shpfile转为featureCollection。
2024-01-22 13:56:30
396
原创 利用gdal,将shpfile导入表中
使用gdal3.7.3，将shpfile图层转为postgresql的一个空间表，本示例需要转换前建好表。
2024-01-22 11:38:28
712
原创 windows安装gdal3.7.3
使用mvn install:install-file -Dfile=C:\Program Files\GDAL\java\gdal.jar -DgroupId=org.gdal -DartifactId=gdal -Dversion=3.7.3 -Dpackaging=jar 命令进行安装，安装完毕后，可以在java中使用。找到安装目录下的gdal.jar（C:\Program Files\GDAL\java）C:\Program Files\GDAL 需要改为你的目录。1.配置GDAL-DATA。
2024-01-22 11:31:08
3187
7
原创 java geotools postgis sde转featureCollection
将postgis的sde表转featureCollection。
2023-11-12 15:55:29
136
原创 flink cdc 的flink sql的简单解析（表到表）
flink sql 的简单解析，用于flink cdc任务异常时，利用解析结果，手动补充数据。
2023-08-01 09:57:23
302
原创 flink cdc 作业异常，unsupportedOperationException 或 illegalArgumentException 却没指明字段名称的处理
类似这种字段映射（异常1，在flink sql中来源表和目标表的对应字段的类型不一致）或 在来源表插入值后，作业报转换异常（异常2，在flink sql中来源表的字段类型配置错误）等，却没有指明是哪个字段的问题时，可以通过覆写RowDataDebeziumDeserializeSchema类型，自己去添加父异常指明有问题的字段名称。异常1，如图：java.lang.UnsupportedOperationException: Unsupported BYTES value type: String。
2023-07-19 14:20:56
639
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人