- 博客(186)
- 问答 (3)
- 收藏
- 关注
RSS订阅原创 达梦数据库中jdbc接口的大批量插入数据的写法推荐
通过查看sqllog日志，发现saveBatch接口使用PreparedStatement预编译多条insert语句 然后executeBatch提交。eg：在DM中没有rewriteBatchedStatements 参数，因为跟mysql的驱动内部的executeBatch()函数实现不同。使用mysql数据库的话通常使用的这种写法。这种写法会导致sql语句会非常大，不仅容易超出的sql长度限制，也会容易造成oom。使用预处理的方式进行批量插入是一种常见的优化方法，它可以显著提高插入操作的性能。
2025-02-27 16:50:01
763
原创 监控系列（十）dameng_exporter中如何开启监控慢sql配置？
在dameng_exporter中，监控慢sql默认是不开的，功能是可用的主要是担心默认开启以后如果sql比较多的话会影响到prometheus的存储时间，该功能在v1.0.9及以上版本完善。
2025-02-21 17:20:08
608
原创 DM数据库的dmPython驱动运行时报 unhandled data type dmPython.CURSOR
这个场景主要是dmPython调用存储过程的函数，同时返回的类型是一个Cursor类型，在dmPython中使用result_cursor = cursor.var(dmPython.CURSOR)报错导致的。dmPython采用的是执行cursor.callproc函数后返回的变量然后根据游标的下标值去取值，需要手动释放创建的cursor变量。顺带提供一个oracle的示例。
2025-02-18 13:54:50
309
原创 DM适配连接kettle迁移工具(资源库+数据源配置)
DM适配连接kettle迁移工具(资源库+数据源配置)本次修改基于8.2.0.0版本调整，在该源码基础上进行DM的适配，支持已DM为资源库的配置以及相关数据迁移。
2025-01-17 22:54:43
536
原创 apollo2.0.0本地调试运行
点击ApolloApplication的编辑选项，在左上角复制一个Application 然后修改名称为ConfigserviceApplication，点击修改选项 打开。点击ApolloApplication的编辑选项，在左上角复制一个Application 然后修改名称为ConfigserviceApplication，点击修改选项 打开。点击ApolloApplication的编辑选项，在左上角复制一个Application 然后修改名称为DemoApplication，点击修改选项 打开。
2024-12-13 10:27:35
1095
原创 监控系列（九）prometheus配置DM的全局的告警面板
监控系列（九）prometheus配置DM的全局的告警面板 dm_alter_rules_zh.yml与dm_alter_rules_en.yml内容是一致的，一个是英文一个是中文。这里需要使用英文版即dm_alter_rules_en.yml。
2024-12-12 14:54:41
472
原创 sysbench压测DM的高可用切换测试
每次check_error的时候根据错误码判断类型 如果是CR_SERVER_LOST_EXTENDED 则 进行 reconnect的计数器+1 同时 执行重连函数。将dm_drv_connect函数的自动提交由默认的非自动提交改为自动提交，如不改 跑insert update相关的语句 事务会回滚。导入oltp_insert_reconnect.lua脚本到lua目录下。
2024-11-21 13:45:40
716
原创 [EBPF] 实时捕获DM数据库是否存在SQL阻塞
名称版本linux版本（centos8.5）DM88.1.4.27python利用ebpf技术在不登录数据库的情况下，通过对数据库的函数添加钩子，实时的对数据库是否存在阻塞判断现有的监控逻辑都是新建数据库用户执行SQL语句来判断阻塞情况，告警的实时性取决于监控的周期频率，而使用ebpf技术能够解决这个痛点ebpf有多种实现方式，这里便于理解测试的话 使用python语言内置c语言的形式进行了说明。涉及到生产环境应该是使用go语言或者c语言去做能够有效避免源码泄露等问题。
2024-09-27 16:27:44
1174
1
原创 DM数据库配置登录基于操作系统的身份验证
DM提供数据库身份验证模式和外部身份验证模式来保护对数据库访问的安全。数据库身份验证模式需要利用数据库口令，即在创建或修改用户时指定用户口令，用户在登录时输入对应口令进行身份验证；外部身份验证模式支持基于操作系统(OS)的身份验证、LDAP身份验证和KERBEROS身份验证。
2024-07-29 13:38:47
468
原创 DM集群的高可用的配置方式(多语言）
强调以下：dm_svc.conf必须放置到应用服务器上才行，放到其他服务器上识别不到。文章中有的框架可能没写到并不代表不支持，有没提到的可文章下方留言。
2024-07-29 10:33:32
1200
原创 监控系列（八）部署dameng_exporter并对接prometheus
注：图上即为启动成功，如果没有问题，则使用nohup后台启动程序。浏览器可以访问：ip:9200/metrics看有没有问题。导入事先准备好的仪表盘模板，提示grafana中仪表盘文件最终都是json文件，方便导入导出的。注：prometheus的对数据库的指标采集如果高于60s一次，请手动修改提供表盘中的计算值。
2024-07-25 21:36:58
2203
27
原创 go语言开发Prometheus Exporter（DM数据库）
go语言 达梦数据库(DM)的exporter采集器 ，可对接prometheus+grafana 提供表盘
2024-07-25 19:33:28
1243
1
原创 jeecg在线表单开发模式保存表时报The jdbcUrl is Null, Cannot read database type
报错信息如图。
2024-06-16 12:51:33
332
1
原创 微信机器人实现OCR识别录入数据
采用微信的hook插件，然后解析微信发来的数据图片，通过ocr识别 然后将数据落入execl表格中。同时有权限的人可以导出数据表格即可。
2024-06-09 12:49:10
809
原创 Influxdb系列（三）java语言往influxdb中插入数据
influxdb java接口插入 以及查询数据。拼接sql语句，注意后缀的时区+分页逻辑。
2024-01-25 15:27:05
2681
原创 mysql8.x版本_select语句源码跟踪
HAVE_PSI_THREAD_INTERFACE 是一个编译器宏，用于表示是否支持 PSI(Process Status Interface)线程接口。在 C++ 编程语言中，这个宏通常用于条件编译，以便根据编译器和系统的支持情况来选择性地包含或排除与 PSI 相关的代码。gtid_consistency_violation_state变量表示当前线程是否存在GTID一致性违规状态。connection_handler_per_thread.cc:245 -> 最后走的是do_command()函数。
2023-12-24 21:12:22
1206
原创 达梦数据库适配ServiceStack框架
注：达梦的驱动版本请使用2023第四季度及以后版本驱动才可以ServiceStack介绍ServiceStack官网： https://github.com/ServiceStack/ServiceStackServiceStack是一个开源的十分流行的WebService框架，引用其官网的介绍：“Service Stack is a high-performance .NET web services platform that simplifies the development of high-
2023-10-16 16:15:55
470
原创 监控系列（六）prometheus监控DMHS操作步骤
新增dmhs的相关属性，注意enableType类型 需要区分源端以及目的端。工具自动生成，此脚本做参考。工具自动生成，此脚本做参考。
2023-10-13 13:35:27
1017
原创 Django4.X适配达梦数据库
通过运行这两个命令，你可以将在models.py中对数据库的改变应用到实际的数据库中。首先，运行python manage.py makemigrations命令来生成迁移文件，然后再运行python manage.py migrate命令将这些改变应用到数据库中。python manage.py makemigrations和python manage.py migrate是Django的管理命令，用于执行数据库迁移操作。
2023-08-08 14:02:15
2871
3
原创 Trino418框架适配达梦数据库方案
trino框架官网地址：Trino 418版本Trino 是一款旨在使用分布式查询高效查询大量数据的工具。如果您处理 TB 或 PB 的数据，您可能会使用与 Hadoop 和 HDFS 交互的工具。Trino 被设计为使用 MapReduce 作业管道（例如 Hive 或 Pig）查询 HDFS 的工具的替代工具，但 Trino 不仅限于访问 HDFS。Trino 可以并且已经扩展到对不同类型的数据源进行操作，包括传统关系数据库和 Cassandra 等其他数据源。
2023-07-26 16:38:56
1633
15
原创 最新DM8搭建dblink连接Oracle 11G_(19c的OCI)
Oracle OCI接口相关动态库文件在instantclient-basic包中，配置好上面的环境变量后可以直接创建DBLINK访问。这个库是基于网络套接字编程的一部分，它提供了一些用于网络通信的函数和接口。（2）第二种情况：DM DBLINK使用的是Oracle OCI方式创建，一般是由于DM数据库未加载Oracle OCI驱动，需要重启DM数据库。强烈不推荐使用这种方式创建DBLINK连接，因为如遇版本升级，该dblink写法可能会不生效从而报错。新建dblink的时候，尽量采用这种下面这种写法。
2023-07-17 13:54:53
2352
原创 记录DEM主机界面加载异常分析
getMainframes方法具体的sql拼接逻辑如图"));index = 0;"&-&" , "&!&" , "&!)");i ++) {");if(i!
2023-06-25 14:14:12
285
原创 window零基础部署langchain-ChatGLM
从0开始安装运行langchain-ChatGLM-6b-int4模型，主要是版本要配套不然特别容易报错我的机器配置CPU是Intel® Core™ i7-7700HQ CPU @ 2.80GHz 2.80 GHz，GPU8G。
2023-06-22 17:12:50
9395
16
原创 达梦数据库导出某张表的物理数据页
对于一张表的数据，数据库是如何寻址并读取到其真实的数据，这便是寻址方式， 寻找到表数据的物理地址后dump出相关的内容。
2023-05-20 22:26:44
1366
原创 达梦数据库.net驱动框架适配PetaPoco框架（附源码）
PetaPoco是一个小型、快速、单文件的微型ORM（Object Relational Mapper）框架，可在.NET和Mono环境运行。
2023-04-25 17:53:40
1198
原创 linux下go语言连接达梦数据库
linux下go语言连接达梦数据库 DM 数据库基于 GO 1.13 版本通过实现 database/sql 包的接口，向开发人员提供 DM 数据库操作的 Go 语言接口。
2023-03-27 17:55:15
2045
1
原创 flowable6.x框架搭建及适配DM8数据库（附源码）
该框架适配主要的改造点在liquibase版本3.x与4.x差异上，主要报错是jdbc驱动的getDatabaseMinorVersion函数返回值不同导致适配报错。适配改造的思路就是调整getDatabaseMinorVersion的识别即可，4.x版本框架使用的call DBMS_UTILITY.DB_VERSION(?,?)，但达梦中没有需进行源代码调整。具体的可看第三部分内容项目适配中的达梦驱动建议使用8.1.2.192及以上版本便于适配，低版本需要改的东西会比较多
2023-03-17 17:20:54
2841
4
原创 C语言ODBC连接DM8之动态获取字段示例（SQLDescribeCol）
C语言ODBC连接DM8之动态获取字段示例（SQLDescribeCol）
2023-02-20 14:28:19
1299
原创 达梦数据库适配weblogic中间件之添加达梦数据源并测试
1、复制达梦数据库驱动到weblogic的$WL_HOME/server/lib目录下，本次测试中 $WL_HOME= /opt/weblogic/wlserver_10.3/server/lib注：达梦数据库驱动位于达梦数据库安装目录的drivers目录下级目录jdbc下，JDBC驱动分为DmJdbcDriver16.jar、DmJdbcDriver17.jar、DmJdbcDriver18.jar，分别对应Jdk1.6、Jdk1.7、Jdk1.8。
2023-02-09 14:45:30
2021
原创 【与达梦同行】监控系列（五）利用半自动部署工具十分钟搞定达梦与prometheus监控部署
这里数据采集的jar包，是自己编写的。源码在后面的文章也会有提供。可以按需开发修改jar包中sql语句只会执行select语句不会生成中间表等操作并且只有readonly权限jar包运行需要jdk1.8的运行环境，如本地没有环境可直接使用DM8目录下的jdk环境。
2022-12-19 10:30:41
1079
空空如也
springboot freemarker不渲染页面返回字符串
2019-11-30
postman传中文。到后台之后是 多了个\n很奇怪
2019-10-15
IDEA 导入 javaweb项目 struts的配置文件报红，但是可以运行
2019-10-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人