
数据库
文章平均质量分 82
yyoc97
--
展开
-
Debezium指定binlog位置初始化异常排查修复
文章目录异常现象如何复现排查定位线索定位异常现象最近项目需要使用Debezium指定binlog位置读取数据,当配置FileDatabaseHistory 保存offset就会出现无法识别schema异常。14:52:18.237 [blc-9.135.12.10:3307] ERROR io.debezium.connector.mysql.MySqlStreamingChangeEventSource - Encountered change event 'Event{header=EventHe原创 2022-05-17 20:27:46 · 3954 阅读 · 2 评论 -
DataX导数的坑
安装按照Git Quick StartDownload 中的描述,选择直接点击DataX下载地址,然后解压执行自检脚本: python {YOUR_DATAX_HOME}/bin/datax.py {YOUR_DATAX_HOME}/job/job.json,到这为止一切都是正常的。异常于是根据reader和writer的格式配置自己的json脚本。{ "core": { "transport" : { "channel": {原创 2020-12-21 12:19:20 · 21525 阅读 · 0 评论 -
clickhouse(十三、JDBC引擎)
准备异常Caused by: java.sql.SQLException: No suitable driver found for jdbc:postgresql://dev-111:5432/report?user=dev&password=123456 at java.sql.DriverManager.getConnection(DriverManager.java:689) at java.sql.DriverManager.getConnection(原创 2020-12-18 18:33:51 · 1311 阅读 · 0 评论 -
最新elasticsearch7(六、sql查询工具datagrip)
文章目录准备导入驱动sql实测准备我们需要下载一个DataGrip,是JetBrains公司推出的管理数据库的产品。然后通过maven下载对应版本jdbc的jar包x-pack-sql-jdbc。导入驱动我们在maven的仓库找到jar包,或者也通过插件导出 x-pack-sql-jdbc-7.x.x.jar文件配置驱动使用EsDriver7.5.1驱动连接测试地址jdbc:es:...原创 2020-02-18 21:58:02 · 4939 阅读 · 0 评论 -
数据库内核杂谈(一):一小时实现一个基本功能的数据库
很好的数据库内核系列文章,用简洁的样例描述数据库内核的众多原理。虽然后面优化器的算法难以理解,但是在其他章节我相信你一定也会有收获。数据库内核杂谈(二):存储“演化论”数据库内核杂谈(三):索引优化数据库内核杂谈(四):执行模式数据库内核杂谈(五):如何实现排序和聚合数据库内核杂谈(六):表的 JOIN(连接)数据库内核杂谈(七):数据库优化器(上)数据库内核杂谈(...转载 2019-12-26 18:34:22 · 3693 阅读 · 0 评论 -
mysql调优实践(二)
Mysql优化实践1. LIMIT 语句分页查询是最常用的场景之一,但也通常也是最容易出问题的地方。比如对于下面简单的语句,一般DBA想到的办法是在type, name, create_time字段上加组合索引。这样条件排序都能有效的利用到索引,性能迅速提升。SELECT * FROM operation WHERE type = 'SQLStats' AN...转载 2019-08-11 01:40:21 · 196 阅读 · 0 评论 -
clickhouse(一、 高阶函数应用实现hive分区设置行号row_number() )
文章目录前言准备逻辑代码结尾前言最近公司选用clickhouse体系作为数据解决方案,ck由于底层存储区别hadoop函数,导致hql一些很好用的特性无法按照之前的写法来实现,比如按分区设行号,first_value(),lag()等开窗函数也无法正常使用,这也直接影响了我们实现业务的效率,可能导致直接懵逼…这不趁着周末来研究一番ck特殊语法。以保证以后快速从ck中找出惯用的hql逻辑的替代方...原创 2019-06-22 19:14:08 · 9653 阅读 · 2 评论 -
mysql调优实践(一)
avg(expr),sum(expr)函数的特殊用法样例表结构 create table sales_order( `sales_order_no` varchar(20) NOT NULL COMMENT '销售订单编号', `store_code` varchar(255) NOT NULL COMMENT '门店编码', `paid_amo...原创 2019-06-03 11:03:25 · 245 阅读 · 0 评论 -
MySQL的InnoDB索引原理详解
MySQL索引原理及结构详解摘要: 本篇介绍下Mysql的InnoDB索引相关知识,从各种树到索引原理到存储的细节。 InnoDB是Mysql的默认存储引擎(Mysql5.5.5之前是MyISAM,文档)。本着高效学习的目的,本篇以介绍InnoDB为主,少量涉及MyISAM作为对比。 这篇文章是我在学习过程中总结完成的,内容主要来自书本和博客(参考文献会给出),过程中加入了一...转载 2019-03-18 23:48:29 · 332 阅读 · 0 评论 -
mybatis将对象参数转临时表join
起因同事业务需求要将数组对象用到sql中join,想将其转换为临时表方便使用。需要将两张表相除的结果进行排序和分页,如果能在sql里完成将会方便很多。思路sql 的 select 可以指定常量,当然就包括对象里面的数据。所以根据 mybatis 语法我们可以直接select #{字段名1} as amount,#{字段名2} as store_code 就可以转换这个对象,那么问题又...原创 2018-11-13 17:45:23 · 5071 阅读 · 3 评论 -
mongodb 修改添加内嵌数组数据指令
mongobd复合查询修改内嵌数组指令初始数据下面是一个collection,名称为 care_field 中的一条数据,集合包含多条数据。其中 baseFieldList 字段为数组复合属性。{ "_class" : "com.trendy.server.crm.api.care.po.CareFieldPo", "_id" : ObjectId(&q原创 2018-10-24 17:38:32 · 5835 阅读 · 0 评论 -
ignore和DUPLICATE结合使用
mysql插入存在则修改首先我们先定义一个表结构:CREATE TABLE `sales` ( `sales_id` int NOT NULL AUTO_INCREMENT COMMENT '主键id', `store_code` varchar(20) NOT NULL COMMENT '门店编码', `_year` int NOT NULL COMMENT ...原创 2018-06-28 19:20:40 · 1124 阅读 · 0 评论 -
springboot整合neo4j
springboot整合neo4j 执行指令之前上网搜索配置都很凌乱,于是在 springboot neo4j文档 中摸索了下。 - pom配置 <dependency> <groupId>org.springframework.boot</groupId> <artifactI...原创 2018-04-13 16:22:04 · 2149 阅读 · 0 评论