HYESC的博客

环境说明系统：centos7.7 64位 两台，假设两台服务器的ip尾数分别是 93和95，93为主，95为从postgresql版本：10.16postgresql安装yum源更新在93和95服务器上均执行更新命令yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpmpg安装在93和95服务器上均执行安装命令y

需求是从oracle中按批次取数据，如一次取1000条，操作完再接着取。实现代码如下：db_conn = cx_Oracle.connect("user", 'pwd', "host:port/sid", encoding="UTF-8")with db_conn.cursor() as cursor: cursor.arraysize = 100 # 设置每批次获取数据量为100条 cursor.execute("select * from xx.zz") i = 0

redis-cli -n 2 keys "w_id=*,pid=*" | xargs redis-cli del-n：指定数据库编号keys：指定正则表达式将通过正则查询到的key交给管道后的命令进行批量删除

DataXDataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。详细介绍见 https://github.com/alibaba/DataX/blob/master/introduction.md ，本文不对DataX的基本情况进行介绍，主要记录几个注意事项应用本次

本次测试环境为单机，测试中需要用到docker环境，关于docker的安装配置不在本文讨论范围操作系统为centos7.5，mysql版本为5.7.25通过canal对mysql数据库的增删改进行实时同步测试elasticsearch和kibana安装配置采用docker安装这两个软件，具体步骤如下：# 拉取elasticsearch镜像docker pull elasticsearc...

mysql5.7下载地址 https://dev.mysql.com/downloads/mysql/5.7.html#downloads1、卸载mariadbrpm -e --nodeps mariadb-libs2、安装net-tools（安装server时会提示需要此工具）yum install -y net-tools3、安装mysqlmkdir mysqldir # 解压...

解决方法：

介绍ClickHouse可能更适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库ClickHouse是一个超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUP BY)，ClickHouse的查询更快，因此通常情况下在MySQL上进行聚合。ClickHouse是一个数据分析的数据库，那么存储的数据应当是最终成型的结果CH的一些限制不支...