Tomonkey的专栏

1. 常规用法如果使用PyMySQL，常见的方法如下connection = pymysql.connect( host="localhost", port=3306, database="forest", user="root", password="123456")with connection.cursor() as cursor: print(cursor) cursor.execute("select count(*) from u

有关快速插入大量数据到数据库的一个比较好的博文如下：Fastest Way to Load Data Into PostgreSQL Using Python 其中文末还有提到集中不同方式的对比，十分的震撼，可以看看1. 连接池和批量插入示例代码如下import psycopg2import psycopg2.extrasfrom psycopg2.pool import SimpleConnectionPoolfrom contextlib import contextmanager# .

今天把22705，也就是接近于2w的数据，复制到Navicat里面执行。结果发现非常的慢。看起来每一条语句需要花费约0.015s的速度，好像还可以但是…22705 x 0.015s = 340.575s = 5.68min实际上仅2w多条数据，需要5.68分钟的时间，这怎么可以忍受。所以还是执行sql文件快...

1.安装kafka-connect-influxdb运行如下命令confluent-hub install confluentinc/kafka-connect-influxdb:1.1.2截图如下出错，安装失败，原因是未设置好confluent的安装目录和bin目录，因此需要设置一下，运行如下脚本# 安装位置修改为自己对应的地方export CONFLUENT_HOME=/Us...

以下操作都是在Mac上完成1. Kafka准备好已启动，常用端口9092Client使用Kafka Tool2. InfluxDB准备好已启动，常用端口8086常用命令记住show databasesuse [database_name]show measurementsSELECT * FROM "telegraf"."autogen"."kafka_consumer"3...

前言需要使用到实时数据转移，因此使用Confluent试试看MacOS 系统安装安装和下载可参考：https://docs.confluent.io/5.5.0/installation/installing_cp/zip-tar.html#prod-kafka-cli-install启动参考：https://docs.confluent.io/5.5.0/quickstart/ce-q...