MacwinWin的博客

使用sqlalchemy或者pymysql执行原始sql语句时可能会遇到一些问题VALUE中存在特殊字符,如引号、反斜杠等等>>> import pymysql>>> pymysql.escape_string("'")"\\'"所以可以在构建sql语句中进行转换：data = 'AND '.join( "`{}`='{}'".format(pymysql.escape_string(key), pymysql.escape_string(value)

系统环境：CentOS 7.8.2003首先介绍一下superset，superset是由aribnb开源，现在由Apache进行孵化，采用B/S架构，Python语言开发的商业智能软件，也就是BI。印象较深的几个特点：采用Python语言进行开发，Flask框架，对于Python开发者的二次开发非常有帮助；使用Docker进行部署，对于运维人员来说是非常友好；支持的数据库非常多，只要在SQLAlchemy支持范围内其他特性参考：https://zhuanlan.zhihu.com/

配置字段数记录数引擎有无索引4CPU-16GRAM282474115InnoDB无1CPU-1GRAM282474115InnoDB无方式一>>> select ifnull((select pk from xxxx where uuid = '45949FF60A02082400506E6D8090476' limit 1 ), 0)方式二>>> select 1 from xxxx where uuid ...

环境：kudu：1.7.0CDH：5.16.22020-06-02查看字段统计信息# 查看字段统计信息>>> SHOW COLUMN STATS web_rpa_count;参考：https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/impala_perf_stats.html查看表信息# 查看表信息>>> DESCRIBE web_rpa_count;参.

SELECT TABLE_NAME, TABLE_COMMENT FROM information_schema.`TABLES` WHERE TABLE_NAME LIKE 'jdy_%' ORDER BY TABLE_NAME ASC;MySQL表中有一个默认存在的库：information_schema，里面存放有许多表，其中的TABLES表中存放有所有表的信息，其中就有表注释。...

这两天成功实现了使用树莓派作为kudu数据库的数据中转服务一条经验之谈：不要在树莓派上使用DataFrame.to_sql()！！直接用SQLAlchemy创建engine再connect再execute sql语句就一切正常！...

以下内容完全是一个数据库小白的经验之谈，可能不太准确，见谅！最近两天试图在树莓派上部署一个web应用，具体目标就是将接收到的数据转存到数据库中，一个是本地的kudu数据库，另一个是mysql数据库# 如kudu库impala.create_update_data('main', kudu_engine, df_main, 'main')impala.create_update_data('...

在使用read_sql_query时可能会报错：>>> from sqlalchemy import create_engine>>> import pandas as pd>>> engine = create_engine('mysql+pymysql://{}:{}@{}:{}/{}'.format(user, password, ...

对kudu数据库进行CUID操作可以通过impala或者直接连接kudu库，前者有impyla的python包，但速度较慢，后者有kudu-python包，速度我目前还不清楚，但猜测应该会快。impyla的使用较简单，最近想通过kudu-python进行连接，但仅仅是完成了kudu-python的安装，并没有完成连接，有待继续研究。官方给的安装说明中，貌似是将kudu服务端、客户端、kudu-...

有一张表27个列，数据量约1700000+，引擎是InnoDB查询所有记录条数的时候发现速度非常慢，约30+sEXPLAIN后发现：首先将主键长度设置为32，并新建一个索引查询速度降至7.494s再次进行优化，添加一个自增的主键列，用它进行索引查询速度降至0.410s来一个对比配置数据条数数据列数原始速度第一次优化第二次优化4CPU-...

仅为个人经验总结，不保证正确性kudu数据库无法添加列注释（CDH<6.3.0）CDH<6.3.0的kudu，在创建表的时候使用comment语法，可以正常创建，但是不会显示comment，即DESCRIBE [table_name]输出comment列为空原因为，添加列注释是CDH 6.3.0的新功能参考：https://docs.cloudera.com/docum...

仅仅是个人经验总结，不保证完全正确kudu数据库无法修改表字段类型表创建好以后，如果想修改表中字段类型就没有办法了，因为想要修改字段类型，要用到ALTER TABLE name REPLACE COLUMNS (col_spec[, col_spec ...])而kudu库不能使用这一语法参考：https://docs.cloudera.com/documentation/enterp...