- 博客(3)
- 收藏
- 关注
RSS订阅原创 Python 遍历 Mysql 表中数据
需求 Mysql 表中存在几千万到几亿的数据（不存在自增主键），需要对表中数据进行遍历。 使用的是 pymysql 模块。 方案 1 使用 limit 来分块返回数据。 劣势：使用 limit 每次都需要从头扫描数据表，在数据量超过 1000w 时，性能较低。 LIMIT = 5000 def get_name(sql_client, table_name): i = 0
2018-01-10 19:33:50
11323
原创 Python3 操作 MongoDB 集合分片
因业务需要，使用 Python3 批量生成 MongoDB 集合、并对其做分片操作。 做分片之前需要登陆 Mongo 为要分片的集合所在的库授权。# 在 use 库下对 test 库进行 sharding 授权 use admin sh.enableSharding('test')Python 操作代码 import pymongo import urllib.parse mongo_client
2018-01-03 10:46:04
1825
原创 flume 学习总结
flume 总结flume 总结 下载配置安装 1 下载 2 配置安装 flume 架构 agent 配置 1 source 配置 11 监听网络端口 12 监控文件 2 channel 配置 3 sink 配置 failover 和 load balancing failover load balancing 扇出 二次开发 启动 flume 总结1 下载、配置、安装1.1 下载在官网 http:
2017-04-22 21:45:19
1576
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人