weixin_42886469的博客

原创 python+mysql：实现python造1000万条数据并快速插入数据库，速度对比

要求：造一千万条个人数据，包括：姓名、生日、身份证、证件类型、性别、民族等 每个人随机分配到20个组其中之一实现思路：思路一：用python生成1000万条数据并写入txt文件，再用pymysql写入数据库 思路二：用for循环不断写进变量，分批次插入数据库实现过程：思路一 很快就被否定了，因为在写入txt的文件过程中，随着数据量越来越大，速度成线性下降，导致代码跑了一晚上也没写完，更别说插入了，即使用load data也没法补救前期写数据的时间。思路二 在实现的过程中变量随着数据堆