jia666666的博客

// Please wait a bit.// Compiled script is not shown while source map is being loaded!

python定时秒杀阻塞器

python程序内存限制。

错误类型1 json.decoder.JSONDecodeError: Invalid control character#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/5/7 16:03import json#TODO 1 json.decoder.JSONDecodeError: Invalid control characters = '{"id":"2261", "tex

开发场景： 对df.to_sql()函数入库不满意，改用SQL语句入库#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/4/27 15:35import pandas as pddef df_trans_sql(tablename, df): '''df数据转sql插入语句-存在则忽略 传值： 表名称，df 返回值：拼接后的SQL语句

>>>>场景1：多线程多表入库优化--每个线程对应一张表https://jia666666.blog.youkuaiyun.com/article/details/115373369>>>>场景2：基于场景1进行再细分优化1.已知多表入库2.已知每个表的入库方式不同，存在逐条入库与批量入库两大类3.逐条入库分为两种： 3.1 直接入库，触发唯一索引异常，直接跳过，不入库 3.2 入库前检测，数据是否存在，存在则更新状态码+1，新数据状态码为0入库4.批量入

>>>>场景：多线程多表入库优化--每个线程对应一张表#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/3/31 17:58import timeimport queueimport randomfrom threading import Thread'''任务场景多线程多表入库：原来的入库队列只有一个主队列，队列里的数据，多为连续同属于属于一个表的数

须知:适用于linux系统，windows系统不支持场景一：执行中断信号后，程序按流程正常退出#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/3/19 16:34'''已知执行一个程序时，输入Ctrl+C就会中断程序，终止程序模拟场景：一个函数生产数据，生产满100000次时，数据入库，流程结束因特殊原因，紧急要求停止生产数据，如果直接使用Ctrl+C就会中断程序，导致生成的数

场景一：指定线程数，使其满负荷执行任务，避免线程空闲#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/3/18 10:22from threading import Threadimport timeimport random'''任务场景一个完整的流程，需要A函数循环执行已知：A的处理时间是动态的，线程数固定原来的执行逻辑：拥有一定数目的线程1.所有的线程，全部执行A函数.

需求系统：win10安装：python3.9 常用python3.7 备用（python3.9不支持一些库等,比如tensorflow）准备下载选定的版本https://www.python.org/downloads/安装正常安装即可记得勾选添加到环境变量-否则手动添加环境变量查看这里是默认安装路径，没有改，参考如下C:\Users\Administrator\AppData\Local\Programs\Python可以看到目前已经安装python3.7pyth

代码示例#!/usr/bin/env python# -*- coding: utf-8 -*-# Author : jia666# Time : 2021/2/22 9:23from urllib.parse import quote,unquotestr = "基层表编码"#TODO 1 utf-8编码str_utf=str.encode('utf-8') #默认utf-8，这步，不需要即可print('utf-8编码：'+quote(str_utf))print('默认