Python多进程示例

大数据程序袁

于 2019-07-18 10:34:02 发布

阅读量228

点赞数

分类专栏：大数据文章标签： python 多进程

本文链接：https://blog.youkuaiyun.com/hua_yuan2015/article/details/96424847

版权

本文将深入探讨Python的多进程编程，通过实例讲解如何利用`multiprocessing`模块创建并管理进程，实现高效的并发执行，提升程序性能。我们将讨论进程间的通信、同步机制以及错误处理策略，帮助你更好地理解和应用Python的多进程技术。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#!/usr/bin/env python
# -*- coding:utf-8 -*-
'''
 @author:yann
 @datetime:2019/1/29 3:50 PM

'''

import urllib2
import json
import hashlib
import MySQLdb
import sys
import multiprocessing

from datetime import datetime

reload(sys)
sys.setdefaultencoding('utf-8')

'''md5加密方法'''
def md5(s):
    m = hashlib.md5()
    m.update(s)
    return m.hexdigest()

'''http请求接口数据'''
def http_post(url, data_json):
    jdata = json.dumps(data_json)
    req = urllib2.Request(url, jdata)
    response = urllib2.urlopen(req)
    return response.read()

'''
获取此时间段的数据有多少条，按每页1000页返回多少页
'''
def get_pages(startTime, endTime):
    url = "******"
    ts = datetime.now().strftime('%Y-%m-%d %H:%M:%S')
    appId = "5c1ca7b478d11522e8743fb3"
    appSecret = md5(md5(appId + ts) + ts)
    cert = {"ts":

最低0.47元/天解锁文章