
python模块
文章平均质量分 85
Alfredou
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
threading模块:多线程操作
相关概念:一个进程内,可以有多个线程。线程内分为主线程和多个子线程。多个子线程之间可以共享内存和数据。由于GIL(全局解释锁)的限制,threading只适合在I/O密集型程序上使用。threading中定义的方法threading.active_count()返回Thread当前活动的线程数量。threading.current_thread()返回当前的线程。thr...原创 2018-12-08 20:57:32 · 380 阅读 · 1 评论 -
数据采集:多线程+动态IP处理并发爬虫
爬取目标为豆瓣电影列表 https://movie.douban.com/tag/#/?sort=U&range=0,10&tags=电影对于每一部电影,分别爬取其中的①电影名称,②导演,③上映日期,④制片国家/地区,⑤片长,⑥评分,⑦类别,⑧评论人数对于电影的详情页面,豆瓣是使用了静态加载,所有直接使用requests请求库+正则表达式抓取原创 2019-01-09 23:15:15 · 1627 阅读 · 1 评论 -
协程:实现并发请求
关于Python协程的讨论,一般出现最多的几个关键字就是:阻塞非阻塞同步异步协程asyncioaiohttp概念知识的话,感觉以下两篇博文都讲得不错,这里就不转了,直接贴地址:http://python.jobbole.com/87310/http://python.jobbole.com/88291/https://aiohttp.readthedocs.io/en/s...原创 2019-01-21 21:05:14 · 1558 阅读 · 0 评论 -
手机抓包工具charles和mitmdump抓取手机APP数据(附抓取抖音小视频例子)
mitmdump可以对接Python脚本,在Python脚本中可以修改请求报文和响应报文。安装mitmdump在命令行模式pip install mitmproxy就可以了连接手机直接用手机连接电脑的WiFi就可以了第一步:手机连接WiFi第二步:点击手机WiFi里的代理设置,选择手动设置代理第三步:服务器ip填电脑的ip(不知道就在命令行模式下输入ipconfig查看),端口填8...原创 2019-02-01 01:03:31 · 11729 阅读 · 3 评论