Python多线程爬取表情包，代码都放在最后了

最新推荐文章于 2022-07-31 23:56:48 发布

原创

最新推荐文章于 2022-07-31 23:56:48 发布 · 1.3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言 #爬虫

本文介绍了如何使用Python进行多线程爬取网络表情包，包括导入模块、替换特殊字符、发送请求、保存数据和主函数的详细步骤，最终展示了爬取和保存结果。

文章目录

一、写在前面
二、步骤解析
三、效果展示

一、写在前面

从老马的两大聊天软件，到其它的各种软件，表情包一直都是中国互联网用户的「心头好」，时至今日，表情包已然成为必不可少的聊天方式。

无论是正事儿还是闲侃，表情包都必不可少，要是聊着聊着发现没得表情包了，多尴尬~

所以它来了，Python批量爬取网络表情包，只要是网上有的，全部都爬下来保存。

二、步骤解析

导入模块

import requests # 数据请求模块
import parsel # 数据解析模块
import re # 正则表达式

替换特殊字符

def change_title(title):
    mode = re.compile(r'[\\\/\:\*\?\"\<\>\|]')
    new_title = re.sub(mode, '_', title)
    return new_title

发送请求

def get_response(html_url):
    headers = {
   
   
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

轻松学Python

关注关注

2
点赞
踩
6

收藏

觉得还不错? 一键收藏
4
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Python爬取表情包

qq_52984184的博客

05-20

1898

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、pandas是什么二、使用步骤 1.引入库 2.读入数据总结前言随着网络的发达，大家在网上聊天时候经常发表情斗图，但是有的时候斗图斗不过就会让自己很难过，影响自己的心情。本文介绍如何用python的简单爬虫爬取网站（）的图片。一、python爬虫是什么？爬虫是基于Python编程而创造出来的一种网络资源的抓取方式，一般用于网络资源的获取。二、使用步骤 ...

Python爬虫一键爬取海量表情包，分分钟碾压斗图狂魔！【附源码】

2401_83641098的博客

04-13

682

9.png)

4 条评论您还未登录，请先登录后发表或查看评论

4 条评论

李泽825 2021.12.24
为什么都没有评论呀
- 轻松学Python回复李泽825 2021.12.28
  看的人太少了叭

python---爬取表情包

记录小白的成长之路

10-16

698

周末没什么事在网上找视频课找到了一个还不错的爬虫视频课突然对爬虫有了兴趣就跟这视频操作了一下所以写文章记录一下方便以后查看复习首先打开要爬取的表情包网站对网站的URL进行分析这是一个get请求问号后面的page是参数因此这是第一页的内容我先对单个图片进行下载操作首页获取图片的url 鼠标放在要下载的图片上右键---------》点击复制图片连接...

java多线程采集+线程同步-【多线程数据采集之四】

pan-zy的专栏

11-29

1327

前些日子讲解了java数据抓取，今天就讲解最核心的。 java多线程数据抓取。 java多线程采集+数据同步+线程同步【多线程数据采集之四】主要讲解多线程抓取，多线程同步，多线程启动，控制等操作。文章栏目列表：http://blog.youkuaiyun.com/column/details/threadgrab.html 先讲解第一步，线程类。

【python】分享一个多线程爬虫爬取表情包的代码

热门推荐

晋升阁的博客

07-31

8万+

多线程爬虫可比单线程爬虫爬取速度多了好几倍，单线程就好比是一辆车来回运输货物，而多线程则是多辆车同时运输货物。需要用到的库requests、lxml、os、threading、queue。该代码还能把数据存储到电脑桌面（明天添加）使用了线程池来高效爬取。...

Python多线程爬取表情包

jspython的博客

05-09

538

多线程爬取表情包 有一个网站，叫做“斗图啦”，网址是：https://www.doutula.com/。这里面包含了许许多多的有意思的斗图图片，还蛮好玩的。有时候为了斗图要跑到这个上面来找表情，实在有点费劲。于是就产生了一个邪恶的想法，可以写个爬虫，把所有的表情都给爬下来。这个网站对于爬虫来讲算是比较友好了，他不会限制你的headers，不会限制你的访问频率（当然，作为一个有素质的爬虫工程师，爬完赶紧撤，不要把人家服务器搞垮了），不会限制你的IP地址，因此技术难度不算太高。但是有一个问题，因为这里要爬的是图

斗图斗不过小伙伴？python多线程爬取斗图网表情包，助你成为斗图帝！

01-20

最近python基础课讲到了多线程，老师让交个多线程的实例练习。于是来试试多线程爬虫，正好复习一下mooc上自学的嵩天男神的爬虫知识。想法很美好，过程却很心酸，从早上开始写，每次出现各种奇怪问题，到现在晚上了...

使用多线程爬取表情包.pptx

01-01

【使用多线程爬取表情包】是一种高效的网络爬虫技术，主要应用于数据抓取，特别是在处理大量数据如表情包时。在这个实验中，我们将学习如何利用Python编程语言，结合爬虫技术和多线程来爬取并下载"斗图啦"网站上的...

Python多线程爬取表情包，1秒下载五十张表情包！

PythonJavaPHP的博客

11-10

2685

前言文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 PS:私信博主01 领取此项目完整代码！ Python学习资料免费领取从 QQ 到微信，表情包一直都是中国互联网用户的「心头好」，时至今日，甚至发展到了「无表情包不聊天」的地步。无论是正事儿还是闲侃，表情包都必不可少。聊天到一半发现表情包不够用怎么...

python爬取表情包

TomHe789

12-24

806

之前用node爬过表情包, 最近刚好python大作业需要做一个爬虫的项目, 所以就用python再爬一下爬取网址: https://www.fabiaoqing.com/ 最终效果: 通过用户给定的关键词, 将该网站上所有有关该关键词的表情包都下载到同级目录中的image文件夹中具体代码如下: # @coding:utf-8 # @Time : 2020/12/23 11:11 # @Author : TomHe # @File : main.py # @Software : PyCharm imp

爬虫_爬取表情包

09-02

需要有爬虫基础,比较适合初学者,一个小爬虫项目,可以爬取多个网址

爬取表情包

CP1024的博客

06-06

659

爬取网站表情包 注意：爬取的时候看一下我的图片地址是否还可用，因为当我上午和下午一直在爬取，结果晚上图片下载地址就有问题了。我也不知道为啥。结果改一下就好了。直接上代码： import re import uuid # 这里使用uuid我是为了给图片命名 import requests import parsel # 第三方模块 pip install parsel import time def change_title(title): # complie编译 mode = r

多线程数据采集

congtiaotu6532的博客

07-09

364

#define MAXBUFQUEUE 8 struct BUFFER_ITEM { LPBYTE Buffer; HANDLE hFinishDone;/...

真香警告！多线程分类表情包爬取，一起斗图叭(*^▽^*)~~~

公众号：Python研究者

11-23

452

:点击上方[Python爬虫数据分析挖掘]→右上角[...]→[设为星标⭐]多线程爬取表情包有一个网站，叫做“斗图啦”，网址是：https://www.doutula.com/。这里面包...

python多线程下载表情包

人生苦短，还不用Python？

04-09

476

threading模块简单使用 import threading,time ''' 想要学习Python？Python学习交流群：973783996满足你的需求，资料都已经上传群文件，可以自行下载！ ''' def coding(): for x in range(3): print('正在写代码%s'%x) time.sleep(2) def d...

简单 20 行 python 代码实现爬取表情包，麻麻再也不用担心我聊天图慌了！！

一碗周

11-11

1595

古之立大事者，不为超世之才，亦必有坚忍不拔之志——苏轼写在前面今天弄了一个简易的爬表情包的脚本，这个脚本是 python 的，下面就将我的思路分享给大家。网站分析我们爬取的是斗图啦这个网站最新表情页，我们先来分析一下其 <img> 中的属性都有些什么。我们在懒加载这篇博客介绍过原 src 属性的值指向占位图片， data-original 属性设置图片的才是真实路径，所以这个链接是有用的；alt 属性貌似是图片名称，先记下。还有 class 属性，也记下来(要考的)，用于.

Python新手实战爬取表情包

血饮

02-20

3287

Python新手实战爬取表情包 前言我是一个Python小白. 如有错误还请见谅. 本文是Python 爬取表情包 适合新手. 代码还有很多可以改进的地方. 本次要用到的库：①requests②os③re 查了一下发现OS是Python内置的库, re也是Python的标准库,不需要pip下载我个沙雕注:转载注明出处,侵权将按相关法律处理前期准备安装Python 开发环境 3X系列 ...

如何优化上述代码以提高图片爬取的效率？

最新发布

09-04

为提高图片爬取爬虫代码的效率，可以从以下几个方面进行优化： ### 多线程或多进程下载使用Python的`concurrent.futures`模块实现多线程或多进程下载图片，充分利用多核CPU的性能。以下是一个使用多线程的示例代码： ```python import requests import re import os from concurrent.futures import ThreadPoolExecutor image_folder = '表情包' if not os.path.exists(image_folder): os.mkdir(image_folder) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0' } response = requests.get('https://qq.yh31.com/zjbq/', headers=headers) response.encoding = 'GBK' response.encoding = 'utf-8' pattern = '<img src="(.*?)" alt="(.*?)" width="160" height="120">' result = re.findall(pattern, response.text) def download_image(img): try: res = requests.get(img[0]) s = img[0].split('.')[-1] with open(image_folder + '/' + img[1] + '.' + s, mode='wb') as file: file.write(res.content) except Exception as e: print(f"下载图片 {img[1]} 时出错: {e}") with ThreadPoolExecutor(max_workers=10) as executor: executor.map(download_image, result) ``` ### 异步请求使用`asyncio`和`aiohttp`库实现异步请求，提高网络I/O效率。示例代码如下： ```python import asyncio import aiohttp import re import os image_folder = '表情包' if not os.path.exists(image_folder): os.mkdir(image_folder) headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:98.0) Gecko/20100101 Firefox/98.0' } async def fetch(session, url): async with session.get(url) as response: return await response.read() async def download_image(session, img): try: content = await fetch(session, img[0]) s = img[0].split('.')[-1] with open(image_folder + '/' + img[1] + '.' + s, mode='wb') as file: file.write(content) except Exception as e: print(f"下载图片 {img[1]} 时出错: {e}") async def main(): async with aiohttp.ClientSession(headers=headers) as session: response = await fetch(session, 'https://qq.yh31.com/zjbq/') html = response.decode('GBK') html = html.encode('GBK').decode('utf-8') pattern = '<img src="(.*?)" alt="(.*?)" width="160" height="120">' result = re.findall(pattern, html) tasks = [download_image(session, img) for img in result] await asyncio.gather(*tasks) asyncio.run(main()) ``` ### 减少不必要的请求在爬取之前，可以先检查图片是否已经存在于本地，避免重复下载。例如在多线程示例代码中，可以添加如下检查逻辑： ```python def download_image(img): s = img[0].split('.')[-1] file_path = image_folder + '/' + img[1] + '.' + s if os.path.exists(file_path): print(f"图片 {img[1]} 已存在，跳过下载") return try: res = requests.get(img[0]) with open(file_path, mode='wb') as file: file.write(res.content) except Exception as e: print(f"下载图片 {img[1]} 时出错: {e}") ```