MarkAdc的博客

一个轻量的异步爬虫框架

运行execjs报错UTF-8问题

无水印、超清图片

elem对象转为html字符串

CSS表达式

selectolax对比其它解析库

频繁编写requests.get它不烦吗

删除网页源代码的某些标签

自己笔记本电脑在公司跑爬虫，然后下班了，我把爬虫先暂停，然后把电脑带回家。回家后我再接着跑爬虫，它不香吗

爬虫对接协程

智能老司机

同步、异步请求库的对比

代码# -*- coding: utf-8 -*-# Author : wang_tuo# Time : 2022/1/18 14:29import hashlibimport timeimport randomimport requestsclass Spider: def get_md5(self, s: str) -> str: m = hashlib.md5() m.update(s.encode("utf8"))

selectolax的基本使用不支持xpath语法，我的心好痛被迫学习了css选择器html文本html = '''<demo> <h1>============欢迎靓仔进来学习============</h1> <div id='div1'> <a href="htt://blog.youkuaiyun.com/MarkAdc/article/details/10773644.............

项目目录在middlewares.py中import randomclass RandomUserAgent: def get_ua(self): first_num = random.randint(55, 62) third_num = random.randint(0, 3200) fourth_num = random.randint(0, 150) os_type = [ '(Window.

代码在爬虫文件中@classmethod def from_crawler(cls, crawler, *args, **kwargs): spider = super(T1Spider, cls).from_crawler(crawler, *args, **kwargs) spider.id = f"t1-{datetime.datetime.now()}" crawler.signals.connect(spider.item_scraped

在setting文件中COOKIES_ENABLED = FalseFalse– 使用的是setting文件里，DEFAULT_REQUEST_HEADERS中的cookie值COOKIES_ENABLED = TrueTrue– 就可以在爬虫文件中使用自定义的cookie，传入的cookie必须是字典类型# COOKIES_ENABLED = TrueCOOKIES_ENABLED被注释– 则是不使用cookie...

代码yield Request(url, meta={ 'dont_redirect': True, 'handle_httpstatus_list': [302] }, callback=self.parse)

代码from twisted.internet.error import TCPTimedOutError, TimeoutErrorclass ProcessException: def process_exception(self, request, exception, spider): if isinstance(exception, TCPTimedOutError): print(f"出异常了(tcp超时) --> {exception

前言抓取的重点是找到每个英雄对应的id编号分析先观察单个英雄的单张皮肤图片的url（如下图马超的两张皮肤图片所示）马超一共有三个皮肤（经典算第一张）， 每张皮肤的url分别是第一张：https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/518/518-bigskin-1.jpg第二张：https://game.gtimg.cn/images/yxzj/img201606/skin/hero-info/518.

前言分两种情况当前页面没有异步加载的数据，直接下滑到页面底部有异步加载的情况，下滑到某个程度就会触发新的数据，然后当前页面会显示出新出来的数据，此时就又需要下滑才能看到后面出来的新数据无异步加载比如我的csdn博客，下滑到底部都没有新的数据刷新下方图片中的网址有异步加载CSND首页的第三个版块，下载版块下方图片中的网址上方图片是刚开始的数据展示当我下滑到一定程度时，数据又新增了，如下方图片下方图片的下拉框对比上方图片的下拉框可以看出来下拉框变小了，说明数据变多了继续下滑

前言selenium想要切换标签页就要先知道什么是句柄，如下图所示代码示例from time import sleepfrom selenium import webdriver# 先访问百度chrome = webdriver.Chrome()url = "https://www.baidu.com"chrome.get(url)sleep(1)# 在selenium中打开新的标签页有两种方式# 方式1，执行jsjs = "window.open('http://www.

前言需要用到自己成功登陆直播平台的请求头中的cookie信息找寻cookie以虎牙直播为例首先进入我的订阅，如下图所示点击重新载入在左侧找到myfollow，然后点击，接着目光看向右边的区域鼠标滚轮往下滑动，找到一个RequestsHeaders接下来看下图中蓝色框框圈起来的东西cookie就找到了把cookie: 后面的数据全部复制，如下图红圈代码import requestsfrom lxml import etreezb_list = [] # 直

代码from selenium import webdriverfrom selenium.webdriver.chrome.options import Optionsoptions = Options()options.add_argument("--headless")driver = webdriver.Chrome(options=options)if __name__ == '__main__': url = "https://www.baidu.com" dri

import requests, re, multiprocessingdef main(url): response = requests.get(url) html = response.text imgs_name = re.findall('alt="(.*?)"', html, re.S) # 获取到每张图片的名称 imgs_url = re.fin...

代码爬虫链接 https://blog.youkuaiyun.com/MarkAdc/article/details/99710763以剑魔为例，剑魔编号id是266，那么就访问https://game.gtimg.cn/images/lol/act/img/js/hero/266.jshttps://game.gtimg.cn/images/lol/act/img/js/hero/266.jsi...

前言此篇文章之前已经写过关于虎牙直播的抓取分析了，详情请访问https://blog.youkuaiyun.com/MarkAdc/article/details/90048758代码import requestsimport jsonimport xlwtclass Spider: def __init__(self): # 生成表格对象 self.w...

使用requests库抓取# -*- coding: utf-8 -*-import requestsimport reimport osclass LOLSpider: def __init__(self): """ 定义一个User-Agent，伪装成浏览器 """ self.headers = {...

代码from lxml import etreehtml = """<div> <hello> 我是hello标签 </hello> <a id="1" href="www.baidu.com"> 我是第1个a标签 </a> <p> 我是p标签0 </p> <a id...

使用js2py来执行这是第三方库，需要安装pip install js2py代码演示执行js代码import js2pyjs_code = "console.log('hello world')"js2py.eval_js(js_code) # 直接执行js代码# 把js代码转换为python代码，只限于简单js代码js_code2 = ''' funct...

代码import requestsfrom lxml import etreeimport reimport csvimport threadingclass Spider: def __init__(self): self.headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0...

豆瓣网爬虫