qq_36606793的博客

爬取boss数据并保存到mysqlboss的反爬虫控制尤其恶心 cookies大概用3次左右就不能用了所以爬取不了太多东西 只可用来学习等学习完逆向爬虫课程 再来挑战挑战example.pyimport scrapyfrom bs4 import BeautifulSoupfrom boos_scrapy.items import BoosScrapyItemfrom time import sleepclass ExampleSpider(scrapy.Spider): n

import requestsfrom jsonpath import parsefrom pyecharts.charts import Map,Geofrom pyecharts import options as optsheaders = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Sa

在网上找jsonpath的教程都是用from jsonpath import jsonpath 但是按教程使用 会报错没有这个模块通过jsonpathe模块调用parse可运行 但是无法写入表达式查询from jsonpath import parseresponse =requests.post(url=url,headers=headers)order = response.json()name = parse("$..name").find(order)confirm = pa

项目结构main.py运行scrapyfrom scrapy import cmdlinecmdline.execute("scrapy crawl douyu_scrapy".split())douyu_scrapy.py爬虫代码import scrapyimport jsonfrom douyu.items import DouyuItemclass DouyuScrapySpider(scrapy.Spider): name = 'douyu_scrapy'

main.py#整个scrapy项目可以直接右键main.py运行，不用到命令行输入命令启动。from scrapy import cmdlinecmdline.execute("scrapy crawl taobaobao".split())taobaobao.pyscrapy代码import scrapyfrom selenium import webdriverfrom time import sleepfrom docs.conf import username,passwor.

使用selenium打开淘宝网的时候，淘宝网通过检测navigator的值检测你是否使用了自动化脚本，此时需要在页面上按F12，在console中输入window.navigator.webdriver，显示的值为true，则表示被检测到了，这样无论你怎么去滑滑块，都会显示出错。显示的值为undefined，则表示没有被检测到，此时就需要修改navigator的值 options = webdriver.ChromeOptions() options.add_argument("--disable-bl

scrapy框架- 什么是框架？ - 就是一个集成了很多功能并且具有很强通用性的一个项目模板。- scrapy框架的基本使用 - 环境的安装： - mac or linux：pip install scrapy - windows: - pip install wheel - 安装twisted： pip install Twisted -i http://pypi.doubanio.com/simple

#!/usr/bin/env python# coding:utf-8import requestsfrom hashlib import md5class Chaojiying_Client(object): def __init__(self, username, password, soft_id): self.username = username password = password.encode('utf8') self.

chrome 79以前版本from selenuim import webdriverfrom selenium.webdriver import ChromeOptionsoption = ChromeOptions()option.add_experimental_option('excludeSwitches',['enable-automation'])driver = webdriver.Chrome(options=option)chrome 79以后版本from selenui

-selenium 处理iframe -如果定位的标签存在iframe标签之中，则必须使用switch_to.frame(id) -动作链（拖动）from selenium import ActionChains -实例化一个动作链对象 action =ActionChains(bro) -click_and_hold(div) 长按且点击 -move_by_offset(x,y) 移动x，y方向 -perform() 让动作链立即执行 -action.

import timeimport asyncioimport aiohttpstat = time.time()urls = ['http://127.0.0.1:5000/bobo', 'http://127.0.0.1:5000/jay', 'http://127.0.0.1:5000/ja']async def get_page(url): async with aiohttp.ClientSession() as session:

import requests,os,timefrom lxml import etreedef handle_request(url, page): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36' } # 由于第一页和后面页码规律不一

import requests,osfrom lxml import etreeurl = 'http://pic.netbian.com/4kmeinv/'headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'}meinu = requests.get(url=url

响应内容我们能读取服务器响应的内容。再次以 GitHub 时间线为例： import requests r = requests.get('https://api.github.com/events') r.textu'[{"repository":{"open_issues":0,"url":"https://github.com/...Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。请求发出后，Requests 会基于 HTTP 头部对响应的

使用pycharm 下载 lxml 一直无法调入 etree模块解决办法: 卸载pycharm 安装的lxml 使用命令行 重新安装lxml

使用pycharm 下载 lxml 一直无法调入 etree模块解决办法: 卸载pycharm 安装的lxml 使用命令行 重新安装lxml

from bs4import BeautifulSoupimport requests,osif __name__ =='__main__':if not os.path.exists('./三国'):os.mkdir('./三国')url ='https://www.xingyueboke.com/sanguoyanyi/'headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36