KHASIX的博客

1.复制链接 https://downloads.mongodb.com/compass/mongodb-compass-1.25.0-win32-x64.zip 2.打开迅雷应用程序 两分钟下载完成 详细安装推荐参考链接（实操可用）：https://blog.youkuaiyun.com/weixin_41466575/article/details/105326230

接上文所述，在购买了IP代理之后， 需要用redis进行IP代理池的构建 1.理想化的IP代理是这样滴 proxies= { #下面的这些代理是一次性生成的，事实上动态生成需要每隔一个时间间隔就刷新购买到的API "http":"http://111.127.119.230:13456", "http":"http://221.230.216.211:13456", "http":"http://111.75.125.219:13456", "http":"http://.38.241.10

我是本着最基本的逻辑出发 我使用的Python版本是3.7.8 首先，创建一个工作表 import requests import xlwt from bs4 import BeautifulSoup def getHtml(): #创建工作表 k=1 f = xlwt.Workbook() sheet = f.add_sheet("北京微博签到一览") rowtitle = ['name','addr','content'] for i in range(0

测试 1.测试连通 from bs4 import BeautifulSoup import lxml import time from selenium.webdriver import ActionChains from selenium import webdriver driver_path = r'D:\\scrapy\\chromedriver.exe' url = 'https://m.weibo.cn/p/index?containerid=2306570042800861100000000

原理： 利用chrome-google/firefox 浏览器插件webscraper 以xpath的方式匹配获取对应区块的信息 设置延时 等参数 实测好用 参考使用链接https://www.cnblogs.com/fengzheng/p/8440806.html

#scrapy爬虫系统性复习 ##1.分享原因 我参考了一个学习爬虫的视频，复习scrapy爬虫来做项目 首先感谢课工场大佬，逻辑性非常清晰，我按照视频实际操作，代码可以跑通。所以分享给大家 视频链接如下： https://b23.tv/r0HvEt ，这个视频比较长，用时491分钟， ##2.按时间总结划分 所以我先做个简单的视频时间划分，大家可以各取所需 00-45min 爬虫原理以及浏览器F12工具 45-94min 爬取公交车站信息并保存到csv文件中 94-144min 深度爬取策略 144-26