KHASIX的博客

1.复制链接https://downloads.mongodb.com/compass/mongodb-compass-1.25.0-win32-x64.zip2.打开迅雷应用程序两分钟下载完成详细安装推荐参考链接（实操可用）：https://blog.youkuaiyun.com/weixin_41466575/article/details/105326230

接上文所述，在购买了IP代理之后，需要用redis进行IP代理池的构建1.理想化的IP代理是这样滴proxies= { #下面的这些代理是一次性生成的，事实上动态生成需要每隔一个时间间隔就刷新购买到的API "http":"http://111.127.119.230:13456","http":"http://221.230.216.211:13456","http":"http://111.75.125.219:13456","http":"http://.38.241.10

我是本着最基本的逻辑出发我使用的Python版本是3.7.8首先，创建一个工作表import requestsimport xlwtfrom bs4 import BeautifulSoupdef getHtml(): #创建工作表 k=1 f = xlwt.Workbook() sheet = f.add_sheet("北京微博签到一览") rowtitle = ['name','addr','content'] for i in range(0

测试1.测试连通from bs4 import BeautifulSoupimport lxmlimport timefrom selenium.webdriver import ActionChainsfrom selenium import webdriverdriver_path = r'D:\\scrapy\\chromedriver.exe'url = 'https://m.weibo.cn/p/index?containerid=2306570042800861100000000

原理：利用chrome-google/firefox 浏览器插件webscraper以xpath的方式匹配获取对应区块的信息设置延时 等参数实测好用参考使用链接https://www.cnblogs.com/fengzheng/p/8440806.html

#scrapy爬虫系统性复习##1.分享原因我参考了一个学习爬虫的视频，复习scrapy爬虫来做项目首先感谢课工场大佬，逻辑性非常清晰，我按照视频实际操作，代码可以跑通。所以分享给大家视频链接如下：https://b23.tv/r0HvEt，这个视频比较长，用时491分钟，##2.按时间总结划分所以我先做个简单的视频时间划分，大家可以各取所需00-45min 爬虫原理以及浏览器F12工具45-94min 爬取公交车站信息并保存到csv文件中94-144min 深度爬取策略144-26