tgj2094942564的博客

先看看页面这里我们以500页，为例，采用xpath选取这里的title，时间以及作者，然后再看看具体信息红色框即为我们需要的详情信息，全部抓取后写入csv文件import requestsfrom lxml import etreeimport time as timesimport csvheaders = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,

要是有钱买好的IP代理，谁还爬IP地址啊，有钱人请绕路；数据是存在于mogodb数据库，开了三个线程，我觉得够了import requestsfrom bs4 import BeautifulSoupimport timeimport pymongoimport randomimport threadingdef test1(urls1): for url in url...

迫于课程设计的需要，简单的抓取了一下历史网站的的一些历史信息https://www.lssdjt.com/点开每一个链接后会出现详细的信息页抓下来写入csv文件即可由于这里几乎没有什么反爬虫机制，所以很容易import requestsfrom lxml import etreeimport csvimport codecsimport pandas as pdde...

今天闲来无事帮同学抓取了一个房地产项目的数据网站在这里插入图片描述就是这样一个页面当你输入关键字的时候，在network你会发现这样一个继续往下翻看看preview有趣啊实际操作一波（实际上我当时写代码的时候发现 XHR里面根本就没有数据传送过来，所以我果断用了selenium，弱智了弱智了）简单的发送一个请求可以看到我们所需要的数据都在里面（有时候就是这样，找不到接...

这个嘛方法有很多，但市面上流行的方法也就两种第一种就是通过斗鱼直播间的那个协议第二种吗简单的我想骂人（前一种学些了贼多时间，简直了）就是利用第三方库danmu安装的方法依旧是如此的简单，打开终端输入pip install danmuimport time, sysfrom danmu import DanMuClientdef pp(msg): print(msgencode(sy...