网络爬虫
heshuuqqq
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
安卓开发之jsoup的环境搭建和使用方法
环境搭建:下载jsoup-1.14.1.jar,并将该文件放入项目的libs文件夹内,同时在app目录下的build.gradle加入implementation 'org.jsoup:jsoup:1.14.1'版本根据自己下载的jsoup版本进行导入,然后运行build.gradle文件,使得jsoup在整个项目中可以调用。由于安卓版本的不断提升,对于网络访问越来越严格,需要我们在AndroidManifest.xml文件内加入权限,代码如下:<uses-permission androi原创 2021-07-12 20:15:54 · 1920 阅读 · 4 评论 -
使用webdriver进行爬虫
爬取网易云的音乐链接的简单代码如下from selenium import webdriverimport osimport timefrom selenium.webdriver.common.by import Byfrom bs4 import BeautifulSoupimport pymssql #引入pymssql模块dr= webdriver.Firefox(executable_path ="C:\Program Files\Mozilla Firefox\geckodriv原创 2021-06-24 23:07:12 · 550 阅读 · 1 评论 -
教你如何爬小说(含全代码)
在此,我以剑来小说作为例子,你也可以借鉴我的代码爬取其他小说,有助于python爬虫的学习。好了,进入正题,爬取主要分为8步。1,打开第3方库import requestsimport refrom bs4 import BeautifulSoup2,爬取剑来(网址为:https://www.booktxt.net/5_5871/)小说主页内容并用BeautifulSoup库进行打包di=[]url="https://www.booktxt.net/5_5871/"res=request原创 2020-09-01 21:04:19 · 12868 阅读 · 0 评论
分享