python学习实践--爬取笔趣阁小说

仔细想想自己以前也是个爱看小说的人,虽说浪费时间,但感觉还是对语文和语言表达啥的有点帮助的,所以利用自己所学干点喜欢的事也是相当不错的。
这里以笔趣阁的一本叫做《全球高武》小说为例,主要是目的是把自己最近学的东西实践一下。
爬取目标网址:http://www.biqu6.com/23_23465/

分析工作

小说这东西无疑是一章一章的,所以先打开第一章,发现url是http://www.biqu6.com/23_23465/12788392.html,嗯,第二章是
http://www.biqu6.com/23_23465/12788393.html,这就明显找到规律了。
然后就是发现文章的内容是在div id="content"这个标签内的。当然,还有题目是在div class="bookname"这里边的。

代码实现

import requests
from pyquery import PyQuery as pq
import time

def get_one_page(url):
    headers={
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
    }
    #这个我最后没用
    proxies ={
        'http':"http://112.91.218.21
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值