用python写网络爬虫-提取我的博客内容

基本和上次写的爬取不得姐视频差不太多,也是正则表达式方法,所以这次就直接贴代码了

import urllib.request
import urllib.error
import re

def download(url):
    try:
        headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36"}
        request=urllib.request.Request(url,headers=headers)
        html=urllib.request.urlopen(request).read()
        html=html.decode('UTF-8')
        return html
    except:
        a=1

for page in range(1,3):
    url="http://blog.youkuaiyun.com/Joliph/article/list/"+str(page)
    html=download(url)
    titlereg=r'<h3 class="list_c_t"><a href=".*?">(.*?)</a></h3>'
    titlelist=re.findall(titlereg,html)
    yearreg=r'<div class="date_t"><span>(.*?)</span>'
    yearlist=re.findall(yearreg,html)
    monthreg=r'<div class="date_t"><span>.*?</span><em>(.*?)</em></div>'
    monthlist=re.findall(monthreg,html)
    dayreg=r'<div class="date_b">(.*?)</div>'
    daylist=re.findall(dayreg,html)
    number=len(titlelist)
    for i in range(1,number+1):
        print(yearlist[i-1]+"."+monthlist[i-1]+"."+daylist[i-1]+"----"+titlelist[i-1])
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值