爬虫HelloWorld：爬取博客园某博主所有文章

原创

于 2018-05-01 00:07:00 发布 · 773 阅读

0 ·

CC 4.0 BY-SA版权

本文是Python爬虫的初步实践，目标是获取博客园某博主的所有文章标题。通过编写简单的爬虫代码，实现了这一功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

先定一个小目标：爬取所有文章标题，其他的属性以后再操作

代码

import requests
from bs4 import BeautifulSoup

link = "http://www.cnblogs.com/planche/default.html"
headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36',
    'Host': 'www.cnblogs.com'
}

if __name__ == '__main__':
    pos=1
    while(True):
        key_dict = {
  
  'page': str(pos)}
        r = requests.get(