Python3爬取简书首页文章的标题和文章链接

最新推荐文章于 2021-01-28 22:53:28 发布

Bondiblue

最新推荐文章于 2021-01-28 22:53:28 发布

阅读量2.7k

点赞数

CC 4.0 BY-SA版权

分类专栏： python 爬虫文章标签： python

本文链接：https://blog.youkuaiyun.com/weixin_37636702/article/details/78759862

python 同时被 2 个专栏收录

5 篇文章

订阅专栏

爬虫

1 篇文章

订阅专栏

本文介绍了一个使用Python进行网页爬取的实例，通过模拟浏览器访问简书网站，抓取了首页的文章标题及其链接，并将这些信息保存到本地文本文件中。此教程详细展示了如何利用urllib和BeautifulSoup库完成网页数据的抓取与解析。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from urllib import request  
from bs4 import BeautifulSoup            #Beautiful Soup是一个可以从HTML或XML文件中提取结构化数据的Python库  

#构造头文件，模拟浏览器访问  
url="http://www.jianshu.com"  
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}  
page = request.Request(url,headers=headers)  
page_info = request.urlopen(page).read().decode('utf-8')#打开Url,获取HttpResponse返回对象并读取其ResposneBody  

# 将获取到的内容转换成BeautifulSoup格式，并将html.parser作为解析器  
soup = BeautifulSoup(page_info, 'html.parser')  
# 以格式化的形式打印html  
#print(soup.prettify())  

titles = soup.find_all('a', 'title')# 查找所有a标签中class='title'的语句  


''''' 
# 打印查找到的每一个a标签的string和文章链接 
    for title in titles: 
        print(title.string) 
        print("http://www.jianshu.com" + title.get('href'))    
'''   


#open()是读写文件的函数,with语句会自动close()已打开文件  
with open(r"D:\articles.txt","w") as file:       #在磁盘以只写的方式打开/创建一个名为 articles 的txt文件  
    for title in titles:  
        file.write(title.string+'\n')  
        file.write("http://www.jianshu.com" + title.get('href')+'\n\n')

运行结果如下：
这里写图片描述