校花爬虫

最新推荐文章于 2022-05-01 13:30:00 发布

原创

最新推荐文章于 2022-05-01 13:30:00 发布 · 3.2k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #校花 #request

本文介绍了一位开发者使用Python爬虫技术，抓取并整理了学校网站上的美丽图片，展示了如何利用request库进行网络请求，解析HTML，实现自动化数据获取的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import requests
from bs4 import BeautifulSoup
print('导包成功')

导包成功

# ctrl+/  注释当前代码快捷键
# 爬取的网址
url='http://www.xiaohuar.com/'
# 定制头部信息 指定用户代理
header={
   
   "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36"}
# 发送网络请求获取校花网网页内容
def spider_xiaohua_content():
#     发送网络请求
    response=requests.get(url=url,headers=header)
    print(response.status_code)
#     请求网络成功返回状态码如果200 代表成功   404  失败   500 服务器报错
    if response.status_code:
#         设置编码格式
        response.encoding='utf-8'
#     获取字节流
        html=response.content
#     构建BeautifulSoup对象  解析网页内容
#     参数  1:网页内容   2:解析器 html5lib
        bts=BeautifulSoup(html,'html5lib')
#     找到6个板块  最新校花  中学校花  校草男神  网络美女  校花视频  校花新闻
        div_list=bts.find_all('div',attrs={
   
   'class':'all_lanmu'})
    
        text=''
#         创建文件  1：文件名称   2：权限  3:编码格式
        file=open('spider-校花.txt','w',encoding='utf-8')