很简单的爬虫——爬取糗事百科部分页面内容

本文分享了一个简单的优快云爬虫实现过程,通过分析网页元素构造请求对象,并利用urllib2和正则表达式抓取指定内容。作者强调了正则表达式的重要性并分享了学习心得。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

教程地址

本来是为了交大作业,参考的一个优快云爬虫教程。

模仿占大半的东西交不交都无所谓了。

期待有一天,也可以写出这样技术性的博客。


分析:
     由于这是针对专门一个网页的爬虫,所以需要事先分析好网页的元素。
    比如:爬取内容的url、是否需要header验证、正则表达式的使用等等。
     代码部分:
     构造一个request对象,可以包含url,header,表单 等等。
    使用urllib2组件里的urlopen传入request对象,来获得返回的对象response。
    之后需要用到re组件里的正则表达式。将获取到的html文件过滤,获得想要的字符串。
心得:
    个人觉得正则表达式是一门学问,也有专门的书介绍这部分内容,有需要的话,值得研究。
    关于语言的学习,现在的想法是最好划出单独的一大块时间学习,巩固,平时的零碎时间用来写,巩固。

# -*- coding: utf-8 -*- 
import urllib2  
import re

page = 1
while 1:
    myUrl = "http://m.qiushibaike.com/hot/page/" + str(page)
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    headers = { 'User-Agent' : user_agent }
    
    req = urllib2.Request(myUrl, headers = headers)
    
    myResponse = urllib2.urlopen(req)
    
    myPage = myResponse.read()
    
    p = re.compile(r"""(?<=<div\sclass="content">\n\n)
                    (.*?)\n
                    """,re.X)
    
    for m in p.finditer(myPage):
        print m.group()
    
    print '-------第'+ str(page) +'页-------'
    page=input()


Python爬虫基础案例通常从简单页抓取开始,比如爬取猫眼电影的数据。这里以`requests`库获取内容,然后用`BeautifulSoup`解析HTML,提取所需信息,并通过`pandas`将数据保存到Excel文件为例: 首先,你需要安装必要的库: ```bash pip install requests beautifulsoup4 pandas openpyxl ``` 下面是一个基本的Python爬虫脚本示例,假设我们要爬取电影名称、评分和主演信息: ```python import requests from bs4 import BeautifulSoup import pandas as pd # 爬取URL url = "https://maoyan.com/board/4" response = requests.get(url) # 解析HTML soup = BeautifulSoup(response.text, 'lxml') # 查找需要的数据元素,这里假设电影列表在class为'movie-list' movies_data = soup.find_all(class_='movie-list') # 创建空列表存储数据 data_list = [] # 遍历每部电影 for movie in movies_data: title = movie.find('a', class_='title').text rating = movie.find('i', class_='rating_num')['title'] stars = ', '.join(movie.find_all('span', class_='name')) # 将数据添加到列表 data_list.append([title, rating, stars]) # 将数据转换为DataFrame df_movies = pd.DataFrame(data_list, columns=['电影名称', '评分', '主演']) # 保存到Excel文件 filename = '猫眼电影数据.xlsx' df_movies.to_excel(filename, index=False) ``` 这个例子中,爬虫会定期访问指定的猫眼电影页面,提取每个电影的基本信息,然后将其保存到一个名为`猫眼电影数据.xlsx`的Excel文件中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值