糗事百科爬虫

最新推荐文章于 2021-09-26 22:34:18 发布

原创最新推荐文章于 2021-09-26 22:34:18 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

Python 专栏收录该内容

7 篇文章

订阅专栏

本文分享了一个使用Python实现的糗事百科爬虫程序。该程序通过urllib2获取糗事百科网页内容，并利用正则表达式解析网页，抓取每一页的段子标题和内容。此外，还实现了按页显示内容并允许用户通过输入'quit'来退出的功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

代码如下:（友情提示输入quit结束调用）

Qiushi.py

#!/usr/bin/env python
#encoding:utf-8
#By eathings

import urllib2
import re

class Console_page:
	def __init__(self):
		self.page = 1
		self.enable = True
		self.qiushi=re.compile('<div.*?class="content".*?title="(.*?)">([\s\S]*?)</div>')
	def getpage(self, page):
		url = "http://www.qiushibaike.com/hot/page/" + str(page)
		response = urllib2.urlopen(url)
		result = response.read()
		en_result = re.sub("<br/>", "", result)
		items = re.findall(self.qiushi, en_result)
		return items
	
	def show_page(self,page):
		view = self.getpage(page)
		for i in view:
			print u"第 %d页"%page, i[0], i[1]
			inputs = raw_input()
			if inputs == 'quit':
				self.enable = False
				break

	def startread(self):
		while self.enable:
			#print self.page
			page = self.page
			self.show_page(page)
			self.page += 1

qiushibaike = Console_page()
qiushibaike.startread()