Python爬虫实战一：爬取糗事百科的文本段子

本文是笔者进行Python爬虫学习自己动手写的第一个完整的程序。实现了最基本的爬虫功能，即对糗事百科里文本段子的爬取，使用字典这一数据结构来存储段子的内容、作者以及点赞数（评论数不知何故，只能输出奇数序号，实现失败），再将其打印输出。

程序主体是两大块：网页下载器、网页解析输出器

初学Python，编程上一定存在着不少的问题，欢迎各路大神拍砖指正。

因笔者是用sublime text3自带的调试器进行程序调试的，该软件调试时不支持交互，故所有常量都是直接赋值的，使用时可以根据实际需要自行修改。

下面贴上代码：

# -*- coding: utf-8 -*-

from bs4 import BeautifulSoup
import urlparse
import urllib2
import re
import os
import time 


def get_content(urls):
    #网页下载器
	req = urllib2.Request(urls)
	req.add_header("User-agent","Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)")
	response = urllib2.urlopen(req)
	if response.getcode() != 200:
		return None
	return response.read()


def parse(urls, html_cont):
    #网页解析器
	if urls is None or html_cont is None:
		return 
	soup = BeautifulSoup(html_cont, 'html.parser', from_encoding = 'utf-8')
	res_data = {}

	#扒糗事
	'''
	
   
   

    
    
	因为……
	
   
   
	'''
	content_nodes = soup.find_all('div', class_="content")
	i = 1 
	for content_node in content_nodes:
		res_data['content%s'%i] = content_node.get_text().encode('utf-8').strip('\n')
		i += 1

	#扒点赞数
	#7967
	thumb_nodes = soup.find_all('span', class_="stats-vote")
	j = 1
	for thumb_node in thumb_nodes:
		res_data['thumb%s'%j] = thumb_node.get_text().encode('utf-8')
		j += 1

	#扒作者
	#
  
  

   
   
	author_nodes = soup.find_all('div', class_="author clearfix")
	n = 1
	for author_node in author_nodes:
		res_data['author%s'%n] = author_node.get_text().encode('utf-8').strip('\n')
		n += 1

	#扒评论数
	#
	#10 评论
	#
	'''
	comment_nodes = soup.find_all('a', class_="qiushi_comments")
	m = 1
	for comment_node in comment_nodes:
		res_data['comment%s'%m] = comment_node.get_text().strip('\n')
		m += 1 
	'''


	k = 1
	while (k <= i-1):
		print "糗事%s:" %k
		print res_data['content%s'%k]
		print res_data['thumb%s'%k]
		# print res_data['comment%s'%k]
		print "作者:" ,
		print res_data['author%s'%k],
		print "\n"
		print "\n"
		k += 1
	#

if __name__ == "__main__":

	pageIndex = 1
	maxPage = 10

	urls = "http://www.qiushibaike.com/text/page/%s" % pageIndex
	
	while (pageIndex <= maxPage):
		
		print "#--------------------------#"
		print "****文字糗事第%s页内容:****" % pageIndex
		print "#--------------------------#"
		print ""
		print ""
		html_cont = get_content(urls)
		parse(urls, html_cont)
		pageIndex += 1

		time.sleep(5)