python简单爬虫，Beautifulsoup4解析，爬取直播吧部分热门新闻及链接

原创于 2016-10-18 22:00:16 发布

· 2.6k 阅读

0 ·

版权

Python 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了一个简单的Python脚本，用于爬取直播吧网站上的足球新闻。通过使用urllib和BeautifulSoup库，该脚本能够获取指定网页的内容并解析出新闻标题。最终将解析到的数据写入HTML文件中进行展示。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

import urllib.request
from bs4 import BeautifulSoup

# 爬取直播吧新闻
url = "http://news.zhibo8.cc/zuqiu/"

def __getPage(url):
	print("now crawler coming")
	page = urllib.request.urlopen(url)
	if page.getcode()!=200:
		return None
	data = page.read()
	return data

def __writeToFile(data):
	f = open("G://page1.txt","w")
	f.write(data)
	f.flush()
	f.close()

def __htmlParser(data):
	soup = BeautifulSoup(data,"html.parser")
	title = soup.find("div",attrs={'class':'topleftbox'}).find_all("a")
	return title
def __showHtml(title):
	#print(title)
	if title is None:
		return 'Error'
	html = open("G://dongqiudi.html","w")
	html.write("<html>")
	html.write("<body>")
	html.write("<div>")
	for data in title:
		html.write("</br>%s"%data)
	html.write("</div>")
	html.write("</body>")
	html.write("</html>")
	html.close()

if __name__ == '__main__':
	pageHtml = __getPage(url)
	title = __htmlParser(pageHtml)
	__showHtml(title)

最后的输出页面: