python简单爬虫，Beautifulsoup4解析，爬取直播吧部分热门新闻及链接

关注

原创最新推荐文章于 2026-07-31 09:02:29 发布 2.7k 阅读 AI 写同款· GEO 优化 ›

爬虫实战(1)：直播吧网站的赛程表网站地址：直播吧本来是想写糗事百科的。。但是不知道为什么总是被禁止。。于是就换了个直播吧。本来以为直播吧的很好写。但是发现直播吧的源代码写的很混乱。相同的比赛，格式还不一样。。同是CBA比赛，有的带，有的不带，带的是重点比赛。还有的会混着图片。时间大部分都用来处理这方面了。最终想到了用split方法来处理掉中间这些混着的空格，图片和。代码如下：import urllib import 阅读详情

import urllib.request
from bs4 import BeautifulSoup

# 爬取直播吧新闻
url = "http://news.zhibo8.cc/zuqiu/"

def __getPage(url):
	print("now crawler coming")
	page = urllib.request.urlopen(url)
	if page.getcode()!=200:
		return None
	data = page.read()
	return data

def __writeToFile(data):
	f = open("G://page1.txt","w")
	f.write(data)
	f.flush()
	f.close()

def __htmlParser(data):
	soup = BeautifulSoup(data,"html.parser")
	title = soup.find("div",attrs={'class':'topleftbox'}).find_all("a")
	return title
def __showHtml(title):
	#print(title)
	if title is None:
		return 'Error'
	html = open("G://dongqiudi.html","w")
	html.write("<html>")
	html.write("<body>")
	html.write("<div>")
	for data in title:
		html.write("</br>%s"%data)
	html.write("</div>")
	html.write("</body>")
	html.write("</html>")
	html.close()

if __name__ == '__main__':
	pageHtml = __getPage(url)
	title = __htmlParser(pageHtml)
	__showHtml(title)

最后的输出页面: