抓取新华网所有旅游相关的标题和地址

最新推荐文章于 2025-07-10 11:59:26 发布

胡桓

最新推荐文章于 2025-07-10 11:59:26 发布

阅读量6.2k

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫

本文链接：https://blog.youkuaiyun.com/louishu_hu/article/details/78083654

爬虫专栏收录该内容

5 篇文章

订阅专栏

本博客介绍了一种使用Python爬取新华网中关于旅游新闻的方法。通过发送请求获取新闻标题及链接，并利用urllib2和json模块解析数据。最终将抓取到的信息保存至Excel文件中。该过程涉及网页爬虫技术、数据解析及文件操作。

#coding:utf8

import urllib2
import json
import xlwt
import os

wbk = xlwt.Workbook()
sheet = wbk.add_sheet(u'新华网旅游相关信息')
sheet.write(0, 0, u'标题')
sheet.write(0, 1, u'url地址')
title_list = []
url_list = []
break_flag = False
test = ('result.xls').decode('utf8')
base_url = 'http://so.news.cn/getNews?keyword=%E6%97%85%E6%B8%B8&curPage=1&sortField=0&searchFields=1&lang=cn'
base_resq = urllib2.Request(base_url)
base_response = urllib2.urlopen(base_resq)
data = base_response.read()
base_result = json.loads(data)
page_count = base_result[u'content'][u'pageCount']
page=1
while break_flag is False:
    url = 'http://so.news.cn/getNews?keyword=%E6%97%85%E6%B8%B8&curPage=' + str(page) + '&sortField=0&searchFields=1&lang=cn'
    resq = urllib2.Request(url)
    response = urllib2.urlopen(resq)
    html_data = response.read()
    result = json.loads(html_data)
    news = result[u'content'][u'results']
    page+=1
    try:
        for new in news:
            title_list.append(new[u'title'].replace('<font color=red>', '').replace('</font>', ''))
            url_list.append(new[u'url'])
            if page==int(page_count):
                break_flag = True
                break
    except Exception as e:
        print e
        break_flag = True
        break
while os.path.exists(test):
    os.remove(test)
else:
    for i in range(len(title_list)):
            sheet.write(i+1, 0, title_list[i])
            sheet.write(i+1, 1, url_list[i])
wbk.save(test)