利用python解析xml, json

最新推荐文章于 2024-07-30 23:29:15 发布

转载最新推荐文章于 2024-07-30 23:29:15 发布 · 128 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/fei-hsueh/p/6106284.html

文章标签：

#json #python

本文介绍了解析豆瓣网站的sitemap_index.xml文件的方法，并演示了如何使用Python的xml.dom.minidom模块来提取其中的URL信息。此外，还展示了如何创建并读取一个简单的JSON配置文件。

　XML

需要到的库:

from xml.dom.minidom import parse
import xml.dom.minidom

豆瓣sitemap_index.xml格式如下(2016-10-29):

<sitemapindex>
    <sitemap>
        <loc>https://www.douban.com/sitemap3782.xml.gz</loc>
        <lastmod>2016-10-19T10:36:31Z</lastmod>
    </sitemap>
    <sitemap>
        <loc>https://www.douban.com/sitemap3783.xml.gz</loc>
        <lastmod>2016-10-19T10:36:31Z</lastmod>
    </sitemap>
</sitemapindex>

解析过程:

xml_str=douban.sitemap.xml
DOMTree =xml.dom.minidom.parseString(xml_str)
collection = DOMTree.documentElement
elements=collection.getElementsByTagName("sitemap")
for i in elements:
    a=i.getElementsByTagName("loc")
    print(a[0].childNodes[0].nodeValue)

　Json

map={}
for i in range(0,3783):
    map[i]=0

with open("text\\sitemap_config.json","w") as f:
    json.dump(map,f)

map={}
with open("text\\sitemap_config.json", 'r') as f:
    map = json.load(f)
print(map)