python xpath lxml调试

最新推荐文章于 2025-09-11 21:03:21 发布

weixin_30897079

最新推荐文章于 2025-09-11 21:03:21 发布

阅读量69

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：http://www.cnblogs.com/findeasy/p/4053092.html

<li>
<a href="/Н">Н</a>:<a class="det" href='/view/Н/ньютон'>ньютон</a>
 【物理】牛顿(力单位)
<div class="satis" style="display:none">
<span>您对本词条的内容满意吗：</span>
<font>
<a href="###" tip-data="good" updateword="ньютон" satis="245057">满意</a>
<a href="###" tip-data="update" updateword="ньютон" satis="2">请改进</a>
</font>
</div>
</li>

遇到此段xml需要处理，查了些资料，现解决如下：

def readFile(filen,decoding):  
    html = ''  
    try:  
        html = open(filen).read().decode(decoding)  
    except:  
        pass 
    return html  
   
def extract(file,decoding, xpath):  
    html = readFile(file, decoding)  
    tree = etree.HTML(html)
    return tree.xpath(xpath)

两个函数，用于解决读取中文网页时出现的编码问题。

def GetXpath1(url,xpath,saveFile):
    response=urllib2.urlopen(url)
    data=response.read()
    f=file("temp.txt",'w')    
    f.write(data)
    f.close()
    sections = extract('temp.txt', 'utf-8', xpath)
    print len(sections),type(sections)#输出1 <type 'list'>
    print sections#此处为元素[<Element a at 0x26c8948>]
    print sections[0].tag,sections[0].attrib,sections[0].attrib.get("href")
    #输出a {'href': u'/view/\u041d/\u041d\u043e\u0432\u0433\u043e\u0440\u043e\u0434', 'class': 'det'} /view/Н/Новгород
    print type(sections[0].attrib)#<type 'lxml.etree._Attrib'>