有时我们需要的只是树内某个地方的一小部分,因此将整个树解析到内存中,全体遍历并进行相关操作造成的内存开销会很大
因此,etree提供了两个事件驱动的解析器接口
一个是在构建树时,生成解析器事件(iterparse)
另一个根本不构建树,而是以类似SAX的方式调用目标对象的反馈方法
some_file_like = BytesIO(b"<root><a>data</a></root>")
for event, element in etree.iterparse(some_file_like):
print("%s, %4s, %s" % (event, element.tag, element.text)
'''
输出:
end, a, data
end, root, None
'''
默认情况下,iterparse()只在解析完元素时生成事件,但可以通过events关键字参数控制
some_file_like = BytesIO(b"<root><a>data</a></root>")
for event, element in etree.iterparse(some_file_like,events=("start", "end")):
print("%5s, %4s, %s" % (event, element.tag, element.text))
'''
输出:
start, root, None
start, a, data
end, a, data
end, root, None
'''
注意,在接收开始事件时,元素的文本、尾部和子元素还不一定存在,只有结束事件才能保证元素已被完全解析
它还允许您.clear()或修改元素的内容以节省内存
因此,如果您解析一个大的树并且希望保持内存使用量小,那么您应该清理树中不再需要的部分
.clear()的keep_tail=True参数确保当前元素后面的(tail)文本内容不会被触摸
强烈建议修改解析器可能尚未完全读取的任何内容
some_file_like = BytesIO(b"<root><a><b>data</b></a><a><b/></a></root>")
for event, element in etree.iterparse(some_file_like):
if element.tag == 'b':
print(element.text)
elif element.tag == 'a':
print("** cleaning up the subtree")
element.clear(keep_tail=True)
'''
输出:
data
** cleaning up the subtree
None
** cleaning up the subtree
'''
iterparse()的一个非常重要的用例是解析生成的大型XML文件,例如数据库转储
大多数情况下,这些XML格式只有一个主数据项元素挂在根节点的正下方,并且重复了数千次
在这种情况下,最好让lxml.etree来构建树,并且只截取这一个元素,使用普通的树API来提取数据
xml_file = BytesIO(b'''\
<root>
<a><b>ABC</b><c>abc</c></a>
<a><b>MORE DATA</b><c>more data</c></a>
<a><b>XYZ</b><c>xyz</c></a>
</root>''')
for _, element in etree.iterparse(xml_file, tag='a'):
print('%s -- %s' % (element.findtext('b'), element[1].text))
element.clear(keep_tail=True)
'''
输出:
ABC -- abc
MORE DATA -- more data
XYZ -- xyz
'''
如果出于某种原因根本不需要构建树,则可以使用lxml.etree的目标解析器接口
它通过调用目标对象的方法创建类似SAX的事件。通过实现部分或全部这些方法,可以控制生成哪些事件
class ParserTarget:
events = []
close_count = 0
def start(self, tag, attrib):
self.events.append(("start", tag, attrib))
def close(self):
events, self.events = self.events, []
self.close_count += 1
return events
parser_target = ParserTarget()
parser = etree.XMLParser(target=parser_target)
events = etree.fromstring('<root test="true"/>', parser)
print(parser_target.close_count) #输出:1
for event in events:
print('event: %s - tag: %s' % (event[0], event[1]))
for attr, value in event[2].items():
print(' * %s = %s' % (attr, value))
'''
输出:
event: start - tag: root
* test = true
'''
可随时重用解析器及其目标,因此要确保.close()方法确实已将目标状态重置为可用(在出现错误时也是如此!)
events = etree.fromstring('<root test="true"/>', parser)
print(parser_target.close_count) #输出:2
events = etree.fromstring('<root test="true"/>', parser)
print(parser_target.close_count) #输出:3
events = etree.fromstring('<root test="true"/>', parser)
print(parser_target.close_count) #输出:4
for event in events:
print('event: %s - tag: %s' % (event[0], event[1]))
for attr, value in event[2].items():
print(' * %s = %s' % (attr, value))
'''
输出:
event: start - tag: root
* test = true
'''