第十四章：应用构建模块-shlex:解析shell类语法-包含其他token源

14.6.5 包含其他token源
shlex类包括很多配置属性来控制其行为。source属性支持代码(或配置)重用，允许一个token流包含另一个token流。这个特性类似于Bourne shell的source操作符——其也因此得名。

import shlex

text = "This text says to source quotes.txt before continuing."
print('ORIGINAL: {!r}'.format(text))
print()

lexer = shlex.shlex(text)
lexer.wordchars += '.'
lexer.source = 'source'

print('TOKENS:')
for token in lexer:
    print('{!r}'.format(token))

原文本中的字符串source quotes.txt会得到特殊处理。由于lexer的source属性被设置为"source"，所以遇到这个关键字时，会自动包含下一行上出现的文件名。为了让文件名作为单个token出现，需要在单词包含的字符列表中增加.字符；否则quotes.txt会变成3个token:quotes,.和txt。输出如下：

source特性使用了一个名为sourcehook()的方法来加载额外的输入源，所以shlex的子类可以提供一个候选实现，从不是文件的其他位置加载数据。