web_lxml_scarpy_day4

这次使用的是lxml和requests库
爬取的网站还是http://www.dxy.cn/bbs/thread/626626#626626
刚刚搞了好长时间，才知道不要cookie还是一样可以返回正常输出页面，cookie还没琢磨出来，不知道是失效还是干嘛，还是报错。

import requests
from lxml import etree

header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko'}

def get_page():
    url ='http://www.dxy.cn/bbs/thread/626626#626626'
    r=requests.get(url=url,headers=header)
    return r.text
def parsed_url(html):
    html = etree.HTML(html)
    result_txt = html.xpath('//td[@class="postbody"]/text()')
    result_name=html.xpath('//div[@class="auth"]/a/text()')
    print(result_txt,result_name)
def main():
    html = get_page()
    parsed_url(html)

if __name__ == "__main__":
    main()

我先把代码贴出来，这lxml已经达到解析要求了，我也就不多演示了