xpath爬取首页信息,并获取详情页标题与时间

han_yanlong

于 2017-08-08 16:48:00 发布

阅读量5k

点赞数

文章标签： python 爬虫 xpath random

本文链接：https://blog.youkuaiyun.com/han_yanlong/article/details/76919000

版权

这段代码展示了如何利用Python的requests和lxml库，配合XPath表达式，从伯乐在线文章首页抓取文章链接、图片源，并进一步获取详情页的标题和发表时间。通过设置不同的User-Agent来模拟浏览器行为，防止被网站屏蔽。程序遍历首页多个页面，对每个文章条目进行解析和内容提取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
# url为 伯乐在线文章首页
import sys
import requests
from lxml import etree
import random
import codecs
reload(sys)
sys.setdefaultencoding("utf-8")
def download_page(url):
    user_agent_list = [
        "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0",
        "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60",
        "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",