PYTHON 抓去京东,百度的数据

最新推荐文章于 2025-09-04 08:03:39 发布

原创最新推荐文章于 2025-09-04 08:03:39 发布 · 491 阅读

0 ·

CC 4.0 BY-SA版权

python 专栏收录该内容

24 篇文章

订阅专栏

本文介绍了一种使用Python爬取京东和百度搜索结果的方法。通过解析网页源代码获取商品名称、价格及链接等信息，并利用PyQuery进行DOM元素选择。适用于对网络数据抓取感兴趣的开发者。

# -*- coding:utf-8 -*-
import urllib
import json
from pyquery import PyQuery
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

def get_jd(keyword):

    doc = PyQuery('https://search.jd.com/Search?keyword='+urllib.quote(keyword))
    elements = doc(".gl-i-wrap")

    for obj in elements:
        product = {}
        product["price"] = PyQuery(obj)(".p-price").text()
        product["name"] = PyQuery(obj)(".p-name").text()
        product["href"] = PyQuery(obj)(".p-name")("a").attr("href")
        print str(product).decode('string_escape')


def get_baidu(keyword):
    doc = PyQuery('http://www.baidu.com/s?wd=' + urllib.quote(keyword))
    elements = doc(".result")
    for eme in elements:
        obj  = json.loads(PyQuery(eme)("div")(".c-tools").attr("data-tools"))
        obj["text"] =PyQuery(eme)(".c-abstract").text()
        print str(obj).decode('unicode-escape').encode('utf-8')


keyword = 'iphone'
get_jd(keyword)
get_baidu(keyword)