[Python爬虫] 之二十六：Selenium +phantomjs 利用 pyquery抓取智能电视网站图片信息

最新推荐文章于 2025-12-05 17:02:52 发布

转载最新推荐文章于 2025-12-05 17:02:52 发布 · 83 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/shaosks/p/7069078.html

文章标签：

#python #爬虫

本文介绍使用Selenium结合PhantomJS爬取指定网站资讯及图片的方法。通过具体示例，展示了如何根据给定关键字抓取智能电视相关网站的内容，并提供了完整的抓取图片的代码实现。

一、介绍

　　　　本例子用Selenium +phantomjs爬取智能电视网站（http://www.tvhome.com/news/）的资讯信息，输入给定关键字抓取图片信息。

　　　　给定关键字：数字；融合；电视

　　二、网站信息

　　三、数据抓取

　　　　针对上面的网站信息，来进行抓取

　　　　1、首先抓取信息列表

　　　　　　抓取代码：Elements = doc('div[class="main_left fl"]').find('div[class="content"]').find('ul').find('li')

　　　　2、抓取图片

　　　　　　抓取代码：imgurl = element('a').find('img').attr('src')；

　　　　　　　　　　　self.down_picture(imgurl)

　　四、完整代码

 def down_picture(self, imgurl):
        """
        下载图片到本地
        :param imgurl: 图片url
        """
        # http://img.tvhomeimg.com/uploads/2017/06/23/144910c41de4781ccfe9435e736ef72b.jpg
        if len(imgurl)>0:
            fileName = ''
            if imgurl.rfind('/')>0:
                fileName = imgurl[imgurl.rfind('/') + 1:]
                u = urllib.urlopen(imgurl)
                data = u.read()

                strpath = os.path.dirname(os.getcwd())+'\picture'
                with open(os.path.join(strpath, fileName), 'wb') as f:
                    f.write(data)