python入门011～python3爬虫爬取图片，爬取新闻网站文章并保存到数据库

最新推荐文章于 2024-07-22 17:25:13 发布

m0_60635001

最新推荐文章于 2024-07-22 17:25:13 发布

阅读量594

点赞数 3

分类专栏：程序员文章标签： python 学习面试

本文链接：https://blog.youkuaiyun.com/m0_60635001/article/details/138981802

版权

程序员专栏收录该内容

180 篇文章

订阅专栏

在这里插入图片描述

感谢每一个认真阅读我文章的人，看着粉丝一路的上涨和关注，礼尚往来总是要有的：

①　2000多本Python电子书（主流和经典的书籍应该都有了）

②　Python标准库资料（最全中文版）

③　项目源码（四五十个有趣且经典的练手项目及源码）

④　Python基础入门、爬虫、web开发、大数据分析方面的视频（适合小白学习）

⑤ Python学习路线图（告别不入流的学习）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

response = request.urlopen(“http://www.jianshu.com/”)

html = response.read()

charset = chardet.detect(html)# {‘language’: ‘’, ‘encoding’: ‘utf-8’, ‘confidence’: 0.99}

html = html.decode(str(charset[“encoding”])) # 解码

print(html)




由于抓取的html文档比较长，这里简单贴出来一部分给大家看下

<meta name="description"  content="简书是一个优质的创作社区，在这里，你可以任性地创作，一篇短文、一张照片、一首诗、一幅画……我们相信，每个人都是生活中的艺术家，有着无穷的创造力。">

<meta name="keywords"  content="简书,简书官网,图文编辑软件,简书下载,图文创作,创作软件,原创社区,小说,散文,写作,阅读">

…后面省略一大堆




这就是Python3的爬虫简单入门，是不是很简单，建议大家多敲几遍



[](https://xiaoshitou.blog.youkuaiyun.com/article/details/78041347)三，Python3爬取网页里的图片并把图片保存到本地文件夹

------------------------------------------------------------------------------------------



目标



*   爬取百度贴吧里的图片

*   把图片保存到本地，都是妹子图片奥  

    不多说，直接上代码,代码里的注释很详细。大家仔细阅读注释就可以理解了

import re

import urllib.request

#爬取网页html

def getHtml(url):

page = urllib.request.urlopen(url)

html = page.read()

return html

html = getHtml(“http://tieba.baidu.com/p/3205263090”)

html = html.decode(‘UTF-8’)

#获取图片链接的方法

def getImg(html):

# 利用正则表达式匹配网页里的图片地址

reg = r'src="([.*\S]*\.jpg)" pic_ext="jpeg"'

imgre=re.compile(reg)

imglist=re.findall(imgre,html)

return imglist

imgList=getImg(html)

imgCount=0

#for把获取到的图片都下载到本地pic文件夹里，保存之前先在本地建一个pic文件夹

for imgPath in imgList:

f=open("../pic/"+str(imgCount)+".jpg",'wb')

f.write((urllib.request.urlopen(imgPath)).read())

f.close()

imgCount+=1

print(“全部抓取完成”)




迫不及待的看下都爬取到了些什么美图



![在这里插入图片描述](https://img-blog.csdnimg.cn/20190612104519609.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FpdXNoaV8xOTkw,size_16,color_FFFFFF,t_70)



就这么轻易的爬取到了24个妹子的图片。是不是很简单。



[](https://xiaoshitou.blog.youkuaiyun.com/article/details/78041347)四，Python3爬取新闻网站新闻列表

--------------------------------------------------------------------------------



*   这里我们只爬取新闻标题，新闻url，新闻图片链接。

*   爬取到的数据目前只做展示，等我学完Python操作数据库以后会把爬取到的数据保存到数据库。



到这里稍微复杂点，就分布给大家讲解



*   1 这里我们需要先爬取到html网页上面第一步有讲怎么抓取网页

*   2分析我们要抓取的html标签



![在这里插入图片描述](https://img-blog.csdnimg.cn/20190612104533783.png)  

分析上图我们要抓取的信息再div中的a标签和img标签里，所以我们要想的就是怎么获取到这些信息



这里就要用到我们导入的BeautifulSoup4库了，这里的关键代码

使用剖析器为html.parser

soup = BeautifulSoup(html, ‘html.parser’)

获取到每一个class=hot-article-img的a节点

allList = soup.select(‘.hot-article-img’)




上面代码获取到的allList就是我们要获取的新闻列表，抓取到的如下

[

]




这里数据是抓取到了，但是太乱了，并且还有很多不是我们想要的，下面就通过遍历来提炼出我们的有效信息



*   3 提取有效信息

#遍历列表，获取有效信息

for news in allList:

aaa = news.select('a')

# 只选择长度大于0的结果

if len(aaa) > 0:

    # 文章链接

    try:#如果抛出异常就代表为空

        href = url + aaa[0]['href']

    except Exception:

        href=''

    # 文章图片url

    try:

        imgUrl = aaa[0].select('img')[0]['src']

    except Exception:

        imgUrl=""

    # 新闻标题

    try:

        title = aaa[0]['title']

    except Exception:

        title = "标题为空"

    print("标题",title,"\nurl：",href,"\n图片地址：",imgUrl)

    print("==============================================================================================")




这里添加异常处理，主要是有的新闻可能没有标题，没有url或者图片，如果不做异常处理，可能导致我们爬取的中断。  

###过滤后的有效信息

标题标题为空

url： https://www.huxiu.com/article/211390.html

图片地址： https://img.huxiucdn.com/article/cover/201708/22/173535862821.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题 TFBOYS成员各自飞，商业价值天花板已现？

url： https://www.huxiu.com/article/214982.html

图片地址： https://img.huxiucdn.com/article/cover/201709/17/094856378420.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题买手店江湖

url： https://www.huxiu.com/article/213703.html

图片地址： https://img.huxiucdn.com/article/cover/201709/17/122655034450.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题 iPhone X正式告诉我们，手机和相机开始分道扬镳

url： https://www.huxiu.com/article/214679.html

图片地址： https://img.huxiucdn.com/article/cover/201709/14/182151300292.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题信用已被透支殆尽，乐视汽车或成贾跃亭弃子

url： https://www.huxiu.com/article/214962.html

图片地址： https://img.huxiucdn.com/article/cover/201709/16/210518696352.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题别小看“搞笑诺贝尔奖”，要向好奇心致敬

url： https://www.huxiu.com/article/214867.html

图片地址： https://img.huxiucdn.com/article/cover/201709/15/180620783020.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题 10 年前改变世界的，可不止有 iPhone | 发车

url： https://www.huxiu.com/article/214954.html

图片地址： https://img.huxiucdn.com/article/cover/201709/16/162049096015.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题感谢微博替我做主

url： https://www.huxiu.com/article/214908.html

图片地址： https://img.huxiucdn.com/article/cover/201709/16/010410913192.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题苹果确认取消打赏抽成，但还有多少内容让你觉得值得掏腰包？

url： https://www.huxiu.com/article/215001.html

图片地址： https://img.huxiucdn.com/article/cover/201709/17/154147105217.jpg?imageView2/1/w/280/h/210/|imageMogr2/strip/interlace/1/quality/85/format/jpg

==============================================================================================

标题中国音乐的“全面付费”时代即将到来？

url： https://www.huxiu.com/article/214969.html

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、全套PDF电子书

书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。

四、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

五、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

六、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

sdnimg.cn/img_convert/252731a671c1fb70aad5355a2c5eeff0.png)

六、面试资料

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里获取

python入门011～python3爬虫 爬取图片，爬取新闻网站文章并保存到数据库

使用剖析器为html.parser

获取到每一个class=hot-article-img的a节点

一、Python所有方向的学习路线

二、学习软件

三、全套PDF电子书

四、入门学习视频

五、实战案例

六、面试资料

六、面试资料

python入门011～python3爬虫爬取图片，爬取新闻网站文章并保存到数据库