python入门011～python3爬虫爬取图片，爬取新闻网站文章并保存到数据库

最新推荐文章于 2024-12-21 17:35:10 发布

2401_84140080

最新推荐文章于 2024-12-21 17:35:10 发布

阅读量808

点赞数 25

文章标签： python 爬虫数据库

本文链接：https://blog.youkuaiyun.com/2401_84140080/article/details/138244083

版权

本文介绍了如何使用Python进行基础网络爬虫，包括安装BeautifulSoup4和chardet扩展包，爬取网页、解析HTML抓取图片和新闻列表，并将数据存储在本地或数据库。作者还分享了爬取百度贴吧图片和简书新闻的示例代码。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2，爬取新闻网站新闻列表
3，爬取图片
4，把爬取到的数据存在本地文件夹或者数据库
5，学会用pycharm的pip安装Python需要用到的扩展包

一，首先看看Python是如何简单的爬取网页的

1，准备工作

项目用的BeautifulSoup4和chardet模块属于三方扩展包，如果没有请自行pip安装，我是用pycharm来做的安装，下面简单讲下用pycharm安装chardet和BeautifulSoup4

在pycharm的设置里按照下图的步骤操作
如下图搜索你要的扩展类库，如我们这里需要安装chardet直接搜索就行，然后点击install package, BeautifulSoup4做一样的操作就行

在这里插入图片描述

安装成功后就会出现在在安装列表中，到此就说明我们安装网络爬虫扩展库成功

在这里插入图片描述

二，由浅入深，我们先抓取网页

我们这里以抓取简书首页为例：http://www.jianshu.com/


# 简单的网络爬虫

from urllib import request

import chardet



response = request.urlopen("http://www.jianshu.com/")

html = response.read()

charset = chardet.detect(html)# {'language': '', 'encoding': 'utf-8', 'confidence': 0.99}

html = html.decode(str(charset["encoding"]))  # 解码

print(html)

由于抓取的html文档比较长，这里简单贴出来一部分给大家看下


<!DOCTYPE html>

<!--[if IE 6]><html class="ie lt-ie8"><![endif]-->

<!--[if IE 7]><html class="ie lt-ie8"><![endif]-->

<!--[if IE 8]><

最低0.47元/天解锁文章

python入门011～python3爬虫 爬取图片，爬取新闻网站文章并保存到数据库

1，准备工作

python入门011～python3爬虫爬取图片，爬取新闻网站文章并保存到数据库