Python爬取网页信息并且存储到MySQL数据库

最新推荐文章于 2025-06-25 22:50:22 发布
原创 最新推荐文章于 2025-06-25 22:50:22 发布 · 1.1w 阅读 · 23 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文讲述了作者在使用Python爬取网页信息并尝试存储到MySQL数据库时遇到的困难，包括数据库连接失败和编码问题。通过排查，发现本地MySQL用户未设置密码，以及数据库编码格式不匹配导致的1366错误。最终，通过修改密码、设置正确的字符集和调整字段类型，成功解决了问题并完成了数据存储。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

今天在执行一小Python爬取某网页的信息的时候，结果，报错了，根据错误，应该是数据库连接失败，密码有错误

检查程序密码应该没错呀，然后直接访问数据库，我的天，试了好多次，都快放弃自己了，昨晚明明成功的呀

然后打开Navicat，查看昨晚设置的连接属性，没错呀，密码就是1234566

然后陷入怪圈模式

突然，灵感xiu的一下就来了，Navicat昨晚设置的是连接虚拟机上的MySQL的，密码确实是123456

那本地用户呢，让我想想，我设置密码了吗？

突然想起来，Navicat不是已经连接到数据库了嘛，我可以直接查看表呀，也有root权限的

哇，打开mysql数据库，可以看到一个名为user的数据表

最低0.47元/天 解锁文章

200万优质内容无限畅学
利用python3爬虫爬取全国天气数据并保存入Mysql数据库
08-07
利用python3爬虫爬取全国天气数据并保存入Mysql数据库 具体可见博客 https://blog.youkuaiyun.com/u013523775/article/details/79313803
python爬取招聘数据保存到mysql数据库
07-20
4. **MySQL数据库操作**：为了持久化存储爬取的信息，我们使用了MySQL数据库。首先，我们需要创建一个数据库，并在其中设计表结构以匹配招聘数据的字段。Python有多种库可以连接和操作MySQL，如`pymysql`或`mysql-...
python爬取新闻存入数据库_python爬取数据并保存到数据库中（第一次练手完整代码）...
weixin_39732491的博客
11-23 573
1.首先，下载需要的模块requests, BeautifulSoup, datetime, pymysql（注意，因为我用的python3.7，不支持mysqldb了），具体的下载方法有pip下载，或者使用Anaconda版本python的童鞋可以使用conda下载。2.创建conndb,py，包含数据库的连接断开，增删改查等操作：#!/usr/bin/env python# -*- codin...
Python 爬虫入门：从数据爬取到转存 MySQL 数据库
最新发布
2302_78287161的博客
06-25 2366
本文介绍了一个Python爬虫入门项目，使用requests和BeautifulSoup爬取豆瓣电影Top250数据并存入MySQL数据库。主要内容包括：1)使用requests获取网页内容并设置请求头；2)利用BeautifulSoup解析HTML提取电影排名、名称、导演、年份和评分信息；3)通过mysql-connector连接数据库并存储数据。项目还涉及分页爬取、延迟请求等实用技巧，适合初学者学习网络爬虫和数据库操作基础。最后提供了扩展建议，如使用Scrapy框架或进行数据分析。
python 爬取网页内容并保存到数据库_Python网络爬虫抓取动态网页并将数据存入数据库MYSQL...
weixin_33826994的博客
12-29 1819
简述以下的代码是使用python实现的网络爬虫，抓取动态网页http://hb.qq.com/baoliao/。此网页中的最新、精华下面的内容是由JavaScript动态生成的。审查网页元素与网页源码是不同。本人对于Python学习创建了一个小小的学习圈子，为各位提供了一个平台，大家一起来讨论学习Python。欢迎各位到来Python学习群：960410445一起讨论视频分享学习。Python是未...
python爬虫写入数据库_python网络爬虫抓取动态网页并将数据存入数据库MySQL
weixin_39696518的博客
11-21 283
简述以下的代码是使用python实现的网络爬虫，抓取动态网页 http://hb.qq.com/baoliao/ 。此网页中的最新、精华下面的内容是由JavaScript动态生成的。审查网页元素与网页源码是不同。以上是网页源码以上是审查网页元素所以此处不能简单的使用正则表达式来获取内容。以下是完整的获取内容并存储到数据库的思路及源码。实现思路：抓取实际访问的动态页面的url – 使用正则表达式获取...
python re.split_如何使用python语言的re模块方法split截取字符
weixin_39760619的博客
11-21 568
在JavaScript中，可以使用split方法对字符串进行截取；相应的，在python语言中的re模块也有split方法。工具/原料pythonpycharm截图工具台式机方法/步骤1打开pycharm工具，新建python文件，导入re模块并调用split方法，将结果赋值给a12保存代码并运行文件，查看控制台打印结果3再次调用split方法，添加一个参数分隔次数，设置为24保存代码并运行文件，...
python 爬取古诗文存入mysql数据库的方法
09-18
在介绍如何使用Python爬取古诗文并将数据存储到MySQL数据库中之前，首先需要理解一些基础知识点。Python是一种高级编程语言，具有易于学习和使用的特性，它在数据处理、网络爬虫和自动化脚本等领域有广泛的应用。...
Python爬取小说并存入到mysql数据库源代码
12-26
本项目将向你展示如何使用Python编写一个网络爬虫，以获取在线小说的内容，并将其存储到MySQL数据库中。首先，我们需要安装必要的库，如requests用于发送HTTP请求，BeautifulSoup用于解析HTML文档，以及pymysql用于...
基于python爬取招聘数据保存到mysql数据库.rar
09-12
基于Python爬取招聘数据并保存到MySQL数据库的过程是一个集编程、网络、数据处理和数据库管理于一体的综合性技术项目。该项目不仅能够帮助企业或个人获取行业数据，还能够提高个人在数据分析和处理方面的能力。通过...
Python爬虫之在MySQL中存储数据
naer_chongya的博客
05-25 5928
本文简要介绍了MySQL的基本概念、Python中使用MySQL存储数据的主要步骤，并讨论了一些实际开发中需要注意的问题，包括数据库表的创建、数据库连接的封装、SQL注入的风险和数据库连接池的使用。MySQL作为一款广泛应用的数据库管理系统，在爬虫中的应用也是非常重要的一环，相信通过学习本文，读者可以更好地掌握Python爬虫中如何使用MySQL进行数据存储。
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
09-09
主要介绍了Python3实现的爬虫爬取数据并存入mysql数据库操作,涉及Python正则爬取数据及针对mysql数据库的存储操作相关实现技巧,需要的朋友可以参考下
python爬取阳光电影保存mysql
weixin_42960052的博客
08-20 353
import requests from lxml import etree import re import pymysql # 定义url headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396...
Scrapy爬取3-数据存入数据库
weixin_44826986的博客
04-13 1447
Scrapy数据入库
python爬取新闻存入数据库_python爬取数据存入数据库
weixin_39700625的博客
11-20 791
昨天本来写了一篇关于python爬取的文章，结果没通过，正好今天一起吧。用python同时实现爬取，和存入数据库，算是复习一下前面操作数据库的知识。1、准备工作既然是爬取，那自然要连接到爬取的页面，所以需要requests库。而爬取完成之后，还需要解析网页，因而也要导入BeautifulSoup库。因为后面要将数据存入数据库，所以这里也一并引入了pymysql库，而这个time库呢，主要就是用来间...
python写入mysql数据库_python爬虫获取数据后存入MySQL数据库中
weixin_39585675的博客
11-24 233
from urllib.request import urlopenimport reimport numpyimport timeimport pymysqlfrom bs4 import BeautifulSoupdef getHtmlContent(url):html = urlopen(url)bsobj = BeautifulSoup(html,"lxml",from_encoding ...
python将数据存入数据库_Python网络爬虫抓取动态网页并将数据存入数据库MYSQL
weixin_39751453的博客
11-26 228
原标题：Python网络爬虫抓取动态网页并将数据存入数据库MYSQL简述以下的代码是使用python实现的网络爬虫，抓取动态网页http://hb.qq.com/baoliao/。此网页中的最新、精华下面的内容是由Java动态生成的。审查网页元素与网页源码是不同。 本人对于Python学习创建了一个小小的学习圈子，为各位提供了一个平台，大家一起来讨论学习Python。欢迎各位到来Python学习群...
使用python爬虫抓取页面之后，将页面保存到Mysql数据库中
L瑜
08-06 5500
#首先抓取html页面内容，为了安全起见，有关url内容和mysql连接内容都以星号代替 headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'} req = urllib2.Request(url='******',he
post
c_jiji_yy的博客
03-17 285
post： export const requestPost = (url,data={},configs={}) => { let headers = { 'Content-Type': 'application/json; charset=UTF-8' } let needLoading = false if(!configs.isNQS)...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值