爬取数据保存至mysql数据库

最新推荐文章于 2023-10-31 21:48:28 发布
最新推荐文章于 2023-10-31 21:48:28 发布
阅读量6.1k 收藏 13
点赞数 1
CC 4.0 BY-SA版权
分类专栏： requests mysql数据库 文章标签： 保存数据到mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_39928840/article/details/81196961
本文介绍了一种将网页抓取的数据保存至MySQL数据库的方法。通过一个具体案例展示了如何使用Python进行网页爬取，并根据不同类型的链接采取不同的处理方式。特别强调了get请求的使用及URL的构造。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

做爬虫，免不了将抓取下来的数据保存到数据库，但是如何保存到数据库呢，下面我通过我工作中抓取的一个网站来展示，代码有点多，但是逻辑很简单，此例是将view Details的链接保存在了mysql中，先看看网站是什么样子：
这里写图片描述
下边这个图是页码
这里写图片描述
网站是这个样子，我在代码中有个判断，就是判断链接是否有三个，分别执行不同操作，就是根据图中标记来的
此次请求是get请求，不需要传参，只需要重新拼接url进行翻页即可
以下是代码全图：
这里写图片描述
这里写图片描述
这里写图片描述
这里写图片描述

其中有注释的才是需要注意的地方，代码这么多，着重看吧！

将python中爬取的数据保存到数据库中
zhh_1998的博客
04-09 5049
要用python关联爬取数据，保存到数据库中 分两步，第一步就是爬取数据，第二步才是保存到数据库 爬取数据 需要的头文件有： # -*- coding:UTF-8 -*- import pymysql as mdb import pymysql.cursors import requests from bs4 import BeautifulSoup import bs4 解...
将爬取网页存入mysql数据库_爬虫--爬取网页信息存储到Mysql数据库
weixin_32563411的博客
01-19 767
有两种方法进行处理特殊内容的存储：第一种：使用 repr 函数repr() 函数将对象转化为供解释器读取的形式。import jsonimport requestsimport pymysqlclass mysql_conn(object):# 魔术方法 ，初始化 ， 构造函数def __init__(self):self.db = pymysql.connect(host='127.0.0.1'...
将爬取的数据保存到mysql中
weixin_30709809的博客
10-18 989
为了把数据保存到mysql费了很多周折，早上再来折腾，终于折腾好了 安装数据库 1、pip install pymysql(根据版本来装) 2、创建数据 打开终端 键入mysql -u root -p 回车输入密码 create database scrapy (我新建的数据库名称为scrapy) 3、创建表 use scrapy; ...
python3 爬取数据并保存到MySQL
weixin_44439675的博客
03-24 1117
一、效果示意： 1.输出： 2.爬取效果： 3.表结构： 二、核心代码： 1、引入： import requests from bs4 import BeautifulSoup import time import pymysql 2、爬取数据方法： # 爬取数据 def get_information(page=0): url = 'https://bbs.hupu.com/bxj-postdate-' + str(page+1) headers={ "user-age
Python爬取读书网的图片链接和书名并保存在数据库中
qq_62254095的博客
10-31 1960
这个爬虫项目应该可以适用于挺多场景的，不是特别多， 跟着写一下也没啥坏处。如果有代码的需求的话，日后会把项目的代码地址给出。因为自己学爬虫没多久，记录一下梳理下思路，也可以为以后有需要的时候做参考。
python爬取数据保存为MySQl格式
zhanghl150426的博客
08-24 402
#encoding:'utf-8' import urllib.request from bs4 import BeautifulSoup import os import time import pymysql import xlwt def getDatas():     # url="https://movie.douban.com/top250"     url="file:///E:/...
Python3实现的爬虫爬取数据并存入mysql数据库操作示例
09-09
在本示例中，我们将深入探讨如何使用Python3编写一个简单的网络爬虫，该爬虫能够抓取特定网页上的数据，并将这些数据存储到MySQL数据库中。首先，我们需要了解几个关键的Python库，包括`requests`、`re`（正则表达式...
Python爬取孔夫子旧书,可以将爬取数据保存为Excel文件 可以将爬取数据保存到MySQL数据库,前提是创建了spider数据库 创建数据库: create database spider
最新发布
01-14
我们既可以将数据保存为Excel文件，也可以保存到MySQL数据库中。如果选择保存为Excel文件，我们可以使用pandas库： ```python pip install pandas ``` 使用pandas的DataFrame对象存储爬取的数据，并调用to_excel...
Python爬取数据并写入MySQL数据库的实例
09-09
总结来说，这个实例演示了如何使用Python结合BeautifulSoup和Requests库进行网页数据爬取，以及如何利用MySQLdb库将这些数据存入MySQL数据库。通过这种方式，我们可以自动化地收集和存储大量网络数据，为数据分析或...
python爬取招聘数据保存到mysql数据库
07-20
4. **MySQL数据库操作**：为了持久化存储爬取的信息，我们使用了MySQL数据库。首先，我们需要创建一个数据库，并在其中设计表结构以匹配招聘数据的字段。Python有多种库可以连接和操作MySQL，如`pymysql`或`mysql-...
python 爬取古诗文存入mysql数据库的方法
09-18
在介绍如何使用Python爬取古诗文并将数据存储到MySQL数据库中之前，首先需要理解一些基础知识点。Python是一种高级编程语言，具有易于学习和使用的特性，它在数据处理、网络爬虫和自动化脚本等领域有广泛的应用。...
爬取图片，并且保存mysql
05-15
爬取图片，并且保存mysql,，selenium,多进程爬取网站的图片信息，保存至mysql
java jsoup应用爬取数据存储数据库及日志开关
08-14
爬虫的应用爬取数据和存储数据库加下载图片以及日志的优化和日志存储的位置
JAVA 爬取指定网站的数据并存入MySQL数据库中 maven +httpclient+jsoup+mysql
wl20222022的博客
12-07 2083
            最近在做一个小项目，因为要用的数据爬取，所以研究了好多天，分享一下自己的方法 目录结构： 自己创建maven工程，导入相关依赖：pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=...
爬虫-菜谱信息爬取（保存至数据库）
Tpintell的博客
03-27 2095
爬取网站信息，进行数据清洗，保存至数据库，进行简单的词云分析
将scrapy爬虫框架爬取到的数据存入mysql数据库
zhouls007的博客
10-17 9170
使用scrapy爬取网站数据，是一个目前来说比较主流的一个爬虫框架，也非常简单。 1、创建好项目之后现在settings.py里面把ROBOTSTXT_OBEY的值改为False，不然的话会默认遵循robots协议，你将爬取不到任何数据。 2、在爬虫文件里开始写你的爬虫，你可以使用xpath，也可以使用css选择器来解析数据，等将数据全部解析完毕之后再items文件里面去声明你的字段 im...
Python_爬虫数据存入数据库(超详细过程
热门推荐
m0_65592409的博客
06-17 1万+
目录一、新建项目二、程序的编写三、数据的爬取1.在cmd窗口输入scrapy startproject [项目名称] 创建爬虫项目接着创建爬虫文件，scrapy genspider [爬虫名字] [爬虫域名]打开pycharm项目，就可以看到生成的cblog.py文件1.在项目下新建main.py，写入以下代码，方便后续项目调试main.py 2.编写爬虫程序kblog.py 3.在items.py文件中创建items函数与爬取数据对应items.py 4.在数据库中新建数据表MyArticle
基于Webmagic的Java爬虫（五）将爬取的数据保存到mysql数据库中（jdbc）
Ada5899的博客
03-27 4009
一、目的： 爬取博客园的网站，将所有的标题和内容爬取下来并通过 bean+jdbc 保存到 mysql 数据库中。 二、步骤： 在 pom.xml 文件中添加 mysql 数据连接依赖。 结构 在 mysql 数据库中创建数据库 test ，并创建表 t_cnblogs。 添加MySQL的工具类 package ang.util; /** * MySQL的工具类 * @author A...
将爬虫爬到的数据存入MySQL数据库
qq_42166308的博客
11-26 2545
import requests import csv from lxml import etree import pymysql class ConnMysql(object): def init(self): # 连接数据库 self.db = pymysql.connect(host=数据库的地址, port=3306, database=数据库名称, user=数据库的用户名, passwo...
spring boot Mybatis 怎么保存爬取的数据到mysql数据库
04-02
要将爬取的数据保存到MySQL数据库中，可以按照以下步骤进行操作： 1. 添加MyBatis依赖 在pom.xml文件中添加MyBatis的依赖： ``` <dependency> <groupId>org.mybatis.spring.boot</groupId> <artifactId>mybatis-spring-boot-starter</artifactId> <version>2.2.0</version> </dependency> ``` 2. 配置数据源 在application.properties文件中添加MySQL数据库的配置： ``` spring.datasource.url=jdbc:mysql://localhost:3306/your_database_name spring.datasource.username=your_username spring.datasource.password=your_password spring.datasource.driver-class-name=com.mysql.jdbc.Driver ``` 3. 创建实体类 创建一个与数据库表对应的实体类，属性名和表中的列名要一一对应，可以使用注解来指定表名和列名。例如： ``` @Table(name = "user") public class User { @Id @GeneratedValue(strategy = GenerationType.IDENTITY) private Integer id; @Column(name = "name") private String name; @Column(name = "age") private Integer age; // getter和setter方法 } ``` 4. 创建Mapper接口 创建一个Mapper接口，用于定义操作数据库的方法。例如： ``` @Mapper public interface UserMapper { @Insert("insert into user(name, age) values(#{name}, #{age})") int addUser(User user); } ``` 5. 注入Mapper接口 在需要操作数据库的地方注入Mapper接口，并调用其中的方法即可保存数据。例如： ``` @Service public class UserService { @Autowired private UserMapper userMapper; public void saveUser(User user) { userMapper.addUser(user); } } ``` 以上就是使用Spring Boot和MyBatis保存爬取数据到MySQL数据库的步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值