自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

上一步保存

qq_63231199的博客

原创 Python爬虫+数据可视化+存入数据库（3）

爬虫之数据分析

2024-07-26 20:43:35 652

原创 Python爬虫+数据可视化+存入数据库（2）

这里主要叙述如何将Python中的数据导入Mysql中，然后通过Python语句来进行数据库的增删查改。也就是将sql语句通过Python的pymysql库方法，来实现两个平台的信息对接。

2024-07-21 17:52:34 990 3

原创 Python爬虫+数据可视化+存入数据库（1）

python作为主流语言之一，其主要是使用范围广，数据分析，数据获取以及人工智能等领域较其他语言强，所以我们也可以试试Python的魅力之处

2024-07-20 23:59:20 961

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

派生学徒优快云认证博客专家优快云认证企业博客

码龄4年

高校学生

IP 属地：贵州省

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）

3: 原创

145万+: 周排名

25万+: 总排名

2705: 访问

: 等级

156: 积分

48: 粉丝

104: 获赞

2: 评论

56: 收藏

私信

关注

最新评论

Python爬虫+数据可视化+存入数据库（2）
北风之神c: 总结的很全面的爬虫，写得赞，博主用心了。此国产分布式函数调度框架 funboost python万能通用函数加速器 https://funboost.readthedocs.io/zh-cn/latest/articles/c8.html ，只需要@boost一行代码，加到任意新/旧爬虫项目就又强又自由又简单。 funboost 分布式函数调度框架，定位于调度用户的任何函数，只要用户在函数里面写爬虫代码，就可以分布式调度爬虫，并且对爬虫函数施加30种控制功能,例如 qps恒定任何时候随意关机重启代码消息万无一失确认消费非常简单的开启多进程叠加线程/协程,这些强大的功能绝大部分爬虫框架还做不到。此框架如果用于爬虫，不管从任何方面比较可以领先scrapy 20年，也比任意写的爬虫框架领先10年。普通爬虫框架一般就设计为url请求调度框架，url怎么请求都是被框内置架束缚死了，所以有些奇葩独特的想法在那种框架里面难以实现，用户需要非常之精通框架本身然后改造框架才能达到随心所欲的驾驭的目的。普通的爬虫框架与用户手写requests 请求解析存储，在流程逻辑上是严重互斥的，要改造成使用那种框架改造需要大改特改。而此框架是函数调度框架，函数里面用户可以随意写一切任意自由想法，天生不会有任何束缚。使用funboost爬虫，与用户使用别的爬虫框架或者无框架用户手写多线程爬虫相比， funboost都代码更少更强更简单更自由。 pip install funboost 或者是直接使用 pip install boost_spider (powerd by funboost ，boost_spider比funboost增加了更加专门的针对爬虫请求和解析和存储） https://github.com/ydf0509/b
Python爬虫+数据可视化+存入数据库（2）
派生学徒: new_str = "" for j in range(len(result[i][1])): if result[i][1][j] == "\'": new_str += "\\" + result[i][1][j] else: new_str += result[i][1][j] result[i][1] = new_str
Python爬虫+数据可视化+存入数据库（2）
派生学徒: 有些数据会很和sql语句冲突，比如it's name中'会和sql语句的'内容'的引号冲突，会出现报错，所以需要添加转义\