自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

code_space

技术是日积月累的

  • 博客(46)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 Vue3基础：pnpm是什么？npm和pnpm的区别？如何使用pnpm？

pnpm 是一个流行的 JavaScript 包管理器，类似于 npm 和 yarn。它是 performant npm 的缩写，意在表明它是一个更高效的 npm 替代品。

2024-01-25 17:49:07 4250

原创 Vue3基础：挂载事例方法.mount()是什么？根组件模板又是什么？

Vue3基础：挂载事例方法.mount()是什么？根组件模板又是什么？

2024-01-24 18:18:43 3313

原创 Vue3基础：如何通俗得理解vue3里面的“应用实例”（Application Instance）

Vue3基础：如何通俗得理解vue3里面的“应用实例”（Application Instance）。在 Vue 3 中，"应用实例"（Application Instance）是一个非常核心的概念。要通俗地理解这个概念，可以将其想象为一座房子，而你的 Vue 应用就是这座房子。

2024-01-24 15:01:26 737

原创 Python笔记之根据相对路径的网址链接提取并补充完整的网址链接

Python笔记之根据相对路径的网址链接提取并补充完整的网址链接参数说明：- response_url，需要补充的相对路径，例如/index/news1.html、./index/news2.html、//index/news1.html- href，当前网址所属主页网址，例如http://www.abc.com/news_list- return_href，补充完成后传回的完整网址链接，例如http://www.abc.com/news_list/index/news1.html

2023-12-25 16:35:46 761

原创 python爬虫进阶篇：Scrapy中使用Selenium+Firefox浏览器爬取国债逆回购并发送QQ邮件通知

Scrapy中使用Selenium+Firefox浏览器爬取国债逆回购并发送QQ邮件通知。每到年底国债逆回购的利息都会来一波高涨，利息会比银行的T+0的理财产品的利息高，所以可以考虑写个脚本每天定时启动爬取逆回购数据，实时查看利息，然后在利息高位及时去下单。

2023-12-25 16:21:22 2061

原创 python常用清除字符串中的各种空格、换行的代码记录

python常用清除字符串中的各种空格、换行的代码记录

2023-12-24 19:12:51 457

原创 爬虫常用请求头笔记

爬虫常用请求头笔记

2023-12-24 18:54:37 713

原创 Firefox浏览器驱动文档以及对应config设置 记录

Firefox浏览器驱动文档以及对应config设置 记录

2023-12-23 16:20:10 536

原创 Python:Scrapy+Selenium相关依赖包记录

Python:Scrapy+Selenium相关依赖包记录，存到txt文件中，在python环境中运行 pip install -r xxx.txt安装

2023-12-23 13:07:34 760

原创 python爬虫进阶篇：Scrapy中使用Selenium+Firefox浏览器爬取沪深A股股票行情

目前很多股票网站的行情信息都是动态数据，我们可以用Scrapy+selenium对股票进行实时采集并持久化，再进行数据分析、邮件通知等操作。

2023-12-22 22:10:10 1327

原创 python爬虫进阶篇：Scrapy中使用Selenium模拟Firefox火狐浏览器爬取网页信息

接着上一篇的笔记，Scrapy爬取普通无反爬、静态页面的网页时可以顺利爬取我们要的信息。但是大部分情况下我们要的数据所在的网页它是动态加载出来的（ajax请求后传回前端页面渲染、js调用function等）。这种情况下需要使用selenium进行模拟人工操作浏览器行为，实现自动化采集动态网页数据。

2023-12-22 21:42:43 2465

原创 Python File(文件) 常用场景 读写追加 二进制打开方法

写程序时经常能遇到读写文件的需求，有时会忘了各种读写模式的参数设置。这里做个记录，主要内容是：- 打开模式的参数设置- 打开文件- 读写文件- 复制文件

2023-12-21 17:52:21 1107

原创 python爬虫进阶篇：用Scrapy框架进行百度搜索并爬取搜索结果进行持久化

接着上篇记录的爬虫应用，这次来试下百度搜索的爬虫应用。百度的很多搜索结果可以为我们的行业挣得信息差，并且统计数据后可以发现规律，根据规律寻找盈利点。所以我们先来试下小demo来尝试爬取百度的搜索结果。

2023-12-21 15:42:19 1549

原创 Python 操作mysql实现事务处理

Python项目对MySQL数据库进行增、删、改操作时，有时会出现执行sql异常的情况。在批量提交数据的时候，如果其中一个事务提交错误，往往导致预期的整个数据链不完整。

2023-12-20 18:20:41 1409 1

原创 Python MySQL数据库连接实现增删改查

python项目连接MySQL数据库时，需要第三方库的支持。这篇文章使用的是PyMySQL库，适用于python3.x。

2023-12-20 18:17:11 726

原创 python爬虫进阶篇：利用Scrapy爬取同花顺个股行情并发送邮件通知

python爬虫进阶篇：利用Scrapy爬取同花顺个股行情并发送邮件通知，来结合现实场景利用scrapy给我们带来便利

2023-12-19 18:59:59 16796 1

原创 python爬虫进阶篇：scrapy爬虫框架的依赖库搭建和项目创建

上篇我们记录了Scrapy的各个组件功能，这篇我们来动手scrapy爬虫框架的依赖库搭建和项目创建，开始进入进阶实战。

2023-12-19 16:45:36 699

原创 python爬虫进阶篇：scrapy爬虫框架 兼职赚钱必备神器

Scrapy是一个很成熟的框架，此框架是为了爬取网站数据，提取结构性数据而编写的应用框架。 Scrapy通常应用在包括数据挖掘，信息处理或存储历史数据等一系列的项目中。像一些流媒体公司通常会用爬虫来收集电影数据（上座率、票价、好评率）、新闻点击率数据等。这些业务爬取的数据一般是公开的，当爬取的量存到一定数量级时，则可以进行市场分析、打包售卖信息等进行盈利。

2023-12-18 16:21:50 1484

原创 Python：发送qq邮箱只需几行代码轻松搞定

在日常业务中，经常会遇到需要程序发邮件提醒自己的情况。例如数据异常、工作任务进度完成情况、今日天气、今日股票行情等各种场景。如果引入发送邮箱以推进预期进度的功能，那将大大优化我们的日常。我也是近期在写国债逆回购的监控脚本时想起来用邮箱来提醒我去交易，以免错过了白嫖利息的时间，同时提高自己闲钱的利用率。

2023-12-18 15:56:17 1603

原创 视频比特率（码率）的计算公式

视频比特率（码率）的计算公式

2023-12-17 19:47:47 5819

原创 Java基础之IO输入输出的基本概念

Java基础之IO输入输出的基本概念

2023-12-17 19:44:48 374

原创 Python MySQL数据库连接与基本使用

Python MySQL数据库连接与基本使用

2023-12-17 11:45:00 418

原创 Python json转换之其它数据类型与json的互转

Python json转换之其它数据类型与json的互转

2023-12-16 14:15:00 457

原创 Python 开发中常用又容易忘的十种代码，建议收藏

Python 开发中常用又容易忘的十种代码，建议收藏

2023-12-16 09:30:00 425

原创 python爬虫入门篇：保姆级教程手把手教你实现网络爬虫

python爬虫入门篇：保姆级教程手把手教你实现网络爬虫

2023-12-15 16:21:00 1401

原创 Python redis安装&使用教程

python redis使用教程，内附redis压缩包，解压即用

2023-12-15 15:24:47 437

原创 Pycharm中如何使用Markdown？只需装这个插件！

由于Markdown的轻量化、易读易写特性，并且对于图片，图表、数学式都有支持，许多网站都广泛使用Markdown来撰写帮助文档或是用于论坛上发表消息。如GitHub、Reddit、Diaspora、Stack Exchange、OpenStreetMap 、SourceForge、简书等，甚至还能被使用来撰写电子书。所以Markdown是一个优秀的开发者必备的工具。

2023-12-14 18:13:45 8152

原创 python爬虫入门篇：爬虫从入门到放弃？教你搭建可实用的爬虫框架

python爬虫入门篇：设计一个可复用、通俗易懂、实用性强的爬虫框架

2023-12-14 18:05:16 1311

原创 python爬虫入门篇：还不会设计爬虫框架？一文教会你独立设计爬虫架构！

上篇文章我们已经了解了爬虫的请求和解析基础，今天我将为大家讲解一个简单的爬虫的框架设计架构，将爬虫运用到的中间件进行功能解析

2023-12-13 16:08:42 1410 2

原创 python爬虫入门篇：如何解析爬取到的网页数据？试下最简单的BeautifulSoup库！

Beautiful Soup，简称bs4，是Python的一个HTML或XML的解析库，一般用它来从网页中提取数据。

2023-12-13 15:44:54 424

原创 Python：try的正确使用方法

程序在运行的时候，如果python解释器遇到非语法错误时，会停止程序的执行，并且抛出一些错误的信息进行提示，这就是异常。

2023-12-12 15:42:03 1395

原创 idea如何部署运行Vue项目？一文看懂

- 习惯了用idea，如果用vscode或者其它编辑器来编写运行vue的话，很多快捷键不习惯，幸好idea有vue的插件，可以方便长期写后端的人用idea写vue。

2023-12-12 11:26:02 13492 2

原创 两个命令教你快速创建vue项目！

两个命令教你快速创建vue项目

2023-11-27 15:22:17 1527 2

原创 java每日一题：一维数组动态和

每日一练，leetcode的java题目，巩固基础，提升自己

2023-03-15 16:02:06 132

原创 python pip快速导入/导出环境

当我们挪用别人的项目、换一台设备重新部署项目时，需要把原本项目使用到的包记录下来并在新的环境中安装对应的包，并且包的版本要一致，避免版本冲突。这时我们可以使用pip的导入/导出命令，实现快速对接。

2022-09-23 11:34:04 8123

原创 python 提取文字段落中的日期字符串

在日常业务开发中常常会碰到需要从一段文字中提取时间的情况。例如从文字中提取发布时间、创建时间等。针对不同的文字情况、不同的时间格式，这里整理一份关于提取大部分文字段落中日期时间的代码。有需要的直接调用即可。

2022-09-21 16:19:07 2056

原创 Python for循环几种常用场景

for循环的使用很简单，重点在于掌握节省代码、优化代码的细节，从小细节做起培养习惯，形成代码洁癖。

2022-09-21 10:33:23 1412

原创 Java 基本数据类型总结

基本数据类型是Java语言从设计时就设定的数据类型，是编译器用来理解数据的类型并做对应处理的。**从大类上分为数字型、布尔型、字符型**。**总共分为8种数据类型：字节型（byte）、短整型（short）、整型（int）、长整型（long）、单精度浮点型（float）和双精度浮点型（double）、布尔型（boolean）、字符型（char）。**

2022-03-10 14:33:01 6907

原创 Python redis安装&使用教程

redis下载、安装、配置、python使用redis

2022-02-23 16:42:31 6516

原创 （一）如何通俗理解Java程序编译执行过程

javac.exe把.java文件编译为.class字节码文件，java.exe解释并执行.class文件，并启动Java虚拟机（JVM），JVM开始调用操作系统命令执行对应的指令，配合硬件，完成整个Java程序的调用

2022-02-20 15:49:40 603

Scrapy框架+邮件通知 爬取同花顺个股行情并发送邮件通知指定邮箱
python利用Scrapy爬取同花顺个股行情并发送邮件通知，结合现实场景利用scrapy给我们带来便利。 有炒股或者其它理财产品的朋友经常会关心每日的个股走势，如果结合爬虫进行实时通知自己，并根据自己预想的行情进行邮件通知（比如某个股票如果到达100块钱就发邮件通知自己），这样会大大提高我们的炒股收益。

2024-01-17

Python根据相对路径的网址链接补充完整的网址链接
适用场景： 1.（无）开头表示当前目录下的 2.（/）开头的目录表示该目录为根目录的一个子目录 3.（./）开头的目录表示该目录为当前目录（当前目录所在的目录）的一个子目录 4.（../）开头的目录表示该目录为当前目录的父目录 5.（//）开头的目录表示和当前页面使用同一种协议http/https 6.（?）开头的表示当前目录下补充?及其后面的参数 参数说明： - response_url，需要补充的相对路径，例如/index/news1.html、./index/news2.html、//index/news1.html - href，当前网址所属主页网址，例如http://www.abc.com/news_list - return_href，补充完成后传回的完整网址链接，例如http://www.abc.com/news_list/index/news1.html

2023-12-25

Scrapy中使用Selenium+Firefox浏览器爬取国债逆回购并发送QQ邮件通知
1.安装依赖包 - python 3.0+ - pip install -r requirements.txt 2.将最第二层stock_spider文件夹设置为根目录，pycharm的mark dir as sources root 3.将firefox驱动程序包放到python环境的Scripts文件夹里 4.必须要安装firefox浏览器才会调用到浏览器 5.pipelines.py的send_email方法里修改为自己的邮箱和token 6.执行spider_main.py文件启动爬虫 每到年底国债逆回购的利息都会来一波高涨，利息会比银行的T+0的理财产品的利息高，所以可以考虑写个脚本每天定时启动爬取逆回购数据，实时查看利息，然后在利息高位及时去下单。

2023-12-25

Scrapy中使用Selenium+Firefox浏览器爬取沪深A股股票行情
目前很多股票网站的行情信息都是动态数据，我们可以用Scrapy+selenium对股票进行实时采集并持久化，再进行数据分析、邮件通知等操作。 1.安装依赖包 - python 3.0+ - pip install -r requirements.txt 2.将最第二层stock_spider文件夹设置为根目录 3.将firefox驱动程序包放到python环境的Scripts文件夹里 4.必须要安装firefox浏览器才会调用到浏览器 5.执行spider_main.py文件启动爬虫

2023-12-22

Firefox驱动程序包（版本号0.3.0）
Firefox驱动程序包（版本号0.3.0）适配当前最新版本的火狐浏览器121.0（亲测84.0.2开始的版本都可以用）；用于爬虫selenium模拟操作火狐浏览器，将文件放到Python环境的Scripts文件夹下，要先安装好火狐浏览器。

2023-12-22

用Scrapy框架进行百度搜索并爬取搜索结果进行持久化
- 提供关键词后搜索结果： - 从搜索结果中提取 - 标题 - 链接 - 描述 - 来源 - 存为csv文件或者数据库 1. 设置爬取的网址（关键词为“python入门到放弃”，百度链接需要将中文转码） 2. 用css解析目标网页信息 3. settings文件设置请求头和pipeline、机器协议 4. pipeline持久化处理存为CSV文件 百度的很多搜索结果可以为我们的行业挣得信息差，并且统计数据后可以发现规律，根据规律寻找盈利点。所以我们先来试下小demo来尝试爬取百度的搜索结果。

2023-12-21

Scrapy爬取同花顺个股行情并发送邮件通知
python利用Scrapy爬取同花顺个股行情并发送邮件通知，结合现实场景利用scrapy给我们带来便利。 有炒股或者其它理财产品的朋友经常会关心每日的个股走势，如果结合爬虫进行实时通知自己，并根据自己预想的行情进行邮件通知（比如某个股票如果到达100块钱就发邮件通知自己），这样会大大提高我们的炒股收益。

2023-12-19

scrapy爬虫框架的依赖库搭建和项目创建
1.安装依赖包 - python 3.0+ - pip install lxml==4.9.2 - pip install parsel==1.6.0 - pip install Twisted==21.2.0 - pip install pyOpenSSL==19.1.0 - pip install cryptography==2.8 - pip install Scrapy==1.6.0 2.创建文件夹scrapy_demo01，执行命令 ```shell script scrapy startproject scrapy_demo ``` 3.将最外层scrapy_demo文件夹设置为根目录

2023-12-19

scrapy爬虫框架的依赖库搭建和项目创建
上篇我们记录了Scrapy的各个组件功能，这篇我们来动手scrapy爬虫框架的依赖库搭建和项目创建，开始进入进阶实战。

2023-12-19

Python：发送qq邮箱只需几行代码轻松搞定
Python：发送qq邮箱只需几行代码轻松搞定 在日常业务中，经常会遇到需要程序发邮件提醒自己的情况。例如数据异常、工作任务进度完成情况、今日天气、今日股票行情等各种场景。如果引入发送邮箱以推进预期进度的功能，那将大大优化我们的日常。我也是近期在写国债逆回购的监控脚本时想起来用邮箱来提醒我去交易，以免错过了白嫖利息的时间，同时提高自己闲钱的利用率。 1. 有了发送邮箱的核心代码，我们可以搭配windows/linux定时脚本去定时执行。 2. 接着我写的监控国债逆回购的脚本，可以实现这样一个需求： - 交易日的9:30~14:30期间，爬虫每分钟监控利率 - 当交易日的9:30~14:30期间的利率达到4.0%时， 发送邮件给自己去交易 - 当日提醒后关闭爬虫，默认我已经收到提醒并且去完成交易了 3. 善学善用才是程序员的正确方向。

2023-12-18

保姆级教程手把手教你实现网络爬虫
code_space_spider_demo ├─html_downloader.py 网页下载器 ├─html_outputer.py 数据处理器 ├─html_parser.py 网页解析器 ├─output.html 数据展示html ├─spider_main.py 爬虫启动器 ├─urls_manager.py URL管理器 爬虫核心三个模块：URL管理器，网页下载器，网页解析器。三者形成一个循环，只要有URL可下载，就一直运行下去，直到爬遍整个待爬网站。 目标网址：郑州工业大学新闻网 目标数据： 新闻链接(url) 新闻标题(tile) 发布时间(datetime) 浏览次数(visitcount) 运行环境 - python3.6+ - pip install bs4 - URL管理器：对将要爬取的URL和已经爬取的URL进行管理。 - 网页下载器：接受URL管理器发送过来的待爬取的URL，然后把该URL对应的网页下载并存储下来。

2023-12-15

python 提取复杂字符串中的日期
可以提取复杂的字符串中的日期，十分实用 测试结果如下： 此文章2022-09-21发布 -> 2022-09-21 00:00:00 此文章2022/09/21发布 -> 2022-09-21 00:00:00 此文章2022-9-21发布 -> 2022-09-21 00:00:00 此文章2022-09-21 08:01发布 -> 2022-09-21 08:01:00 此文章2022-09-21 08:01:01发布 -> 2022-09-21 08:01:01 此文章2022年9月21日发布 -> 2022-09-21 00:00:00

2023-12-15

Python redis安装&使用教程，内附redis解压包，解压即可用
python redis的使用demo，redis5.0压缩包，解压即用。- 下载 Redis-x64-xxx.zip压缩包到你要安装的文件夹，解压即可。测试用例需要pip安装redis。

2023-12-15

python入门爬虫架构代码设计，新手入门通俗易懂
前面几篇爬虫入门篇文章记录了一些简单的爬虫知识，今天结合网络请求流程，实现一个基本的爬虫架构。以后可以根据这个架构代码，对自己的爬虫需求进行拓展

2023-12-14

python 提取文字段落中的日期字符串
在日常业务开发中常常会碰到需要从一段文字中提取时间的情况。例如从文字中提取发布时间、创建时间等。针对不同的文字情况、不同的时间格式，这里整理一份关于提取大部分文字段落中日期时间的代码。有需要的直接调用即可。 代码作用请参考我的文章《python 提取文字段落中的日期字符串》：https://blog.youkuaiyun.com/qq_23730073/article/details/126975066。 主要是提取阿拉伯数字的日期字符串，例如：需要识别的文字段，从“技术总是要日积月累的，我是技术空间，欢迎关注我。此文章2022-09-21发布”提取日期。 测试了部分情况： "技术总是要日积月累的，我是技术空间，欢迎关注我。此文章2022-09-21发布" "技术总是要日积月累的，我是技术空间，欢迎关注我。此文章2022/09/21发布" "技术总是要日积月累的，我是技术空间，欢迎关注我。此文章2022-9-21发布" "技术总是要日积月累的，我是技术空间，欢迎关注我。此文章2022-09-21 08:01发布“ 适用情况不止以上这些。也可以参考代码补充正则。

2022-09-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除