- 博客(51)
- 收藏
- 关注
原创 超详细 Python 爬虫指南
抓取的数据可存储到文件(如 CSV、JSON)、数据库(如 MySQL、MongoDB)等介质中,便于后续分析。这时需使用浏览器自动化工具,如 Selenium 或 Playwright。HTML 是网页的主要结构。爬虫通过解析 HTML 提取有用信息,如标题、图片、表格等。使用 BeautifulSoup 提取 HTML 中的内容。有些网页通过 JavaScript 加载数据,指定哪些页面可以被爬取,爬虫需遵守此协议。将数据保存为 CSV 文件。熟练使用代理、延迟和伪装技巧。使用多线程或异步技术(如。
2025-12-01 23:45:04
1035
原创 国产化中间件东方通TongWeb环境安装部署(图文详解)
中国政府一直致力于促进国内产业的发展和国产化进程。作为全球第二大经济体,中国政府部门在推动国产化方面发挥着至关重要的作用。本文是东方通中间件TongWeb的详细安装图解。提示:以下是本篇文章正文内容,下面案例可供参考记得使用:source /etc/profile以上就是东方通TongWeb最新版本的安装详细步骤,遇到其他问题欢迎一起交流,一起进步。
2025-12-01 21:51:52
1139
原创 【MySQL系列文章】Linux环境下安装部署MySQL
本次安装部署主要针对Linux环境进行安装部署操作,系统位数6464MySQL版本:v5.7.38。
2025-12-01 19:45:06
806
原创 spring注入static属性
(@PreDestroy 注解定义容器销毁之前的所做的操作)这种方式和在xml中配置 init-method和 destory-method方法差不多,定义spring 容器在初始化bean 和容器销毁之前的所做的操作;通过MethodInvokingFactoryBean工厂Bean,可以将指定方法返回值注入成为目标Bean的属性值,MethodInvokingFactoryBean用来获得指定方法的返回值,该方法可以是静态方法 也可以是实例方法。工具类一般都是静态方法,静态方法只能访问静态属性。
2025-12-01 17:32:04
259
原创 springboot 文件下载
org.apache.catalina.connector.ClientAbortException: java.io.IOException: 你的主机中的软件中止了一个已建立的连接。当然,在出现错误时,我在想是不是application/octet-stream的问题,也使用过multipart/form-data,但也是一样的结果。在springboot中,执行如下代码实现文件下载。找了很久的解决方法,但是没有发现什么正确的答案。
2025-11-30 20:57:45
395
原创 redis-manger管理平台
Redis Manager 是 Redis 一站式管理平台,支持集群(cluster、master-replica、sentinel)的监控、安装(除sentinel)、管理、告警以及基本的数据操作功能。
2025-11-30 18:24:23
216
原创 java进阶提高学什么用_阳光沙滩
对着上面这个列表吧,面向对象往后的应该算是进阶了,知道不难,理解是需要时间的。当然不是,分包也是封装的一种,多态的理解,这些主要是以后设计的时候用得上,怎么样写,扩展性好…所以,你要先知道的是编程语言只是工具,实现你想法的工具,也就是说,java编程语言是工具。好了,回到你的问题上。对于初学者来说,先知道怎么用就够了,至于设计模式,原则,一些思想相关的,后期再去学习吧。java只是招式,思想才是内容,先练招式吧,有了一定的招式,同时修炼内容。基本概念,比如说,变量,常量,类,编译,环境搭建之类的。
2025-11-30 14:32:10
171
原创 使用mysql报Communications link failure异常解决
线上使用polarDB,基于mysql(5.7),架构为springboot+mybatisplus+durid连接池,部分业务场景涉及大表更新和查询操作,在查询慢sql且超过一定时间时就会报出"Communications link failure"异常,主要体现在界面查询或定时任务处理大批量数据是执行数据库的更新、查询异常。问题得不到解决,业务层对索引优化和强制索引等都进行了处理,部分数据迁移到ES/IOTDB,但根本问题在于MYSQL中依旧存在不可避免的大表慢sql,导致该问题依旧存在。
2025-11-30 01:47:49
360
原创 Spring 过滤器:OncePerRequestFilter 应用详解
OncePerRequestFilter是Spring提供的一个过滤器基类,它确保了在一次完整的HTTP请求中,无论请求经过多少次内部转发,过滤器的逻辑都只会被执行一次。这对于需要在请求处理之前或之后进行一次性设置或清理资源的场景特别有用。OncePerRequestFilter是Spring框架中一个非常有用的工具,它可以帮助你在一次完整的HTTP请求中仅执行一次过滤器的逻辑。
2025-11-29 20:36:21
278
原创 Nginx更换ssl证书不生效
在用的ssl证书要过期了,申请了新的ssl证书下来,在nginx配置上更换上去后,打开系统地址,一依然是使用原来的旧证书,以前有更换过别的域名证书,重启nginx服务后立马就生效了。这次没生效,看着旧证书还有几天才过期,想着有可能是要等到旧证书过期后,新证书会自动生效,等到了旧证书过期后再看新证书还是没生效,访问系统域名已经提示证书过期了。将新的ssl证书放到一个新目录下(不放在旧证书同目录下)修改nginx的证书配置位置,重启服务,打开系统域名,新的证书生效了。修改配置文件ssl证书路径。
2025-11-29 17:51:20
312
原创 Job for mysqld.service failed because the control process exited with error code. See “systemctl sta
杀死进程之后导致mysql进程还在,根本杀不死,查询mysql杀不死原因,重启服务器也不行。有可能是权限不足也有可能是,mysql存在锁机制导致mysql进程杀不掉。服务器系统盘空间已满导致mysql异常停止,启用mysql导致失败,再次查询mysql服务启用成功!
2025-11-29 15:12:13
209
原创 关于解决Cannot resolve com.microsoft.sqlserversqljdbc44.0报错问题
sqljdbc4和mssql-jdbc是两个不同的JDBC驱动程序,用于连接Java应用程序与Microsoft SQL Server数据库进行交互。版本和名称sqljdbc4是旧版的Microsoft JDBC驱动程序,而mssql-jdbc是新版的Microsoft JDBC驱动程序。支持的Java版本sqljdbc4驱动程序适用于Java 6及更高版本,而mssql-jdbc驱动程序适用于Java 8及更高版本。功能和性能:由于mssql-jdbc。
2025-11-29 02:16:07
384
原创 SpringBoot Maven 项目 pom 中的 plugin 插件用法整理
把 SpringBoot Maven 项目打包成 jar 文件时,我们通常用到 spring-boot-maven-plugin 插件。前面也介绍过,在 spring-boot-starter-parent POM 和 spring-boot-starter POM 中都有插件的管理,现在我们就撸一把构建元素中插件的用法。project 标签指定项目的声明。modelVersion 标签指定 POM 模型的版本。目前使用的是 4.0.0 版本。这是 Maven 项目的根元素,定义了项目模型的版本。
2025-11-28 20:58:46
353
原创 Node.js 安装报错npm error request to httpsregistry.npm.taobao.orgcnpm failed, reason certificate ha
是因为:npm错误请求https://registry.npm.taobao.org/cnpm失败,原因:证书已过期,执行返回的是 https://registry.npmjs.org/说明切换成功了。如果报一下错误,是因为npm版本过高的问题。可以使用,新版清除npm缓存的命令。后续可以使用cnpm安装需要的镜像。
2025-11-28 18:18:09
416
原创 Job for mysqld.service failed because the control process exited with error code. See “systemctl sta
杀死进程之后导致mysql进程还在,根本杀不死,查询mysql杀不死原因,重启服务器也不行。有可能是权限不足也有可能是,mysql存在锁机制导致mysql进程杀不掉。服务器系统盘空间已满导致mysql异常停止,启用mysql导致失败,再次查询mysql服务启用成功!
2025-11-27 11:08:52
233
原创 Python大数据可视化:基于大数据技术的共享单车数据分析与辅助管理系统_flask+hadoop+spider
在搭建过程中,最开始的工作是从查阅相关资料开始的,通过在互联网的共享单车数据分析与辅助管理系统资料查询和阅读,对整个共享单车数据分析与辅助管理系统有了整体的概念了解,然后对本共享单车数据分析与辅助管理系统进行分析设计,本次共享单车数据分析与辅助管理系统的诉求是实现用户的基本需求,所以在设计时,整个系统功能模块十分简洁,系统为管理员和用户二大结构模块。在系统具体实现过程中,先把系统数据库搭建,然后进行功能模块的代码编译,最后将所有模块进行整合,形成完整的共享单车数据分析与辅助管理系统。
2025-11-26 11:01:43
412
原创 mysql用户名怎么看
要查看 mysql 中的用户名,可以使用以下方法:使用 show databases 命令查看数据库拥有者信息;查看 /etc/mysql/my.cnf 或 /etc/my.cnf 文件中的 user 或 username 选项。在 /etc/mysql/my.cnf 或 /etc/my.cnf 文件中查找 user 或 username 选项。它将显示 MySQL 用户名。这将显示正在运行的 MySQL 进程,并且用户名将显示在命令行中。这将显示当前登录操作系统的用户名,也是 MySQL 用户名。
2025-11-26 09:33:37
400
原创 Mac安装Redis步骤
bind绑定的是自己机器网卡的ip,如果有多块网卡可以配多个ip,代表允许客户端通过机器#的哪些网卡ip去访问,内网一般可以不配置bind,注释掉即可。//aof文件至少要达到64M才会自动重写,文件太小恢复速度本来就很快,重写的意义不大。#每次有新命令追加到 AOF 文件时就执行一次fsync,非常慢,也非常安全。下载后的压缩文件可以在文件夹中手动的解压和移动,也可以通过终端命令解压和移动。在自己的redis目录下建立bin,etc,db三个目录。解压缩后的文件移动到自己的文件夹。
2025-11-25 19:26:29
363
原创 docker启动redis
redis-server /etc/redis/redis.conf 指定redis在docker中的配置文件路径,后台启动redis。-v /docker/redis/redis.conf:/etc/redis/redis.conf 挂载redis.conf文件。如此一来,redis.conf就设置好了,此时在Linux上创建一个redis文件夹去存放redis的配置文件和持久化数据。-v /docker/redis/data:/data 挂在redis的持久化数据。
2025-11-25 17:52:46
371
原创 SpringBoot的@Scheduled和@Schedules有什么区别
对于更复杂的需求,比如调整线程池大小或者设置线程名称前缀等,你可以通过自定义来进行配置。Spring提供了几种内置的调度器实现,如和。@Override@Override@Override// 自定义异常处理逻辑。
2025-11-23 15:16:57
594
原创 Spring Boot实现定时任务
定时任务是指在预定的时间点或按照特定的时间间隔自动执行的任务。定时任务的应用场景:操作系统维护:例如,定期清理临时文件、更新系统补丁等。数据备份:定期对重要数据进行备份,以防数据丢失。自动化测试:例如,在每天凌晨自动运行软件测试脚本。网站维护:比如定时发布新内容、定时发送邮件提醒等。数据分析:例如,定期汇总和分析业务数据,生成报告。
2025-11-23 13:34:47
944
原创 【Oracle11g SQL详解】日期和时间函数:SYSDATE、TO_DATE、TO_CHAR 等
FROM dual;-- 结果:2024-12-31FROM dual;-- 结果:Today is 11TH DECEMBER, 2024。
2025-11-22 21:33:37
346
原创 SQL中字符串截取函数(substring)
select substr(‘重庆沙坪坝兰溪谷地’,1,char_length(‘重庆沙坪坝兰溪谷地’)-3)select substring(‘重庆沙坪坝兰溪谷地’,-4,2)select substring(‘重庆沙坪坝兰溪谷地’,5,3)select substring(‘重庆沙坪坝兰溪谷地’,-4)select substring(‘重庆沙坪坝兰溪谷地’,3)
2025-11-22 19:55:23
155
原创 SpringBoot整合JWT
一. JWT简介1. 什么是JWT?JWT(JSON Web Token)是为了在网络应用环境间传递声明而执行的一种基于JSON的开放标准。它将用户信息加密到token里,服务器不保存任何用户信息。服务器通过使用保存的密钥验证token的正确性,只要正确即通过验证;应用场景如用户登录。JWT详细讲解请见 github:https://github.com/jwtk/jjwt2. 为什么使用JWT?
2025-11-21 21:27:48
865
原创 Spring Boot实现多数据源连接和切换
在 Spring Boot 中实现多数据源连接和切换,可以通过以下几种方案来实现,具体取决于项目的需求、数据库的使用模式和管理的复杂性。以下是一个常见的多数据源切换的实现方案,使用 AbstractRoutingDataSource 来动态选择数据源。创建一个自定义注解,用于指定当前方法执行时需要使用的数据源。// 数据源标识,默认使用primary数据源数据源配置:为每个数据源配置DataSourceBean。动态数据源路由:使用来实现动态切换数据源。ThreadLocal存储:使用。
2025-11-21 19:50:38
241
原创 Springboot的jak安装与配置教程
打开终端应用程序,可以通过Finder中的“应用程序” > “实用工具”找到。如果你不确定使用哪个shell,可以通过在终端输入。如果安装成功,它会显示安装的Java编译器版本。如果安装成功,它会显示安装的Java编译器版本。如果安装成功,它会显示安装的Java编译器版本。打开命令提示符(CMD),可以通过在搜索栏输入。对于nano编辑器,你可以按。对于nano编辑器,你可以按。如果安装成功,它会显示安装的Java版本。如果安装成功,它会显示安装的Java版本。如果安装成功,它会显示安装的Java版本。
2025-11-20 19:54:37
738
原创 Spring Boot实现定时任务
定时任务是指在预定的时间点或按照特定的时间间隔自动执行的任务。定时任务的应用场景:操作系统维护:例如,定期清理临时文件、更新系统补丁等。数据备份:定期对重要数据进行备份,以防数据丢失。自动化测试:例如,在每天凌晨自动运行软件测试脚本。网站维护:比如定时发布新内容、定时发送邮件提醒等。数据分析:例如,定期汇总和分析业务数据,生成报告。
2025-11-20 18:10:30
960
原创 解决 IntelliJ IDEA 中 Tomcat 日志乱码问题的详细指南
在使用 IntelliJ IDEA 进行 Java 开发时,Tomcat 作为常用的服务器,往往被集成在开发环境中。许多开发者可能会遇到这样一个问题:启动 Tomcat 服务器时,控制台的日志输出出现了乱码,尤其是当日志包含中文字符时。这种问题不仅影响调试体验,还可能导致对错误日志的误读,进而影响问题的定位和解决。本文将详细介绍如何通过修改 IntelliJ IDEA 和 Tomcat 的相关配置,彻底解决日志输出乱码的问题。
2025-11-19 12:08:38
841
原创 关于解决springcloud 创建bean失败的问题
可能使用pom的时候导入的springboot和springcloud发生冲突,或者重复导入多个jar包,idea不知道识别哪一个文件,查看所有依赖的版本,发现springboot的版本和spring的版本都有重复,且不一致,还可能与springcloud的版本发生冲突,于是查询最适合的springboot版本和与其对应的springcloud的版本,1、SpringCloud: Hoxton.SR8。上网查到了许多解决方案,进行逐一尝试。1、相关的注释没给到位。2、yml配置文件出错。
2025-11-18 16:13:55
336
原创 postgresql链接详解
连接基础在探讨PostgreSQL连接的基础之前,我们需要理解什么是数据库连接。数据库连接是客户端应用程序与数据库服务器之间建立的一种通信通道,使用户能够访问和操作数据库中的数据。客户端:发起连接请求的应用程序或工具服务器:接收并处理连接请求的PostgreSQL数据库服务端口号:通常使用默认值5432身份验证:通过用户名和密码确认用户权限连接字符串:包含连接所需的所有必要信息这些基本概念构成了PostgreSQL连接的核心框架,为后续更复杂的连接操作奠定了基础。连接字符串。
2025-11-17 23:19:28
1037
原创 MySQL中的count函数
在 MySQL 中, 是一个聚合函数,用于统计结果集中行的数量。它常见的几种用法包括:假设有一个 表,数据如下:idnameage1Alice252BobNULL3Charlie30NULLNULL20:结果:(统计所有行,无论字段是否为 )。:结果:(统计 列非 值的数量)。:结果:(去重后的 值:)。先给结论:方法功能执行过程性能情况统计所有行的数量(包括 行)遍历表或索引,计算所有行数,InnoDB 遍历聚簇索引最高效率,InnoDB 会通过聚簇索引快速扫描统计所有行的数量优化器会将其
2025-11-17 21:26:43
942
原创 springboot-自定义注解
第一步:定义注解第二步:配置注解第三步:解析注解int age();String sex() default "女";注意:自定义注解要用【@interface】在自定义注解中,其实现部分只能定义注解类型元素!说明:a.访问修饰符必须为public,不写默认为public;b.该元素的类型只能是基本数据类型、String、Class、枚举类型、注解类型以及一维数组;c.该元素的名称一般定义为名词,如果注解中只有一个元素,名字起为value最好;
2025-11-13 23:53:10
807
原创 nodejs链接redis
本篇文章介绍nodejs连接redis,以及redis的基本使用。将存储和读取redis数据封装成工具类。封装redis配置信息。
2025-11-10 17:46:21
154
原创 Nginx 常用命令和部署详解及案例示范
如果有错误,则会给出具体的错误信息和所在的配置文件行数。在数据分析系统中,Nginx 可以用作静态文件服务器和反向代理,以提高系统的性能和安全性。在实际开发中,我们可能需要实时更新 Nginx 提供的静态资源。在修改了 Nginx 配置文件后,需要重启 Nginx 以使更改生效。在高并发场景中,优化 Nginx 的性能是非常重要的。创建一个 HTML 文件夹,并在其中添加一个简单的 HTML 文件。文件的内容,Nginx 会自动加载新的内容。这将列出所有 Nginx 相关的进程信息,包括主进程和工作进程。
2025-11-10 17:19:47
383
原创 Spring 核心技术解析【纯干货版】- XII:Spring 数据访问模块 Spring-R2dbc 模块精讲
Spring R2DBC 模块,是 Spring 生态系统中用于支持反应式编程模型与关系型数据库交互的一个模块R2DBC(Reactive Relational Database Connectivity)是一个基于 Reactive Streams 规范的异步、非阻塞的数据库访问技术,它旨在为现代应用程序提供高性能的数据访问能力,特别是在需要高吞吐量和低延迟的场景下。
2025-11-09 22:00:48
570
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅