自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(96)
  • 收藏
  • 关注

原创 Excel数据分析:基础

在现代办公环境中,Excel 是一款不可或缺的工具,它是 Microsoft(微软)开发的电子表格软件,用于处理和分析结构化数据。市场上还有其他类似的软件,如 Google Sheets 和 Apple Numbers,但 Excel 以其强大的功能和广泛的应用而受到青睐。掌握Excel可以提高你的办公效率,无论是在数据分析、财务管理还是项目跟踪方面,熟练运用 Excel 都能让你的工作更加得心应手。

2025-06-05 20:02:50 256

原创 Python 基于线程的并行 threading模块的用法

threading模块是基于_thread模块的高级线程接口,相比于低层的_thread模块,它提供了代表线程的对象和同步化工具,在threading模块中,只要任何一个派生线程(守护线程除外)在运行中,程序都不会退出,不再需要像_thread那样控制主线程等待。

2025-03-27 16:49:48 688

原创 Oracle 外键/引用完整性(Foreign Key / Referential Integrity Constraints)

在数据模型中,当两个表存在"父子"关系时,即可以定义外键约束,这种关系限制一个表中的数据需要参考另一个表中已存在的数据,其中引用的表称为"子表",被引用的表称为"父表",引用关系通过在子表上创建外键约束来实现。

2025-03-24 20:09:33 1144

原创 Pandas 索引标签的操作(Pandas Index Objects)

Pandas中基本的数据结构有Series和DataFrame,它们都是带标签索引的对象,而索引本身也是一种对象。在数据分析中经常需要通过索引对数据进行操作,本文介绍Pandas中索引对象的常用操作。

2025-03-18 16:19:57 904

原创 MySQL 横向衍生表(Lateral Derived Tables)

前面我们介绍过MySQL中的衍生表(From子句中的子查询)和它的局限性,MySQL8.0.14引入了横向衍生表,可以在子查询中引用前面出现的表,即根据外部查询的每一行动态生成数据,这个特性在衍生表非常大而最终结果集不需要那么多数据的场景使用,可以大幅降低执行成本。

2025-03-17 11:36:22 678

原创 MySQL 衍生表(Derived Tables)

在SQL的查询语句select …. from …中,跟在from子句后面的通常是一张拥有定义的实体表,而有的时候我们会用子查询来扮演实体表的角色,这个在from子句中的子查询会返回一个结果集,这个结果集可以像普通的实体表一样查询、连接,这个子查询的结果集就叫做衍生表。

2025-03-14 17:01:03 479

原创 Python Numpy数组属性简介

Numpy是Python中科学计算的基础包,其核心对象是ndarray(n-dimensional array, n维数组),ndarray是由多个同类型同大小的元素构成,本文主要介绍ndarray的一些基础属性。

2025-03-07 15:43:35 1037

原创 MySQL 插入更新语句(insert…on duplicate key update语句 )

我们日常在使用 insert into 语句向表中插入数据时,一定遇到过主键或唯一索引冲突的情况,当遇到这种情况时,MySQL默认的反应是报错并停止执行后续的语句,为了避免这种情况,你有3种选择。

2025-02-21 16:55:07 1019

原创 MySQL 插入替换语句(replace into statement)

我们日常使用 insert into 语句向表中插入数据时,一定遇到过主键或唯一索引冲突的情况,MySQL的反应是报错并停止执行后续的语句,而replace into语句可以实现强制插入。

2025-02-14 16:57:50 996

原创 Python 推导表达式/解析语法

推导表达式(也称为解析语法)是Python中一种遍历序列并创建指定类型对象的方法,相对于使用for循环遍历,推导表达式在语法上更加简洁。常用的推导表达式有:列表表达式、生成器表达式、字典表达式、集合表达式等。

2024-11-21 16:02:37 814

原创 Oracle 高水位线和低-高水位线(High Water Mark & Low High Water Mark)

在Oracle的逻辑存储结构中(表空间-段-区-块),数据是存在数据段中的,通常一个表就是一个数据段,而段最终又由许多数据块组成。当数据存入数据块时,需要对块进行格式化,高水位线(High Water Mark, HWM)是段中的一个点,在这个点之上的所有数据块都是未格式化且未使用的。

2024-11-12 19:28:44 1437

原创 Python Numpy中的广播的含义(Numpy Broadcasting)

Numpy数组之间进行运算时,通常是逐元素之间进行运算,这通常要求数组具有相同的形状。而“广播(Broadcasting)”机制降低了这个限制,只需要满足一定的条件,形状不同的数组也可以进行运算,小数组会自动"广播"成和大数组相同的形状,完成运算。

2024-11-08 17:02:27 662

原创 MySQL table语句(Table Statement)

MySQL的table语句可以查询指定表中的所有列,相比于select语句,写法更简单,但功能也更弱,适合快速查看小表数据的场景。

2024-10-24 18:28:22 721

原创 Python 低层多线程接口_thread的用法

thread是python标准库中的一个低层多线程API,可以在进程中启动线程来处理任务,并且提供了简单的锁机制来控制共享资源的同步访问。本文就_thread模块的用法和特性做个简单的演示。

2024-09-20 16:17:44 992

原创 Linux 访问控制列表(Access Control List)

在Linux中,目录或文件的权限是针对的所有者(owner),所属组(group),其他人(others)这3种类别来设置的。这种根据类别控制权限的方法无法精确控制每个用户的行为。为了解决这个问题,Linux引入了访问控制列表(Access Control Lists,简称 ACL),它可以进行精确的权限控制。

2024-09-10 17:31:04 1841

原创 MySQL 配置免密码登陆(mysql_config_editor Configuration)

mysql_config_editor是MySQL自带的用户凭证管理工具,当安装完MySQL后,它就已经装好了。它的功能是加密管理用户连接信息,当使用其他的客户端工具例如mysql,mysqldump,mysqladmin连接数据库时,可以直接读取这些加密的连接信息,而不需要用户输入。

2024-08-22 19:21:14 1671

原创 Pandas DataFrame的创建方法(Create DataFrame)

pandas是一个第三方数据分析库,其集成了大量的数据模型和分析工具,可以方便的处理和分析各类数据。其中主要对象类型有Series,DataFrame和Index。本文介绍DataFrame对象的基本创建方法。

2024-08-21 16:45:43 2000

原创 Oracle 专用/共享服务器连接模式(Dedicated/Shared Server)

当会话通过客户端连接到Oracle数据库时,根据服务器处理请求方式的不同,可以有两种连接模式,一种称为专用服务器连接(Dedicated Server),另外一种称为共享服务器连接(Shared Server)。

2024-08-13 18:18:30 1673

原创 Python NumPy数组维度和坐标轴的含义(ndarray demension & axis)

Numpy是Python中科学计算的基础包,而其核心对象就是ndarray(n维数组)。为了对ndarray进行数学处理,很多函数中都要指定一个叫做坐标轴的参数(axis),本文主要解释关于ndarray的维度和坐标轴的概念。

2024-08-06 18:46:20 1520

原创 MySQL 将文件导入数据库(load data Statement)

MySQL的load data infile语句可以从文本文件中读取数据,并且加载到数据库的表中。和select…into outfile只能导文件到本地数据库服务器不同,load data语句即可以从数据库服务器本地读取文件,也可以通过远程客户端(使用local关键字)读取,即可以远程将文件加载到数据库中。MySQL还提供了一个mysqlimport命令行工具也可以将数据从文件加载到数据库中,其原理也是通过load data infile语句完成的。

2024-08-02 17:49:19 4421

原创 MySQL 将查询结果导出到文件(select … into Statement)

我们经常会遇到需要将SQL查询结果导出到文件,以便后续的传输或数据分析的场景。为了满足这个需求,MySQL的select语句提供了into子句可以将的查询结果直接导出到文本文件。本文就MySQL中select…into的用法进行演示。

2024-07-30 17:11:17 6007 1

原创 Python for循环迭代原理(迭代器 Iterator)

在使用Python时,我们经常会使用for循环来访问容器对象(列表、字符、字典等)中的元素。其幕后实际是通过迭代协议来完成的,迭代是一种依次访问对象中元素的方式,for循环在对象上调用iter()函数生成一个迭代器(对象要是可迭代的,即支持迭代协议),然后通过迭代器对元素进行访问。

2024-07-29 19:44:24 878

原创 Pandas Series对象的创建和基本使用(Pandas Series Object)

pandas是Python的一个第三方数据分析库,其集成了大量的数据模型和分析工具,可以方便的处理和分析各类数据。Pandas中主要对象类型有Series,DataFrame和Index。本文介绍Series对象的创建和基本用法。

2024-07-26 19:09:10 1876 2

原创 Linux 虚拟机本地yum源配置

yum是红帽的一款软件包管理器,可以搜索、安装、卸载和更新软件包。它主要优点是能够判断包之间的依赖关系并自动安装/卸载,极大的简化了软件包管理,但在使用它之前需要先配置yum源来提供软件包,yum源可以来自网络也可以来自本地。在虚拟机的ISO安装镜像中,有一个Packages文件夹,里面包含了大量的软件包,下面演示如何将这个目录配置为本地yum源。

2024-07-25 16:24:12 3130

原创 MySQL root用户密码忘记怎么办(Reset root account password)

在使用MySQL数据库的的过程中,不可避免的会出现忘记密码的现象。普通用户的密码如果忘记,可以用更高权限的用户(例如root)进行重置。但是如果root用户的密码忘记了,由于root用户本身就是最高权限,那这个方法就行不通了。本文介绍2种在忘记root用户用户密码的情况下,如何进行重设。

2024-07-22 16:11:19 10571

原创 Python 利用pandas处理CSV文件(DataFrame的基础用法)

pandas是一个第三方数据分析库,其集成了大量的数据分析工具,可以方便的处理和分析各类数据。

2024-07-09 16:25:58 21780 4

原创 Python 文件夹同步工具(sync_folders)

分享一个自己写的文件夹同步工具,可以实现文件夹备份/同步。

2024-07-02 14:35:41 652

原创 MySQL limit子句用法及优化(Limit Clause Optimization)

在MySQL中,如果只想获取select查询结果的一部分,可以使用limit子句来限制返回记录的数量,limit在获取到满足条件的数据量时即会立刻终止SQL的执行。相比于返回所有数据然后丢弃一部分,执行效率会更高。

2024-06-19 17:24:18 2855

原创 Python NumPy数组的创建方法

Numpy是Python中科学计算的基础包,其核心对象就是ndarray(n维数组)。利用数组可以快速执行逻辑,形状操作,统计和傅里叶变换等运算,其效率比Python原生的数组效率更高。因此使用Numpy的第一件事就是创建Numpy数组,本文总结了5种常用的创建NumPy数组方法。

2024-05-14 15:30:28 6440

原创 Oracle 可传输表空间(Transportable Tablespace)

在数据归档、备份、测试等场景,我们经常需要将数据从一个系统移动到另一个系统,一个较常用的方案是数据的导出/导入(export/import),但是在数据量较大的场景,此方案可能比较耗时。而可传输表空间是一种以文件为单位的数据移动技术,它绕过了导出/导入的数据处理过程,直接利用操作系统复制底层数据文件来快速移动数据。

2024-04-19 17:29:33 1591

原创 MySQL Prepared语句(Prepared Statements)

在数据库应用中,很多SQL语句都会重复执行很多次,每次执行可能只是where条件中的变量值不同,但MySQL依然会解析SQL语法并生成执行计划。对于这类情况,可以利用prepared语句来避免重复解析SQL的开销。

2024-04-17 18:37:43 3197

原创 Python 进度显示工具(tqdm)

tqdm 是一个进度显示工具,当任务执行的等待时间较长时,通过tqdm模块可以模拟出一个进度条,由此可以看到任务执行进度,获得更好的体验。

2024-04-12 17:40:02 3741

原创 MySQL count(*/column)查询优化

count()是SQL中一个常用的聚合函数,其被用来统计记录的总数,下面通过几个示例来说明此类查询的注意事项及应用技巧。

2024-03-28 19:10:35 1886

原创 Python 垃圾回收和弱引用(Weakref)

Python中的赋值语句是建立变量名与对象的引用关系,多个变量可以引用同一个对象,当对象的引用数归零时,可能会被当作垃圾回收。而弱引用即可以引用对象,又不会阻止对象被当作垃圾回收,因此这个特性非常适合用在缓存场景,当对象被当作垃圾回收时,其缓存信息会同步清除。

2024-03-28 17:11:39 2126

原创 Oracle 写丢失保护/影子表空间(Lost Write Protection with Shadow Tablespace)

Oracle数据库在与独立I/O子系统交互时,假如Oracle发出的写磁盘命令,I/O子系统也返回成功写磁盘的消息(数据此时可能依然在I/O缓存中),如果在I/O系统实际写盘之前Oracle再次读取该数据,则I/O系统可能会返回旧版本的数据(写操作丢失了)。Oracle引入了写丢失保护机制,在读数据时校验数据块的版本,以检测是否出现写丢失。

2024-03-22 20:43:58 1144

原创 MySQL 连接控制(Connection Control)

MySQL连接控制是一个安全插件,当客户端出现指定次数的连接失败时(密码错误),之后的每次连接请求的响应都会逐渐增加延迟,此插件可以帮助数据库抵御类似DDOS攻击或暴力破解密码。

2024-03-22 17:11:07 2956

原创 Oracle 临时表空间管理(Temporary Tablespace)

Oracle临时表空间(Temporary Tablespace)主要用来存储数据库运行中产生的临时对象,例如SQL排序结果集,临时表等,这些对象的生存周期只有会话。本文总结了Oralce中涉及临时表空间的管理和优化操作。

2024-03-17 05:19:20 6665

原创 Python 利用CSV模块处理数据

CSV(Comma-Separated Values 逗号分割值)是一种简单的数据存储与分享方式,和Excel相比,CSV文件的一个主要优点是有很多程序可以存储,转换和处理纯文本文件,因此应用场景更加广泛。

2024-03-17 05:05:49 2476

原创 MySQL 系统变量查看与设置(System Variables Configuration)

MySQL中有大量的系统变量控制服务器的行为,大部分的系统变量是不需要我们调整的,保持默认即可。但为了获得更高的性能和稳定性,有时需要适当对部分变量进行调整,本文总结了MySQL中系统变量的查看与设置方法。

2024-03-14 18:18:22 4194

原创 Python 闭包和nonlocal声明

闭包是针对嵌套函数环境的概念,它的作用是延伸函数的作用域。简单来说,闭包就是一个函数,但它可以保存着上层函数作用域中的变量,使得这些变量可以在函数中使用。而nonlocal声明的作用就是允许函数重新绑定局部作用域以外且非全局作用域当中的变量。

2024-03-14 17:47:18 2069

目录同步工具,可以同步文件夹内容,适合简单备份场景

自己写的一个目录同步工具,可以从源目录向目标目录同步内容,适合简单文件夹备份。 使用方法: 1. 解压后将sync_folders.exe和sync_folders.csv文件放到同一目录 2. 用文本工具打开sync_folders.csv,配置需要同步的目录,格式:源目录,目标目录 3. 多对同步目录放置多行 4. 双击sync_folders.exe完成目录同步 说明: 1. 工具会根据文件名和大小,将源目录文件(包括子目录)同步到目标目录中(目标目录不存在会自动新建,源目录不存在会提示) 2. 如果目标目录有多余的文件,会在当前级别下新建“多余的文件_日期”文件夹,并放入其中,可自行选择是否删除 3. 如果目标目录有多余的文件夹,不会变动 3.不要在sync_folders.csv文件中写其他内容,没有添加异常内容解析逻辑

2024-07-02

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除