- 博客(16)
- 收藏
- 关注
RSS订阅原创 Python操作数据库-pysql
本文介绍了使用PyMySQL操作MySQL数据库的关键方法，包括连接管理、SQL执行、结果获取和事务控制。主要内容：1）通过pymysql.connect()建立数据库连接；2）使用游标对象执行SQL并获取结果（fetchone/fetchall）；3）事务控制（commit/rollback）确保数据一致性；4）推荐使用with语句自动管理连接和游标资源，避免泄漏。文章还提供了异库迁移的代码示例，展示如何实现跨数据库的数据转移，包括连接管理、数据转换和事务处理。这些方法可帮助开发者高效安全地进行数据库操作
2025-11-28 16:14:26
382
原创 Mysql触发器
摘要：MySQL触发器是一种与表关联的特殊存储过程，在特定事件（INSERT/UPDATE/DELETE）发生时自动执行。触发器分为语句级和行级两种，支持数据验证、同步复制等功能，通过NEW/OLD引用变化记录。创建语法包含触发时机（BEFORE/AFTER）、事件类型和作用范围（FOR EACH ROW）。典型应用场景包括数据校验、日志记录、级联操作等，能有效维护数据完整性并实现自动化处理。触发器执行后可通过SHOW TRIGGERS查看，使用DROP TRIGGER删除。
2025-11-11 16:57:26
830
原创 MySQL之留存问题
在很多业务中需要计算用户留存情况，在时间维度上可以分为用户次日、多日后的留存情况，用留存率表示。接下来使用CTE语法，找出比如说三日留存，使用diff等于三进行过滤，计算他的留存率。最终的计算结果，因为有四个人，第三天有一个用户登录了两次，则留存率为0.25。三日留存率 = 当日新用户在第四天登录的数量 / 当日新用户注册数量。七日留存率 = 当日新用户在第八天登录的数量 / 当日新用户注册数量。次日留存率 = 当日新用户在次日登录的数量 / 当日新用户注册数量。其他日期留存一次计算即可。
2024-08-26 20:49:22
622
1
原创 MySQL之环比问题
环比就是这个月比上个月，单位不一定是月，可以是任何时间单位。环比计算方式：环比增长速度 =（本期数－上期数）÷ 上期数×100%
2024-08-17 16:28:26
921
原创 大数据Hive——数据倾斜
什么是数据倾斜呢?简单的讲，数据倾斜就是在我们计算的时候，由于数据的分布不均，导致大量的数据集中在一台或者几台服务器上，造成数据的热点问题，这些数据的计算速度往往低于平均计算速度，从而导致整个计算过程变慢用Hive算数据的时候reduce阶段卡在99.99%用SparkStreaming做实时算法时候，一直会有executor出现OOM的错误，但是其余的executor内存使用率却很低。
2024-06-22 20:17:07
1406
1
原创 python面向对象开发
封装是将数据和操作封装在一个对象中，隐藏对象的内部实现细节，只暴露必要的接口给外部访问。继承是通过继承父类的属性和方法，来创建一个新的子类，子类可以重写父类的属性和方法，从而实现更加灵活的功能。当实物被抽象成对象，实物之间的关系就变成了对象之间的关系，从而就可以模拟现实情况，针对对象进行编程,对象就是对于单个事物的抽象化。在面向对象编程中，对象是类的实例化，类是一种抽象的数据类型，它定义了一组属性和方法。属性是对象的状态，方法是对象的行为（完成某种任务）。类的设计有三要素，分别是类名、类的属性、类的方法。
2024-06-21 16:39:01
501
原创 FineReoprt服务器上线部署
复制JDK(java)中的tool.jar文件到Tomcat的lib目录，以及webroot/web-inf的lib目录。，因为Tomcat 技术先进、性能稳定，而且开源免费，复制FineReport webapps目录下的webroot文件夹到Tom act的webapps路径下。因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。尝试访问： http://localhost:8080。到这儿Java和环境变量就配置完成了。使用Tomact进行本地的部署。
2024-06-18 20:59:53
1056
1
原创 什么是三大范式
三大范式是 Mysql 数据库设计表结构所遵循的规范和指导方法，目的是为了减少冗余，建立结构合理的数据库，从而提高数据存储和使用的性能。三大范式之间是具有依赖关系的，比如第二范式是在第一范式的基础上建设的、第三范式是在第二范式的基础上建设的。当然 Mysql 数据库的范式不止三大范式，除了三大范式，还有巴斯-科德范式（BCNF）、第四范式(4NF）、第五范式（5NF，又称“完美范式"）。
2024-04-28 16:43:44
379
原创 Mysql group_concat()语法
group_concat()是将同一组的行数据进行拼接，但是group_concat对字符长度是有限制的，
2024-04-22 21:12:11
718
原创 HDFS分布式文件储存系统
4、 client请求3台DataNode中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将整个pipeline建立完成，后逐级返回client；hdfs在对文件进行储存时，默认按照128M（包含128M）的文件大小进行文件数局的拆分，将拆分的不同块数据储存在在不同的datanode服务器上，1，client会发送文件上传请求，通过RPC与NameNode建立通讯，NameNode会检查目标文件是否存在，父目录是否存在，再返回是否可以上传。
2024-04-16 16:44:57
1278
原创 sql中的内置函数
如果分割符为null，则返 回null ，参数为null，则 忽略该参数。select if(1=1,1,0)from tb1 //返回的结果是1，如果不等于1，则返回0。连接参数的函数，返回结果为连接参数的字符串。注释：如果if判断条件为true，就返回结果1，如果结果为false,返回结果2。csae when 是一种多条件判断的语句，用于不同的查询结果返回不同的值。·regexp_replace(字段，’原始字符‘，’替换的新字符‘)·if(判断条件，结果1，结果2)·round(计算结果，位数)
2024-04-16 16:10:33
536
原创 Mysql聚合函数
聚合（或者聚集，分组）函数，它是对一组数据进行汇总的函数，输出的是一组数据的集合，输出的是单个值聚合函数作用于一组数据，并对有一组数据返回一个值聚合函数的类型：·avg（） //表示求函数的平均值·sum() //求和·max() //最大值·mix() //最小值·count（） //统计个数生成序号函数：取值函数：·over()指定窗口的关键字，默认窗口范围是全表，需要配合其他计算函数一起使用。
2024-04-14 00:28:05
639
原创 哈希算法：
确定性。相同的输入数据会产生相同的哈希值。不可逆性。无法从哈希值推导出原始输入数据。唯一性。不同输入数据生成的哈希值差异很大。散列性。即使输入数据只有微小变化，生成的哈希值也会有显著不同。数据完整性校验。通过比较数据传输前后哈希值是否一致来判断数据是否在传输过程中被篡改。密码学。用于存储密码的哈希值而非明文密码，以增加安全性。数字签名。将原始数据的哈希值与签名一起存储，以验证签名的完整性和正确性。数据分片。在处理大数据时，将数据分成多个小块，对每个小块分别计算哈希值，以便快速检测数据块的正确性，
2024-04-13 23:00:49
423
原创 TIMESTAMPDIFF（）方法
timestampdiff()是nysql中用来计算两个日期或者时间之间的差函数该函数可以返回两个时间/日期之间的差值，可以指定单位为（秒：分钟：minute，小时：hour,天：day,月：month,年：year）
2024-04-09 18:28:27
4406
原创 hadoop介绍
Hadoop的功能组件HDFS分布式文件存储系统: 负责海量数据的存储工作MapReduce分布式计算框架: 负责海量数据的计算工作Yarn分布式资源调度工具: 负责分布式集群的资源调度工作Hadoop发展创始人: 道格·卡丁Hadoop发行时间: 2008年hadoop的发展受谷歌的三篇论文影响, 后被称为大数据发展的三驾马车Hadoop版本社区版: 开源免费优点: 更新速度快,技术新缺点: 兼容性差不稳定。
2024-04-02 18:17:49
608
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人