- 博客(183)
- 资源 (4)
- 问答 (1)
- 收藏
- 关注
RSS订阅
原创 数据库工程师的几个发展方向
从事数据库相关工作已经十几年了，是因为自己内心的执着，一直执着于从事的oracle数据库的相关工作。我是从erp起步的，从技术难度上来说erp的开发不是特别难，数据库的数据量也不是很大，可以作为刚步职场的一个过渡阶段。如果从事erp开发，核心要掌握的就是存储过程的编写，因为大部分公司写后台都是用的存储过程，同时做erp开发的话如果感兴趣的话可以多学习些数据库设计发面的内容，比如表的设计，表与表关系......
2019-09-06 10:57:02
4916
原创 Oracle基础知识之异常
无论是预定义异常，还是错误编号异常，都是 Oracle 系统判断的错误，但业务逻辑异常是 Oracle 系统本身无法知道的，这样就需要有一个引发异常的机制，引发业务逻辑异常通常使用 raise 语句来实现。代码分析：sql%notfound 是隐式游标 SQL 的 notfound 属性， 返回一个布尔值，表示与它最近的一条 SQL 语句(update，insert，delete，select)是否得到结果。在嵌套语句块结构中，内层语句块无法捕捉的错误，可以被外层语句块的异常处理语句捕捉并处理。
2025-04-03 10:56:38
526
原创 pslql语言的应用
而对于Oracle数据库而言，通过使用PL/SQL块，可以将多条SQL语句组织到同一个PL/SQL块中，从而降低网络开销，提高应用程序的性能。loop语句会先执行一次循环体，然后在判断条件表达式的值是true还是false，如果是true，则程序会退出循环体，否则程序将再次执行循环体，因此程序至少执行一次循环体。PL/SQL是Oracle在标准SQL上的过程性扩展，它不仅允许在PL/SQL块中嵌入SQL语句，而且允许在PL/SQL块中使用各种类型的条件分支语句和循环语句。
2025-04-03 10:49:05
383
原创 oracle 分组函数
分组函数包括：COUNT，SUM，AVG，MIN，MAX分组函数在分组内完成统计，显示结果一条记录对应一个组。【例6-4】建立实习项目表，分别写出按照FIELD1字段进行分组、按照FIELD2字段进行分组，按照FIELD1、FIELD2分组的查询语句。count(列名)只包括列名那一列，在统计结果的时候，会忽略列值为空的计数，即某个字段值为NULL时，不统计。对每组内，各条记录相应字段的值求和，只适用于数值型，字符型数据无法求和。)包括了所有的列，相当于行数，在统计结果的时候，不会忽略为NULL的值。
2025-04-01 15:18:02
600
原创 oracle 常用函数的应用
【例6-3】建立雇员部门信息表，包括雇员编号、部门编号、部门名称。部门编号为20的记录更新部门为公关，部门编号为空的更新成未知。【例6-2】把产品名称为Small Widget的最后一次进货时间更新为2022年9月10日下午4点半。DECODE(条件，值1，翻译值1，值2，翻译值2，…值n，翻译值n，缺省值)输入值为NULL，则返回输出值，否则仍为输入值。输出值必须与输入值类型相同。【例6-1】建立产品信息表，包括产品名称、产品单价、库存数、最后进货日期、(deptno ， 10 ， ‘财务’，
2025-03-31 14:00:34
685
原创 oracle基础知识视图的定义和应用
(3)表是内模式，视图是外模式(内模式又称存储模式，对应于物理级，它是数据库中全体数据的内部表示或底层描述，是数据库最低一级的逻辑描述，它描述了数据在存储介质上的存储方式和物理结构，对应着实际存储在外存储介质上的数据库。(4) with check option: 指对视图执行的dml操作必须满足“视图子查询”的条件即，对通过视图进行的增删改操作进行检查，要求增删改操作的数据， 必须是查询语句所能查询到的数据，否则不允许操作并返回错误提示。视图看上去非常象数据库的物理表，对它的操作同任何其它的表一样。
2025-03-31 13:51:29
907
原创 如何让AI帮你做用户运营:用户消费偏好分层和洞察
但是，我要告诉大家，除了deepseek，我成功通过AI实现了自动化的用户运营，它可以帮我自动处理数据，自动进行用户分层，自动进行用户洞察并输出可视化报表，同时给出运营建议，有这个工具在手，你就是一个非常厉害的数据分析师兼用户运营专家兼PPT高手，先带大家一探究竟。最后，运用AI做用户运营的精髓是什么呢，当然就是写提示词啦，如果你对用户运营不是太精，你就不知道让AI给你输出什么，比如我给到AI的提示词里包含聚类、箱图、热力图这些让AI知道输出范围的关键词，就能确保它按我的想法工作！
2025-03-27 15:42:17
457
原创 大模型的 Token 究竟是个啥？
比如，句子“我喜欢猫”会被拆成 Token：我、喜欢、猫、。“Artificial intelligence” → 可能被拆成 [“Artificial”, “intelligence”]，或者更细一点：[“Arti”, “ficial”, “intel”, “ligence”]但如果拆成 [“苹果”, “手”, “机”, “很”, “好”, “用”]，模型可能会误以为“苹果”和“手机”是分开的概念。如果拆成 [“苹果”, “手机”, “很”, “好”, “用”]，模型可能明白“苹果手机”是一回事。
2025-03-26 17:31:53
349
原创 数据库常见面试题(开发者必看)
第二范式（2NF）：数据库表中不存在非关键字段对任一候选关键字段的部分函数依赖（部分函数依赖指的是存在组合关键字中的某些字段决定非关键字段的情况），也即所有非关键字段都完全依赖于任意一组候选关键字。（3）它与每个表绑定在一起，表亡，该表的rowid亡，二张表rownum可以相同，但rowid必须是唯一的。其他字段组成的这行记录和主键表示的是同一个东西，而主键是唯一的，它们只需要依赖于主键，也就成了唯一的。唯一索引可以确保每一行数据的唯一性，通过使用索引，可以在查询的过程中使用优化隐藏器，提高系统的性能。
2025-03-26 17:19:41
351
原创 10个案例告诉你mysql不使用子查询的原因
1.性能问题：子查询在执行时，MySQL需要创建临时表来存储内层查询的结果，查询完毕后再删除这些临时表，这会增加CPU和IO资源的消耗，产生慢查询。4数据传输开销：子查询可能导致大量不必要的数据传输，因为每个子查询都需要将结果返回给主查询，而联表查询则可以通过一次查询返回所需的所有数据，减少数据传输的开销。使用IN代替子查询：如果子查询结果集比较小，可以考虑使用“IN”操作符进行查询，这在数据量较小的情况下，查询效率更高。使用LIMIT子句限制子查询返回的数据量，减少主查询需要处理的数据量，提高查询效率。
2025-03-23 13:58:01
797
原创 关于 LEFT JOIN 的使用注意事项
在 SQL 中，连续的 LEFT JOIN 操作的左表是前面所有 JOIN 操作后的中间结果，而右表是当前 LEFT JOIN 指定的表。结果集: 保留所有 A + B 的记录，并附加匹配的 C 记录（未匹配的 C 字段为 NULL）。最终结果：保留所有 A 的记录，依次附加 B、C、D 的匹配数据（未匹配的字段为 NULL）。结果集: 包含所有 A 的记录，以及匹配的 B 记录（未匹配的 B 字段为 NULL）。左表: 第一次 LEFT JOIN 后的结果集（即 A + B 的数据）
2025-03-21 10:32:31
868
原创 hive 数据简介
使用Hive与HBase进行海量数据库与查询;使用Hive与HBase进行海量数据库与查询;Hive在大数据生态环境中的位置;使用Hive与HBase进行海量数据库与查询;使用Hive与HBase进行海量数据库与查询;Hive中的数据模型;使用Hive与HBase进行海量数据库与查询;Hive的体系架构;使用Hive与HBase进行海量数据库与查询;Hive不支持OLTP，Hive无法提供实时查询。4）Hive和HBase的区别与联系。作用 HiveQL。
2025-03-20 09:43:54
431
原创 HBase数据库简介
本质上说，BigTable是一个稀疏的、分布式的、持久化的、多维的、排序的键值（key-value）映射。HBase是在谷歌BigTable的基础之上进行开源实现的，是一个高可靠、高性能、面向列、可伸缩的分布式数据库，可以用来存储非结构化和半结构化的稀疏数据。Hadoop擅长于存储各种格式的庞大的数据，任意的格式甚至非结构化的处理。在这一点上，一个新的解决方案，需要访问数据中的任何点（随机访问）单元。HBase在大数据生态环境中的位置如下图所示，它建立在Hadoop HDFS之上的分布式面向列的数据库。
2025-03-20 09:30:41
617
原创 oracle事务的组成
错读|脏读：当user1正在读数据库中的表A时，user2正在修改表A，user2修改完了，user1又读一遍表A，user1读出的是修改过的数据，而user2又撤消修改了，user1的读取表A，称为错读或者脏读。事务中遇到的这些异常与事务的隔离性设置有关，事务的隔离性设置越多，异常就出现的越少，但并发效果就越低，事务的隔离性设置越少，异常出现的越多，并发效果越高。Set constrains：设置当前事务的约束模式，设置约束是修改数据的时候，立即起作用，还是当前事务结束后应用。
2025-03-19 09:27:24
631
原创 oracle 基础知识事务的特性
例如在使用JDBC操作数据库时，在提交事务方法后，提示用户事务操作完成，当程序执行完成直到看到提示后，就可以认定事务正确提交，即使这时候数据库出现了问题，也必须要将事务完全执行完成，否则就会看到提示事务处理完毕，但是数据库因为故障而没有执行事务的重大错误。举例说明：张三向李四转100元，转账前和转账后的数据是正确的状态，这就叫一致性，如果出现张三转出100元，李四账号没有增加100元这就出现了数据错误，就没有达到一致性。1.原子性是指事务是一个不可分割的工作单位，事务中的操作要么全部成功，要么全部失败。
2025-03-19 09:21:20
1020
原创 oracle基础知识之表的集合运算
INSERT INTO sm_emp_sex VALUES(‘000000006’,‘王兴悦’,6200,‘87783617’,‘女’);INSERT INTO sm_emp_sex VALUES(‘000000002’,‘关庭’,4500,‘87825626’,‘女’);【例1】建立职工表，包括员工编号，姓名，薪水，电话号码。建立职工性别表，包括员工编号，姓名，薪水，电话，性别，然后插入测试数据。两个表或多个表数据合并到一起。（1）联合运算： 联合运算实际是:结果集1加上结果集2的纪录。
2025-03-17 09:15:26
622
原创 oracle 基础知识之 多表查询
使用关键 right join，以右表为准，返回右表的所有数据，左表满足 on 条件的数据会全部显示，否则用 null 值去填充。需要查询出编号,姓名,岗位名称,薪水信息。（1）左外连接：使用关键字 left join，以左表为准，返回左表的所有数据，右表满足关联条件的数据会全部显示，否则用 null 值去填充。多表查询：当查询的数据并不是来源一个表时，需要使用多表连接操作完成查询。（2）完全连接：通过关键字 full join 连接两张表，返回左表和右表的所有数据，并使用 null 值填充缺失的数据。
2025-03-17 09:06:00
730
原创 Oracle获取SQL执行日志
由于内存管理和性能考虑，Oracle 可能只保留一部分 SQL 语句文本，而不是全部文本。包含正在执行或已执行过的 SQL 语句的聚合信息，如执行次数、总执行时间等。可以从中获取 SQL 语句的详细文本，用于分析和诊断 SQL 查询。可以从中获得 SQL 语句的执行计划，以便分析查询优化和性能。可以从中获得 SQL 语句的文本、执行计划、执行次数等信息。对于查看 SQL 语句在整个数据库中的性能表现很有帮助。数据库中当前正在执行或已执行过的 SQL 语句的信息。包含了已编译的 SQL 语句的执行计划信息。
2025-03-13 18:15:21
398
原创 最近爆火的manus横空出世，到底是什么？
比如说当你要求他写小说的时候，他会先去搜索小说网站里的投稿要求，分析读者会喜欢什么样的题材，然后再根据读者们的偏好生成小说，而且小说写的质量也是相当的不错。比如说它可以帮你自主的进行旅行规划，可以帮你深入的去研究某家公司的股票，并且呢给出图文并茂的分析报告，还能够对比不同保险产品的条款，为你输出最优的保险方案，也能为教师制作动量定理教学视频，甚至能够像房产经纪人一样，协助你完成纽约购房的全流程服务。在3月5号的晚上，有一家中国的AI初创团队是震撼发布了世界上的首款AI智能manus。
2025-03-13 11:04:30
390
原创 DeepSeek做小红书真的太牛了！轻轻松松打造爆款笔记
例如下面的对话，我的提示语是“请给我的小红书口红色号测评笔记取一个吸引人的标题，我是黄皮素颜测评的，笔记目的是为黄皮找到合适的口红色号，标题有趣生动，必须含有关键词‘黄皮’和‘口红’”，模型给出了好几种类型的标题，无论是“直击痛点”、“夸张效果”还是“数字盘点型”，都是非常具有吸引力的，并且标题也满足了我的所有要求，非常好用。”这样的问题涵盖的范围是非常广的，有整个行业的动态、市场趋势分析，这对于一个小红书美妆博主来说根本无法直接使用，还得自己去深挖、和自己的定位等等联系，找选题。
2025-02-21 14:34:46
949
原创 Deepseek做小红书虽然很香，但用错了会封号！
例如一个护肤博主准备做洗面奶测评，需要评测各种品牌洗面奶的成分并且进行评价，那么这个时候就可以向DeepSeek提问，“我是一个小红书美妆博主，我要做一个各品牌洗面奶测评的笔记，想知道洗面奶哪些成分是关键的，检测指标是怎么样的，对皮肤有哪些影响，以为粉丝做出推荐。洗稿是一种抄袭方法，就是对其他人的原创内容进行篡改、删减，使其好像面目全非，但其实最有价值的部分还是抄袭的，在小红书，洗稿本身就是违规行为，即使使用AI洗稿，仍然是基础原文进行的“二次改造”，也是会被小红书平台检测判违规的。
2025-02-21 14:17:54
355
原创 最近比较火的DeepSeek简介
与DeepSeek的对话，尽量使用简单、直白的语言，越是接地气的表达，DeepSeek就越能发挥其最大潜力。与DeepSeek的对话，尽量使用简单、直白的语言，越是接地气的表达，DeepSeek就越能发挥其最大潜力。有时 DeepSeek 回答的内容可能不是你想要的，这时可以增加约束条件，来限制、优化它回答的内容。有时 DeepSeek 回答的内容可能不是你想要的，这时可以增加约束条件，来限制、优化它回答的内容。DeepSeek的理解能力非常强，不需要过多的引导，给它一个清晰的问题，它就能提供精准的答复。
2025-02-20 10:26:59
1097
原创 干货知识，掌握MySQL核心日志：binlog 、redo log、undo log
它的设计目标是支持innodb的“事务”的特性，事务ACID特性分别是原子性、一致性、隔离性、持久性， 一致性是事务的最终追求的目标，隔离性、原子性、持久性是达成一致性目标的手段，根据的之前的介绍我们已经知道隔离性是通过锁机制来实现的，而事务的原子性和持久性则是通过redo log 和undo log来保障的。binlog 是MySQL server层的日志，而redo log 和undo log都是引擎层（InnoDB）的日志，要换其他数据引擎那么就未必有redo log和undo log了。
2025-01-16 14:43:37
701
原创 MySQL主从复制的实现原理
MySQL 主从复制是通过 bin log 实现的，主服务写入操作会同时添加到 bin log 中，而从数据库定期拉取主数据库的 bin log，然后将拉取的数据存放到自己的 relay log 中，之后再由单独 SQL 线程将数据写入到从数据库中，此时 MySQL 的主从同步就完成了。在主从复制架构中，一个服务器被设置为主服务器（Master），充当数据源，其他服务器被设置为从服务器（Slave），用来复制主服务器的数据。如果对延迟和主服务器性能要求较高，可以继续使用异步复制，根据实际需求调整复制模式。
2025-01-16 14:20:03
581
原创 mysql 锁的详细介绍啊
在mysql中的锁看起来是很复杂的，因为有一大堆的东西和名词：排它锁，共享锁，表锁，页锁，间隙锁，意向排它锁，意向共享锁，行锁，读锁，写锁，乐观锁，悲观锁，死锁。从用户的角度来看，好像是数据库可以提供同一数据的多个版本。注：A查询数据库得到数据，B去修改数据库的数据，导致A多次查询数据库的结果都不一样【危害：A每次查询的结果都是受B的影响的，那么A查询出来的信息就没有意思了】看完上面的有没有发现，在一开始所说的：X锁，S锁，读锁，写锁，共享锁，排它锁其实总共就两个锁，只不过它们有多个名字罢了~~~
2025-01-07 14:39:28
939
原创 mysql数据库两大神器【索引和锁】（1）
如有索引(a, b, c, d)，查询条件c > 3 and b = 2 and a = 1 and d < 4与a = 1 and c > 3 and b = 2 and d < 4等顺序都是可以的，MySQL会自动优化为a = 1 and b = 2 and c > 3 and d < 4，依次命中a、b、c。B+树是平衡树的一种，是不会退化成链表的，树的高度都是相对比较低的(基本符合矮矮胖胖(均衡)的结构)【这样一来我们检索的时间复杂度就是O(logn)】！5，尽可能的扩展索引，不要新建立索引。
2025-01-07 14:23:31
867
原创 【Oracle数据库】手滑删错数据，一步步教你如何挽救？
#拷贝备份文件至新主机scp /backup/backlv0_ORCL_20210617_107548592* 10.211.55.112:/tmpscp /u01/app/oracle/product/11.2.0/db/dbs/0c01l775_1_1 10.211.55.112:/tmp##新主机恢复控制文件并开启到mount状态rman target /restore controlfile from ‘/tmp/backlv0_ORCL_20210617_1075485924_9_1’;
2024-12-27 18:04:40
1290
原创 手记 : Oracle 慢查询排查步骤
这篇文章主要记录了 Oracle 慢查询的排查步骤、优化方法及相关概念。排查步骤包括查询慢查询日志、查看索引和锁的竞争情况等；优化涵盖 SQL 部分和整体性能、硬件方面；还介绍了 SGA 等概念。文中提到多种优化策略，并指出性能优化流程仅供参考，后续可能会深入研究 Oracle 细节。
2024-12-27 17:55:52
1669
原创 hive之数据导入与导出
一 数据导入2. 说明（1）load data:表示加载数据（2）local:表示从本地加载数据到hive表；否则从HDFS加载数据到hive表（3）inpath:表示加载数据的路径（4）overwrite:表示覆盖表中已有数据，否则表示追加（5）into table:表示加载到哪张表（6）student:表示具体的表（7）partition:表示上传到指定分区insert into：以追加数据的方式插入到表或分区，原有数据不会删除。
2024-12-05 10:42:41
478
原创 Hive 分区和分桶的区别及示例讲解
一、概述在大数据处理过程中，Hive是一种非常常用的数据仓库工具。Hive分区和分桶是优化Hive性能的两种方式，它们的区别如下：1）分区概述Hive分区是把数据按照某个属性分成不同的数据子集。2）分桶概述Hive分桶是将数据划分为若干个存储文件，并规定存储文件的数量。综上所述，分区和分桶的区别在于其提供的性能优化方向不同。分区适用于对于数据常常进行的聚合查询数据分析，而分桶适用于对于数据的均衡负载、高效聚合等方面的性能优化。当数据量较大、查询效率比较低时，使用分区和分桶可以有效优化性能。
2024-12-04 15:40:53
1201
原创 hive数据库的DDL操作
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name --表名。[PARTITIONED BY (col_name data_type [COMMENT col_comment], …Hive的表类型主要有：内部表（受控表）、外部表、临时表、分区表、分桶表。
2024-12-04 10:40:58
1103
原创 Hive中的基本数据类型和表的类型
Hive表的数据是存储在HFDS中对应的目录中，普通表的数据直接存储在这个目录下，而分区表存储时，会再划分子目录来存储，一个分区对应一个子目录。在Hive表查询的时候，如果指定了分区字段作为筛选条件，那么只需要到对应的分区目录下去检索数据即可，减少了处理的数据量，从而有效的提高了效率。Hive中默认创建的是内部表，内部表的数据由Hive来管理。创建桶表时，需要指定桶的个数，分桶的依据字段，Hive就可以自动将数据分桶存储。查询时，只需要遍历一个桶里的数据，或者遍历部分桶，这样就提高了查询效率。
2024-11-29 15:00:59
1258
原创 Hive基础篇
允许用户进行和SQL相似的操作，它可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能。Hive作为Hadoop之上的数据仓库处理工具，它所有的数据都是存储在Hadoop兼容的文件系统中。Hive在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HDFS中Hive设定的目录下。因此，Hive不支持对数据的修改和添加，所有的数据都是在加载的时候确定的。元数据包括：表名，表所属的数据库，表的列/分区字段，表的属性（是否为外部表等），表的数据所在目录等信息。运行MR作业，得到最终结果。
2024-11-29 11:07:13
514
原创 数据治理系列：可参考的国外数据治理框架
DAMA 数据管理模型国际数据管理协会(DAMA)，推出的DMBOK2（数据管理知识体系）对于企业数据治理体系的建设有一定的指导性。注：DAMA 是数据管理协会的简称，是一个全球性数据管理和业务专业志愿人士组成的非营利协会，致力于数据管理的研究和实践。DAMA-DMBOK定义了10各职能域，用于指导组织的数据管理职能和数据战略的评估工作，并建议和指导刚起步的组织去实施和提升数据管理。数据治理：数据资产管理的权威性和控制性活动（规划、监视和强制执行），数据治理是对数据管理的高层计划与控制。数据架构管理：定义企
2024-11-12 13:01:58
859
原创 一文讲清楚人工智能自然语言处理中的数据预处理(数据清洗)
当然了，对于不同的食材我们可能会采用不同的清洗方式，也就是说，对于不同结构的数据样本我们选取的数据处理方法也可能会不同，比如说对于某些蔬菜我们需要用水清洗，然后切成小段，但是对于豆豉，酸菜之类的食材我想没有人会用水清洗它吧，因此不同形式的数据样本往往采取的是不同数据处理方法的组合。还有，我们对于面粉之类的食材一般没有人生啃吧，是需要对其进行醒面发酵之后才能被我们用作完美的食材，所以这个过程也就涉及食材的转化，也就是说，我们的样本数据也可能会利用一些方法进行适当的转化从而被我们更好地用来训练模型。
2024-11-11 09:24:25
612
原创 一文带你看懂数据清洗的六大问题！（附工具推荐）
但是我们可以看到数据清洗的人力成本是比较高的，在真实场景中，数据情况往往会更错综复杂，如果不想经历上述基本的数据清洗手段，可以使用ETL工具来帮助简化数据处理流程，国内ETL产品中做的比较好的有FineDataLink（以下简称FDL）。简单操作即可完成数据清洗，省时省力。这个环节通过将重复、多余的数据筛选清除，将缺失的数据补充完整，将错误的数据纠正或去除，从而提升数据质量，提供给上层应用调用。它可以有效处理数据的常见问题：数据缺少值、数据值不匹配、数据重复、数据不合理、数据字段格式不统一、数据无用。
2024-11-11 09:22:52
489
某银行的数据库项目， 数据挖掘/数仓项目 后端jjava ，oracle 数据库
2024-05-17
数据挖掘和大数据处理经验笔记
2020-09-30
急急 ora10 客户端无法连接数据库 无法解析指定的连接标识符
2015-12-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人