《国产数据库技术》课程学习心得

在本次《国产数据库技术》课程的学习中，我对国产数据库有了更深入的了解，特别是DM（达梦）数据库的安装、配置、使用以及维护等方面。以下是我通过实践所得的学习心得，希望能为其他学习者提供一些参考和帮助。

目录

1. DM数据库的安装
2. 实例配置与优化
3. 数据备份与还原
4. DM特有函数的用法
5. 达梦数据库查询与操作
6. DM SQL程序设计的思路与步骤
7. 解决问题的思路与技巧

---

一、DM数据库的安装

在安装DM数据库之前，我首先确保系统环境满足要求，包括操作系统版本、磁盘空间和内存资源等。接着，从达梦官方网站下载了对应操作系统版本的安装包，并按照安装向导逐步进行操作。

在安装过程中，需要设置数据库实例名、端口号、数据库文件存放路径等关键参数。安装完成后，我进行了初步测试，确保数据库能够正常运行。

二、实例配置与优化

1、实例配置

1. 环境准备

   • 操作系统：选择适合的操作系统，如Linux（推荐企业版如Red Hat、CentOS）或Windows。
   • 硬件需求：确保服务器满足数据库运行的硬件要求，包括多核处理器（建议4核以上）、足够的内存（最低4GB，建议8GB及以上）和充足的硬盘空间（系统盘至少20GB，数据库数据盘视情况而定，建议100GB及以上）。

2. 安装包获取与解压

   • 从官方网站获取适合当前操作系统和数据库版本的安装包。
   • 使用适当的解压工具将安装包解压到指定目录。

3. 创建用户与用户组

   • 为了提高安全性，建议创建一个单独的用户用于运行数据库服务。

4. 实例初始化

   • 使用dminit命令或其他数据库配置工具初始化数据库实例。
   • 在初始化过程中，需要设置数据库名称、实例名、端口号等参数。
   • 特别注意页大小、簇大小、大小写敏感、字符集等关键参数的设置，这些参数一旦确定后无法修改。

5. 启动数据库

   • 使用dmserver命令或其他数据库管理工具启动数据库服务。

6. 配置环境变量

   • 为了便于操作和管理，建议将数据库命令和相关工具添加到环境变量中。

2、优化建议

1. 内存参数优化

   • 根据服务器的物理内存和虚拟内存情况，合理配置数据库的内存参数。
   • 如BUFFER、MAX_BUFFER等参数，建议配置为操作系统物理内存的60%~80%。

2. CPU参数优化

   • 根据服务器的CPU核数，合理配置数据库的工作线程和任务线程数。
   • 如WORKER_THREADS、TASK_THREADS等参数，建议配置为CPU核数相等或其2倍。

3. I/O性能优化

   • 使用SSD等高性能存储设备，提高数据库的I/O性能。
   • 在Linux环境下，可以通过配置direct_io等参数来优化I/O性能。

4. 日志管理

   • 定期检查和清理数据库日志，防止磁盘空间不足。
   • 根据需要配置SQL日志、错误日志等不同类型的日志。

5. 性能监控

   • 使用性能监控工具实时监控数据库的性能指标，如CPU使用率、内存使用率、I/O等待时间等。
   • 及时发现并解决性能瓶颈，确保数据库的高效运行。

6. 备份与恢复策略

   • 制定定期备份计划，确保数据的安全性和可用性。
   • 定期进行恢复演练，熟悉恢复流程和步骤。

7. 安全性配置

   • 合理配置用户权限，确保数据安全和合规性。
   • 使用强密码策略，定期更换密码。
   • 配置防火墙和入侵检测系统，防止外部攻击。

三、数据备份与还原

1、数据备份

1. 备份类型

   • 物理备份：直接拷贝数据库的物理文件，如数据文件、控制文件和日志文件等。这种备份方式效率较高，恢复时也比较直接。物理备份又可以分为全库备份、表空间级备份、表级备份和归档备份等。
   • 逻辑备份：导出数据库中的逻辑数据，如创建对象的SQL语句、插入的数据等。逻辑备份通常用于需要迁移或在不同数据库系统之间导入数据的场景。逻辑备份的效率相对较低，特别是在数据量大的情况下。

2. 备份方式

   • 冷备份（脱机备份）：在数据库关闭的情况下进行备份。这种方式简单直接，数据一致性容易保证，但备份期间数据库不可用，会影响业务的正常运行。
   • 热备份（联机备份）：允许在数据库正常运行的过程中进行备份。这种方式不影响数据库的正常服务，但操作相对复杂，且需要配置归档日志以确保数据的一致性。

3. 备份工具与命令

   • dexp和dimp：dexp是逻辑导出工具，用于导出数据库中的数据；dimp是逻辑导入工具，用于将导出的数据还原到数据库中。这两个工具都支持数据库级、用户级、模式级和表级的备份和还原。
   • RMAN（Recovery Manager）：DM数据库提供的备份恢复工具，用于执行物理备份和还原操作。RMAN提供了丰富的命令和选项，可以满足各种备份和还原需求。
   • SQL语句：DM数据库也支持使用SQL语句进行备份和还原操作。例如，使用BACKUP DATABASE语句进行数据库备份，使用RESTORE DATABASE语句进行数据库还原。

2、数据还原

1. 还原类型

   • 全量还原：还原整个数据库的所有数据。
   • 部分还原：还原数据库中的部分数据，如某个表空间、某个用户或某个表的数据。
   • 表还原：仅还原指定的表或表分区的数据。

2. 还原步骤

   • 准备还原环境：确保目标数据库处于可还原状态。对于物理备份，可能需要关闭数据库；对于逻辑备份，则通常不需要。
   • 选择还原类型：根据需求选择全量还原、部分还原或表还原。
   • 执行还原操作：使用dimp工具、RMAN工具或SQL语句执行还原操作，将备份数据还原到目标数据库中。
   • 恢复数据库：对于物理备份，还原后需要使用REDO日志将数据库恢复到一致状态；对于逻辑备份，还原后通常可以直接使用。

3、备份与还原策略

1. 定期备份：制定定期备份计划，如每天、每周或每月进行一次全量备份，并根据需要进行增量备份或差异备份。
2. 异地备份：将备份数据存储在异地，以防止本地灾难性事件导致数据丢失。
3. 备份验证：定期验证备份数据的完整性和可用性，确保在需要时能够成功还原。
4. 恢复演练：定期进行恢复演练，以熟悉恢复流程和步骤，确保在真正需要时能够迅速恢复数据。

四、DM特有函数的用法

1、DM_ROWID函数

DM_ROWID函数返回表中行的物理地址，这是Oracle中ROWID所不具备的功能。在Oracle中，ROWID直接对应物理地址，而在DM中，需要通过DM_ROWID函数来获取。

用法示例：

sql

SELECT DM_ROWID FROM table_name WHERE condition;

其中，table_name为表名，condition为查询条件。

2、DM_BITAND函数

DM_BITAND函数执行位与操作，返回一个数字，该数字是所有输入参数的按位与结果。Oracle中没有直接对应的函数，通常需要手动实现。

用法示例：

sql

SELECT DM_BITAND(column1, column2) FROM table_name;

其中，column1和column2为表中的列名，table_name为表名。

3、DM_GET_LOCK函数

DM_GET_LOCK函数用于获取锁，这在高并发环境下尤其有用。Oracle中获取锁的方式与之不同，通常使用SELECT...FOR UPDATE语句。

用法示例（伪代码，因为实际使用时需要在存储过程或PL/SQL块中声明变量并处理返回值）：

sql

	DECLARE
	lock_status NUMBER;
	BEGIN
	lock_status := DM_GET_LOCK('my_lock', 1); -- 'my_lock'为锁名，1为锁模式（具体模式根据需求设置）
	-- 后续处理逻辑
	END;

4、DM_CURRENT_USER函数

DM_CURRENT_USER函数返回当前登录的用户名。

用法示例：

sql

SELECT DM_CURRENT_USER FROM dual;

在DM数据库中，dual是一个虚拟表，用于从不需要从实际表中检索数据时执行函数。

5、DM_JSON_EXTRACT函数

DM_JSON_EXTRACT函数用于从JSON字符串中提取数据。随着JSON数据格式的广泛应用，该函数在处理JSON数据时非常有用。

用法示例：

sql

SELECT DM_JSON_EXTRACT('{"name":"John", "age":30}', '$.name') AS name FROM dual;

这将返回John，即JSON字符串中name字段的值。

6、DM_LISTAGG函数

DM_LISTAGG函数是一个聚合函数，用于将多行数据按照指定的分隔符合并成一行，并返回合并后的结果。这在生成报表或进行数据分析时非常有用。

用法示例：

sql

	SELECT DM_LISTAGG(column_name, ',') WITHIN GROUP (ORDER BY column_name) AS aggregated_column
	FROM table_name;

其中，column_name为要合并的列名，table_name为表名，,为分隔符。

7、其他DM特有函数

除了上述函数外，DM数据库还提供了一些其他特有函数，如：

• DM_ROW_NUMBER函数：用于为查询结果集中的每一行分配一个唯一的行号。
• 数学函数：如ABS()、ROUND()、FLOOR()、CEIL()等，用于进行基本的数学运算。
• 字符串函数：如SUBSTR()、REPLACE()、ASCII()等，用于处理字符串数据。
• 日期和时间函数：如CURRENT_DATE、CURRENT_TIME等，用于获取当前的日期和时间。

五、 达梦数据库查询与操作

1、基本查询

1. 查看表结构

   • 方法一：使用SELECT DBMS_METADATA.GET_DDL语句查看特定表的DDL（数据定义语言）语句。
   • 方法二：使用SP_TABLEDEF存储过程查看表结构。

2. 查询所有记录

   • 使用SELECT * FROM 表名语句查询表中所有记录。

3. 按条件查询

   • 使用WHERE子句根据特定条件筛选记录。例如，查询2015年1月1日后入职的员工：SELECT * FROM dmhr.employee WHERE hire_date > '2015-01-01'。

4. 查找空值

   • 使用IS NULL条件查找空值记录。例如，查询工资数据为空的员工：SELECT * FROM dmhr.employee WHERE commission_pct IS NULL。

5. 处理空值

   • 使用NVL函数将空值转换为有意义的值。例如，将工资为空的值转换为0：SELECT employee_name, employee_id, NVL(commission_pct, 0) AS commission_pct FROM dmhr.employee。

2、排序

• 使用ORDER BY子句对查询结果进行排序。
• 可以按单列或多列排序，并指定升序（ASC）或降序（DESC）。例如，按员工生日升序排列：SELECT employee_name, hire_date FROM dmhr.employee ORDER BY hire_date ASC。

3、函数使用

1. 字符串函数

   • 使用||或CONCAT函数拼接字符串。例如，拼接员工姓名和薪资：SELECT employee_name || ' salary is ' || salary AS col1 FROM dmhr.employee。
   • 使用TRANSLATE函数替换字符串中的字符。

2. 条件逻辑函数

   • 使用CASE语句在查询中根据条件返回不同的值。例如，按工资高低给出提示：SELECT employee_name, salary, CASE WHEN salary <= 4000 THEN 'low' WHEN salary >= 12000 THEN 'high' ELSE 'ok' END AS salary_status FROM dmhr.employee。

4、联合查询

• 使用UNION或UNION ALL关键字合并多个结果集。
• UNION会去除重复记录，而UNION ALL则保留所有记录。
• 合并结果集时，对应的列数必须一致，列的数据类型必须匹配。

5、其他操作

1. 限制返回行数

   • 使用ROWNUM伪列或LIMIT子句限制返回的行数。例如，返回前10行：SELECT * FROM (SELECT ROWNUM AS rn, t.* FROM dmhr.employee t WHERE ROWNUM <= 10)。

2. 列别名

   • 使用AS关键字为列取别名，增强可读性。例如，SELECT employee_id AS "员工编号", employee_name AS "员工姓名" FROM dmhr.employee。

3. 子查询

   • 在WHERE子句中使用子查询进行复杂条件筛选。

4. 多表查询

   • 使用JOIN语句进行多表查询，包括内连接、左外连接、右外连接和全外连接等。

六、 DM SQL程序设计的思路与步骤

在进行DM SQL程序设计时，我首先明确程序的功能需求，然后根据需求设计数据库表结构，确定各个表之间的关系。

例如，设计一个电商系统的数据库，需要创建用户表、商品表、订单表等，并建立外键关联。在编写程序代码时，我遵循模块化的设计思想，将不同的功能封装成独立的函数或存储过程。

<img src="https://example.com/database_design.png" />

七、解决问题的思路与技巧

在学习过程中，我遇到了不少问题。例如，在执行复杂查询时出现性能瓶颈。此时，我通过DM数据库的性能监控工具查看执行计划，分析查询语句中是否存在问题，并创建合适的索引来优化查询性能。

另外，在数据库连接出现异常时，我检查网络配置、数据库服务是否正常启动以及连接字符串是否正确等方面，逐步排查问题根源并加以解决。