程序生成数据库表文档

该博客介绍了一个名为Screw的框架,用于快速生成数据库文档,支持多种数据库如MySQL、Oracle等,并能导出为HTML、Word、Markdown格式。通过简单的Maven配置和Java代码,可以自定义数据源、生成配置和模板,实现数据库结构文档的自动化生成。

框架

https://github.com/yanggit2019/screw

数据库支持
  • MySQL
  • MariaDB
  • TIDB
  • Oracle
  • SqlServer
  • PostgreSQL
  • Cache DB
文档生成支持
  • html
  • word
  • markdwon
截图示例

在这里插入图片描述

开箱使用

pom
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.zhangy</groupId>
    <artifactId>GenerateDbDoc</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
    </properties>
    <dependencies>
        <!--screw-->
        <dependency>
            <groupId>cn.smallbun.screw</groupId>
            <artifactId>screw-core</artifactId>
            <version>1.0.5</version>
        </dependency>
        <!-- HikariCP -->
        <dependency>
            <groupId>com.zaxxer</groupId>
            <artifactId>HikariCP</artifactId>
            <version>3.4.5</version>
        </dependency>
        <!--MySQL-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
            <version>8.0.20</version>
        </dependency>
        <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-core</artifactId>
            <version>5.7.18</version>
        </dependency>
    </dependencies>
</project>
主类
public class GenerateDoc {
    /**
     * 生成文件的结果路径
     */
    public static final String RESULT_PATH = "/Users/zhang/IdeaProjects/GenerateDbDoc/src/main/resources/doc/default";
    /**
     * 要生成的表名称
     */
    public static final String TABLE_NAMES_TXT = "tableNames.txt";

    public static void main(String[] args) {
        generateDoc(EngineFileType.WORD);
        generateDoc(EngineFileType.MD);
        generateDoc(EngineFileType.HTML);
    }

    private static void generateDoc(EngineFileType type) {
        // 1.获取数据源
        DataSource dataSource = getDataSource();
        // 2.获取数据库文档生成配置(文件路径、文件类型)
        EngineConfig engineConfig = getEngineConfig(type, RESULT_PATH);
        // 3.获取数据库表的处理配置,可忽略
        ProcessConfig processConfig = getProcessConfig();
        // 4.Screw 完整配置
        Configuration config = getScrewConfig(dataSource, engineConfig, processConfig);
        // 5.执行生成数据库文档
        new DocumentationExecute(config).execute();
    }

    /**
     * 获取数据库源
     */
    private static DataSource getDataSource() {
        //数据源
        HikariConfig hikariConfig = new HikariConfig();
        hikariConfig.setDriverClassName("com.mysql.cj.jdbc.Driver");
        hikariConfig.setJdbcUrl("jdbc:mysql://127.0.0.1:3306/db?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=Asia/Shanghai");
        hikariConfig.setUsername("root");
        hikariConfig.setPassword("root");
        //设置可以获取tables remarks信息
        hikariConfig.addDataSourceProperty("useInformationSchema", "true");
        hikariConfig.setMinimumIdle(1);
        hikariConfig.setMaximumPoolSize(2);
        return new HikariDataSource(hikariConfig);
    }


    /**
     * 获取文件生成配置
     *
     * @param type 生成文件类型
     * @param path 生成文件路径
     * @return EngineConfig
     */
    private static EngineConfig getEngineConfig(EngineFileType type, String path) {

        return EngineConfig.builder()
                //生成文件路径
                .fileOutputDir(path)
                //打开目录
                .openOutputDir(true)
                //文件类型
                .fileType(type)
                //生成模板实现
                .produceType(EngineTemplateType.freemarker)
                //自定义文件名称
                .fileName("数据库结构文档").build();
    }

    /**
     * 获取数据库表的处理配置,可忽略,可以配置表前缀,尾缀
     */
    private static ProcessConfig getProcessConfig() {
        String filePath = GenerateDoc.class.getClassLoader().getResource(TABLE_NAMES_TXT).getFile();
        List<String> tableList = FileUtil.readUtf8Lines(filePath);
        return ProcessConfig.builder()
                // 指定只生成的表集合
                .designatedTableName(tableList)
                //忽略的表集合
                .ignoreTableName(new ArrayList<>())
                .build();
    }

    private static Configuration getScrewConfig(DataSource dataSource, EngineConfig engineConfig, ProcessConfig processConfig) {
        return Configuration.builder()
                //版本
                .version("1.0.0")
                //描述
                .description("数据库设计文档生成")
                //数据源
                .dataSource(dataSource)
                //生成配置
                .engineConfig(engineConfig)
                //生成配置
                .produceConfig(processConfig).build();
    }
}

自定义模板

模板修改

两种类型,freemarker和velocity, 将这两种模板拷贝后修改为自己的样式
在这里插入图片描述
比如Markdown
在这里插入图片描述

/**
  * 获取文件生成配置
  * @param type 生成文件类型
  * @param customTemplatePath 自定义模板文件路径
  * @param path 生成文件路径
  * @return
  */
 private static EngineConfig getEngineConfig(EngineFileType type, String customTemplatePath, String path) {
     return EngineConfig.builder()
             //生成文件路径
             .fileOutputDir(path)
             //打开目录,生成接收后会自动打开结果目录
             .openOutputDir(true)
             //文件类型
             .fileType(type)
             //生成模板实现
             .produceType(EngineTemplateType.freemarker)
             //自定义模板文件路径
             .customTemplate(customTemplatePath)
             //自定义文件名称
             .fileName("数据库结构文档").build();
 }
<think>我们正在解决Oracle数据库日志分配问题及理解日志切换信息。用户的问题涉及日志分配问题和日志切换理解。根据提供的引用内容,我们注意到引用[3]提到了LGWR(Log Writer Process)的等待事件和跟踪方法,这可能与日志写入性能问题相关。虽然引用[1]和[2]似乎与网络配置和份相关,但可能与当前问题关联不大。 我们需要关注以下几个方面: 1. 日志分配问题:可能指重做日志文件(Redo Log Files)的分配、大小、组数等配置问题。 2. 日志切换:指Oracle在写满一个重做日志组后切换到下一个日志组的过程,频繁的日志切换可能导致性能问题。 另外,引用[3]中提到了使用SQL Trace来跟踪LGWR进程,但要注意跟踪LGWR可能会影响性能,因此需要谨慎。 我们将从以下几个方面进行解答: 1. 检查当前日志文件配置(大小、组数、状态) 2. 监控日志切换频率和等待事件 3. 调整日志文件配置的建议 4. 如何诊断日志写入问题(如LGWR等待事件) 以下是具体步骤: ### 1. 检查当前日志文件配置 ```sql -- 查看当前重做日志组及其成员 SELECT group#, sequence#, bytes/1024/1024 AS size_mb, members, status, archived, first_change# FROM v$log; -- 查看日志文件成员的具体路径 SELECT group#, member FROM v$logfile ORDER BY group#; ``` ### 2. 监控日志切换频率 ```sql -- 查看历史日志切换信息(最近50次) SELECT * FROM ( SELECT sequence#, first_time, next_time, (next_time - first_time) * 24 * 60 AS duration_minutes FROM v$log_history ORDER BY sequence# DESC ) WHERE rownum <= 50; ``` ### 3. 调整日志文件配置的建议 - **日志文件大小**:通常建议日志切换时间在15-30分钟之间。如果切换太频繁(如几分钟一次),则考虑增大日志文件大小。 - **日志组数量**:至少3组,推荐4-5组,确保在归档模式下有足够的时间完成归档。 调整日志文件大小示例: ```sql -- 添加新的大小的日志组 ALTER DATABASE ADD LOGFILE GROUP 4 ('/u01/oradata/redo04.log') SIZE 200M; ALTER DATABASE ADD LOGFILE GROUP 5 ('/u01/oradata/redo05.log') SIZE 200M; -- 切换日志使新组生效 ALTER SYSTEM SWITCH LOGFILE; -- 删除旧的小日志组(确保状态为INACTIVE) ALTER DATABASE DROP LOGFILE GROUP 1; ``` ### 4. 诊断日志写入问题(LGWR等待事件) 引用[3]提到使用SQL Trace跟踪LGWR进程,但要注意性能影响。我们可以先查看等待事件: ```sql -- 查看LGWR进程的等待事件 SELECT event, total_waits, time_waited FROM v$session_event WHERE sid = (SELECT sid FROM v$session WHERE program LIKE '%LGWR%'); ``` 常见的LGWR等待事件包括: - `log file parallel write`:LGWR正在等待将日志缓冲区写入到日志文件 - `log file sync`:用户会话等待LGWR将重做记录写入磁盘 如果发现`log file sync`等待事件较多,可能表明日志文件写入速度较慢,考虑: - 将日志文件放在更快的磁盘上(如SSD) - 避免将日志文件和数据文件放在同一物理磁盘 ### 5. 检查日志分配问题(如空间不足) 确保日志文件所在文件系统有足够空间,并监控归档日志(如果数据库处于归档模式): ```sql -- 查看归档日志信息 SELECT dest_name, status, error FROM v$archive_dest; ``` ### 6. 使用自动诊断工具(ADR) Oracle自动诊断仓(ADR)可以收集日志相关信息: ```sql -- 查看ADR报告 SELECT * FROM v$diag_info; ``` ### 总结步骤 1. **检查配置**:日志组大小和数量是否合理。 2. **监控切换**:是否过于频繁(小于15分钟)。 3. **调整配置**:增加日志文件大小或组数。 4. **诊断等待**:分析LGWR等待事件,优化I/O。 5. **空间检查**:确保日志文件系统有足够空间。 ### 相关问题 §§相关问题§§ 1. 如何调整Oracle数据库的重做日志大小? 2. 如何解决Oracle数据库的`log file sync`等待事件? 3. Oracle数据库归档模式和非归档模式的区别? 4. 如何监控Oracle数据库日志切换频率? 5. 如何诊断和优化Oracle重做日志写入性能?</think>### Oracle 数据库日志分配问题与日志切换解析 #### 一、日志分配问题诊断流程 1. **检查日志文件状态** ```sql SELECT group#, sequence#, bytes/1024/1024 AS size_mb, members, status, archived, first_change# FROM v$log; ``` 输出示例: ``` GROUP# | SEQUENCE# | SIZE_MB | STATUS | ARCHIVED ----------------------------------------------- 1 | 1423 | 200 | INACTIVE | YES 2 | 1424 | 200 | CURRENT | NO 3 | 1422 | 200 | ACTIVE | YES ``` 2. **识别日志分配错误** 常见错误类型: - **ORA-00312**: 日志文件缺失或损坏 - **ORA-00313**: 日志组无法打开 - **ORA-00334**: 日志文件版本不匹配 3. **关键诊断点** ```sql -- 检查等待事件 SELECT event, total_waits, time_waited FROM v$system_event WHERE event LIKE 'log%'; -- 监控LGWR进程状态(引用[3]) SELECT sid, program, event, state FROM v$session WHERE program LIKE '%LGWR%'; ``` 输出示例: ``` SID | PROGRAM | EVENT | STATE ---------------------------------------------------- 23 | oracle@LGWR | log file parallel write | WAITING ``` #### 二、日志切换机制详解 1. **切换触发条件** - 当前日志组写满(`BYTES` = `MAXBYTES`) - 手动执行`ALTER SYSTEM SWITCH LOGFILE` - 检查点触发(`FAST_START_MTTR_TARGET`) 2. **切换过程** ```mermaid graph LR A[日志写满] --> B[触发切换] B --> C[LGWR通知CKPT] C --> D[CKPT更新控制文件] D --> E[ARCn归档旧日志] E --> F[分配新日志组] ``` 3. **优化日志切换频率** - 合理设置日志大小:`ALTER DATABASE ADD LOGFILE GROUP 4 SIZE 500M;` - 调整检查点:`ALTER SYSTEM SET FAST_START_MTTR_TARGET=600;`(单位:秒) - 增加日志组:`ALTER DATABASE ADD LOGFILE MEMBER '/newpath/redo04.log' TO GROUP 4;` #### 三、关键性能指标监控 1. **日志切换频率** ```sql SELECT TO_CHAR(first_time, 'YYYY-MM-DD HH24') AS hour, COUNT(*) switches_per_hour FROM v$log_history GROUP BY TO_CHAR(first_time, 'YYYY-MM-DD HH24'); ``` 安全阈值:**每小时≤6次切换** 2. **LGWR等待事件分析(引用[3])** - `log file parallel write`:I/O子系统瓶颈 - `log file sync`:提交频率过高 - `log file switch completion`:归档延迟 #### 四、故障处理方案 1. **日志文件损坏修复** ```sql -- 重建损坏日志组 ALTER DATABASE CLEAR LOGFILE GROUP <group#>; ALTER DATABASE CLEAR UNARCHIVED LOGFILE GROUP <group#>; ``` 2. **空间不足处理** ```bash # 检查文件系统空间 df -h /oracle_logs # 添加新日志成员 ALTER DATABASE ADD LOGFILE MEMBER '/newdisk/redo01b.log' TO GROUP 1; ``` 3. **性能优化措施** - 使用高速SSD存储日志文件 - 分离日志文件与数据文件物理存储 - 启用异步提交:`COMMIT WRITE BATCH NOWAIT;` > **重要提示**:跟踪LGWR进程时(引用[3]),务必在低峰期进行: > ```sql > EXEC DBMS_SYSTEM.SET_EV(sid, serial#, 10046, 12, ''); > -- 跟踪后立即关闭 > EXEC DBMS_SYSTEM.SET_EV(sid, serial#, 10046, 0, ''); > ``` #### 五、归档日志管理 1. 检查归档状态: ```sql SELECT dest_id, status, error FROM v$archive_dest; ``` 2. 常见问题: - **ORA-00257**: 归档空间不足 - **ORA-16038**: 日志无法归档 --- ### 总结建议 1. **日志文件配置原则**: - 每组日志大小 = 每小时生成重做日志量 / 目标切换频率 - 至少保持3个日志组(推荐4-6组) - 日志文件大小≥500MB(OLTP系统) 2. **监控体系**: ```sql -- 每日检查 SELECT * FROM v$logfile; SELECT * FROM v$log; -- 实时警报 ALTER SYSTEM SET log_checkpoints_to_alert=TRUE; ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值