学亮编程手记

mysql 8使用的时候会有报错：Plugin ‘mysql_native_password’ is not loaded。插件的状态是不是ACTIVE,如果状态值为DISABLED则说明插件没有激活。1)首先确认mysql_native_password插件是否已经安装。安装mysql_native_password插件。3)修改my.cnf或my.ini配置文件。5)mysql命令行查看用户使用的插件。如果已经安装，会显示该插件已经存在。4)重启mysql服务。6)修改密码认证方式。

好用的性能分析工具是快速定位性能瓶颈的重要前提。Doris 提供了 Explain 和 Profile，为分析执行计划问题和执行期哪个操作耗时高的问题，提供了强大的工具支撑。同时，熟练使用系统级别的分析工具也会对性能瓶颈的定位起到很好的辅助作用。source分析工具 - Apache Doris。

Doris Manager 日志，audit log 以及 audit_log 系统表等工具，可以提供慢 SQL 自动或手动筛选过滤，以及细粒度 SQL 执行信息统计分析等能力。这些工具为系统性的性能诊断和调优提供了强大支撑。source诊断工具 - Apache Doris。

Key 列 = 维度列：决定数据如何分组。Value 列 = 指标列：必须指定聚合方式（仅在 Aggregate 模型中）。正确设计 Key/Value 列对查询性能和存储效率至关重要。

数据结构查询类型支持磁盘I/O友好度树高范围查询排序在MySQL中的应用Hash仅等值查询一般不支持不支持Memory引擎，InnoDB自适应哈希二叉树等值、范围差高效率低效率低不使用红黑树等值、范围差高效率低效率低不使用B树等值、范围好低支持，但效率不如B+树支持一些特定场景，不如B+树主流B+树等值、范围极好最低极高效极高效InnoDB/MyISAM的默认索引。

MySQL 5.7及以前（.frm文件）：就像你同时更新一个Excel文件和一个数据库记录。你有可能更新了数据库，但还没来得及保存Excel文件就断电了。导致两者信息不一致，系统混乱。MySQL 8.0（数据字典）：就像你所有的信息都只存储在数据库里。你通过一个数据库事务来更新它们。如果断电，数据库的事务机制会保证要么所有更新都成功，要么所有更新都被回滚，永远不会出现中间的不一致状态。

目标库：创建空表 -> DISCARD TABLESPACE源库：FLUSH TABLE ... FOR EXPORT -> 复制 .ibd & .cfg -> UNLOCK TABLES目标库：传输文件 -> IMPORT TABLESPACE -> 验证核心命令三部曲：目标库准备(清空舞台)源库锁定并复制->cp->(准备并搬运货物)目标库导入(接收货物)

文件扩展名存储内容所属存储引擎MySQL 8.0 状态*.frm表结构定义(Schema)所有引擎已废弃，被数据字典取代*.ibd表数据 + 索引InnoDB仍然使用*.MYD表数据(Data)MyISAM仍然使用*.MYI表索引(Indexes)MyISAM仍然使用。

特性聚簇索引非聚簇索引数量每张表唯一一个每张表可以有多个存储内容叶子节点存储整行数据叶子节点存储主键值依赖关系决定了数据的物理存储顺序依赖于聚簇索引（通过主键回表）查询过程一次查找，直接获取数据两次查找：先查索引，再回表查数据典型代表InnoDB的主键在InnoDB中创建的普通INDEX重要提示：以上讨论均基于MySQL的InnoDB存储引擎。对于MyISAM存储引擎，它使用的是非聚簇索引，其索引叶子节点存储的是数据行的物理地址（指针），无论是主键索引还是普通索引。

在MySQL 5.7中：绝大多数情况选择InnoDB- 作为默认引擎，提供了最好的数据完整性和并发性能特殊需求考虑其他引擎- 如需要内存级访问速度使用MEMORY，数据交换使用CSV避免在新项目中使用MyISAM- 除非有特定的全文索引需求且无法使用InnoDB的全文索引。

有限且固定的值集合需要数据完整性的场景追求存储和查询效率的情况但在值可能频繁变化或数量较多时，应考虑使用外键关联的查找表方式。合理使用枚举类型可以显著提升数据库的性能和数据的完整性。

在MySQL中选择日期时间类型时，需要考虑存储范围、时区处理、存储空间和具体业务需求。

MySQL binlog 会在前一个文件未写满的情况下写入下一个日志文件。

Doris 可以通过 Routine Load 导入方式持续消费 Kafka Topic 中的数据。在提交 Routine Load 作业后，Doris 会持续运行该导入作业，实时生成导入任务不断消费 Kafka 集群中指定 Topic 的消息。Routine Load 是一个流式导入作业，支持 Exactly-Once 语义，保证数据不丢不重。

控制连接器是否拍摄快照。控制在快照期间查询数据的方式。控制连接器在拍摄快照时是否锁定表。io.debezium.snapshot.spi.Snapshotter 接口。所有内置快照模式都实现了此接口。/*** <p>* <p>/**/**/**/**/**/**/**} /**io.debezium.snapshot.spi.SnapshotQuery 接口。所有内置快照查询模式都实现了此接口。/**/**/**

性能问题：查询延迟高，不适合高频、大数据量场景功能限制：复杂 SQL 支持有限，优化能力弱稳定性风险：依赖网络和 MySQL 服务稳定性运维复杂：配置管理、监控排查困难资源竞争：可能影响源端 MySQL 性能建议使用策略仅用于低频、小数据量查询维度表查询和数据探查对于分析型查询，优先考虑数据导入到 Doris 内部表建立完善的监控和降级机制。

在 MySQL 中有一个shop_db数据库和users表，我们需要在 Doris 中创建外部表直接查询这些数据，避免数据迁移。

数据源/格式连接方式主要应用场景数据湖查询，Hadoop 生态集成日志分析，全文检索与统计现代数据湖查询，流批一体数据湖查询，近实时数据流式数据湖查询，Flink 生态跨库查询，实时分析业务数据库企业级数据库联邦查询ClickHouse跨分析引擎查询Parquet/ORC/CSV 文件直接查询对象存储或 HDFS 上的文件。

参数名含义: 设置 Doris 与 Elasticsearch 集群进行 HTTP 通信时的超时时间。单位: 毫秒默认值5000（即 5 秒）特性说明参数名功能控制 Doris 查询 Elasticsearch 外部表时的 HTTP 请求超时时间。默认值5000(5秒)常见问题查询 ES 外部表时因 ES 响应慢或网络问题而报超时错误。解决方案适当增大该参数值，例如设置为30000(30秒)。设置方式(会话级) 或(全局级)简单来说，

因为是动态参数，可以通过 SQL 命令直接修改，修改会立即生效。这条命令会显示所有 BE 节点上该参数的当前值，并确认其。

Doris的Stream Load机制默认设置了10GB的文件大小限制，这一设计考虑了系统稳定性和性能平衡。虽然可以通过修改参数调整这一限制，但不建议直接突破默认限制，更合理的做法是结合业务场景和系统资源，采取适当的文件拆分策略或选择其他导入方式。综合评估需求：在调整参数前，应评估实际数据量、导入频率和业务容忍度，避免盲目增大参数值。平衡资源分配：调整文件大小限制时，应同时考虑BE节点的内存、磁盘和网络资源，确保系统整体稳定。监控与调优：导入过程中应密切监控BE节点的资源使用情况，及时发现并处理潜在问题。

本文介绍将Kafka中的Maxwell数据同步到下游数据库，这种情况下Kafka是source，而Flink CDC确实主要是从数据库采集数据到其他系统。本文将介绍一个实现方案，将Kafka中的Maxwell JSON数据解析并同步到Doris/MySQL。1. 项目依赖 (pom.xml)2. Flink SQL方案（推荐）3. DataStream API方案（更灵活）4. Maxwell消息模型5. Doris Sink Function6. 动态表路由方案部署和运行1.

下面是一个完整的Java项目，用于解析Maxwell同步到Kafka的JSON数据并同步到Doris/MySQL。

本篇博文将详细介绍使用Maxwell 1.28进行MySQL到Kafka全量数据同步的详细步骤。

maxwell-bootstrap命令执行后，可以在对应的topic中查看到数据，这里对应的topic是maxwell进程对应config.properties文件中配置的topic。是指定条件，只会全量导入满足条件的数据，有了where条件可以使maxwell-bootstrap进程配合maxwell实时同步进程将一张表数据无缝同步到Kafka中。脚本可以指定MySQL数据库及表参数，同步MySQL指定库下对应表的全量数据，同时可以指定where条件。，及给maxwell用户赋权访问其他所有数据库。

特性MySQL 协议Arrow Flight SQL 协议数据传输一次搬一块砖（逐行）一次运一堵墙（批量流式）数据格式文本书信（需要翻译）标准化集装箱（直接使用）适用场景OLTP：咖啡馆点单“一杯拿铁”、“一个蛋糕”（频繁、小量、交互式）OLAP：仓库库存盘点“统计所有商品的库存和销量”（低频、海量、分析式）CPU消耗高（序列化/反序列化）极低（零拷贝/直接传输）网络效率低（往返多、体积大）高（往返少、体积小、压缩好）

想象一个场景：你是一个餐厅的服务员，你的任务是把厨房（硬盘）做好的菜（数据），端给顾客（用户程序厨师把菜做好，放在厨房的出菜台（内核缓冲区你（CPU）跑进厨房，把这盘菜端起来（拷贝到用户缓冲区你端着菜，从厨房跑到大堂（上下文切换：内核态 -> 用户态你把这盘菜放到顾客的桌子上（拷贝到目标缓冲区，比如Socket缓冲区在这个过程中，你亲手端了两次菜（两次数据拷贝）。并且你来回跑动（上下文切换）也消耗了体力（CPU周期）。厨师把菜做好，放在厨房的出菜台（内核缓冲区你不需要亲自端菜了。

Edit Log就是总经理办公室的《公司决策会议纪要》。每当公司要做一个重要决定，比如：“成立一个新部门”（相当于创建表“给A部门增加10个编制”（相当于增加分区“撤销B项目组”（相当于删除表办公室主任（Master FE）就会把这条决定一字不差地写进《会议纪要》里。Edit Log（编辑日志）是 Apache Doris 中用于记录所有元数据更改操作的预写日志（Write-Ahead Log, WAL）。你可以把它理解成数据库的“操作日志”或“事务日志”。它的核心目的是确保元数据操作的。

本文档主要介绍 Doris 的监控项及如何采集、展示监控项。以及如何配置报警（TODO）Dashboard 模板点击下载Dashboard 模板会不定期更新。更新模板的方式见最后一小节。欢迎提供更优的 dashboard。

主动告知 Doris：“这个副本已经没救了，请放弃它并重新做一个新的。其后果是立即在逻辑上丢弃坏副本，并触发系统自动补充新副本，最终使数据恢复高可用。正确使用可以快速修复集群问题，但误用则会带来不必要的资源消耗和风险。

由于参数配置不当导致的Doris存储层清理机制异常。本文详细分析原因并提供解决方案。

是一款用于将数据导入 Doris 数据库的专用客户端工具。相比于直接使用curl的单并发导入，该工具可以提供多并发导入的功能，降低大数据量导入的耗时。

术语角色在您错误中的体现Tablet数据分片，分布式的基本单位存储初始化时，需要加载每个 Tablet 的元数据和数据文件。RowsetTablet 的数据增量版本错误直接与 Rowset 的版本管理和清理机制相关。ReplicaTablet 的副本，用于高可用错误可能只发生在某个 Tablet 的特定副本上，导致该副本不可用。当遇到和警告时，极有可能是在某个Tablet的Replica进行初始化或Rowset。

在某些写入频繁的场景下，如果此参数设置过小，可能在查询时发生所需的数据版本已被清理的情况，导致出现 “missed_versions is empty” 等错误。配置文件中修改过，需要重启 BE 节点才能生效。如果找不到显式配置，则使用其默认值。可能有助于解决问题。

Apache Doris 的 Broker 备份功能支持任何与 S3 协议兼容的对象存储，包括 MinIO。本篇博文提供一个完整的基于 MinIO 的 Doris 备份恢复案例。

这个完整的操作案例涵盖了 Doris 备份恢复的主要场景，包括单集群备份恢复和跨集群数据迁移。根据实际需求调整数据库名、快照名和时间戳参数。

为了避免因误操作造成的灾难，Doris 支持意外删除的数据库、表和分区的数据恢复。在删除表或数据库后，Doris 不会立即物理删除数据。当用户执行命令而不使用FORCE时，Doris 会将删除的数据库、表或分区移动到回收站。可以使用RECOVER命令从回收站恢复已删除的数据库、表或分区的所有数据，使其再次可见。如果使用DROP FORCE执行删除，则数据将立即被删除，无法恢复。

本文档中的性能数据基于默认配置，如果您面临高网络延迟或高吞吐量写入场景，可以参考进行优化。

本文给出使用 CCR 需要调整或者关注的配置。

Doris 中的跨集群复制 (CCR) 功能，主要用于在多个集群之间高效同步数据，从而增强业务连续性和容灾能力。CCR 支持 Doris 中的多种操作，确保数据在不同集群间保持一致性。以下是 CCR 支持的主要 Doris 操作的详细情况。备注。