hive/doris查询表的创建和更新时间

hive查询表的创建和更新时间:
SELECT
d.NAME AS database_name,
t.TBL_NAME AS table_name,
FROM_UNIXTIME(t.CREATE_TIME) AS create_time,
FROM_UNIXTIME(tp.PARAM_VALUE) AS last_ddl_time
FROM
metastore.TBLS t
JOIN metastore.DBS d ON t.DB_ID = d.DB_ID
JOIN metastore.TABLE_PARAMS tp ON t.TBL_ID = tp.TBL_ID
WHERE
tp.PARAM_KEY = ‘transient_lastDdlTime’
and LENGTH(t.TBL_NAME)!=32
and t.TBL_NAME like ‘%\_%’ ;

doris查询表的创建和更新时间
select TABLE_SCHEMA,TABLE_NAME,CREATE_TIME,UPDATE_TIME from information_schema.tables;

hive查询表最近7天创建:
SELECT
d.NAME AS database_name,
t.TBL_NAME AS table_name,
FROM_UNIXTIME(t.CREATE_TIME) AS create_time
FROM
metastore.TBLS t
JOIN metastore.DBS d ON t.DB_ID = d.DB_ID
WHERE
from_unixtime(t.CREATE_TIME, ‘%Y-%m-%d’) > date_sub(curdate(), interval 7 day)
and LENGTH(t.TBL_NAME)!=32
and t.TBL_NAME like ‘%\_%’ ;

doris查询表最近7天创建:
select TABLE_SCHEMA,TABLE_NAME,CREATE_TIME from information_schema.tables where CREATE_TIME >= NOW() - INTERVAL 7 DAY;

<think>好的,我现在需要分析用户的问题:“Doris是否可以替代Hive/HDFS”。用户之前已经询问过Doris数据模型,现在转向比较DorisHive/HDFS的替代可能性。这可能是想了解Doris数据仓库中的定位,是否可以作为传统Hadoop生态组件的替代方案。 首先,我需要明确HiveHDFS的用途。Hive是基于Hadoop数据仓库工具,提供SQL查询,适用于处理大规模数据,但通常用于批处理,延迟较高。HDFS是分布式文件系统,提供高容错性的数据存储。而Doris是一个MPP架构的OLAP系统,强调实时分析高并发查询。 接下来,用户想知道Doris是否能替代这两者。需要从功能、适用场景、优缺点等方面进行比较。比如,Hive适合离线批处理,而Doris适合实时分析;HDFS是存储层,Doris本身有自己的存储引擎,可能不直接替代HDFS,但可以结合其他存储系统。 还要考虑用户的具体使用场景。例如,如果用户需要高并发的实时查询,Doris可能更适合;但如果需要处理PB级离线数据Hive+HDFS可能更合适。同时,Doris的易用性、维护成本、社区支持等方面也是考虑因素。 需要注意避免绝对化的结论,应指出适用情况,比如在某些场景下可以替代,但并非全部。需要举例说明,比如实时报场景适合Doris,而大规模数据存储仍需HDFS。 另外,用户之前的问题涉及数据模型,可能对Doris有一定了解,现在想扩展到架构替代层面。需要结构清晰,分点讨论,可能分为存储、计算、使用场景等部分。 最后,总结时给出建议,帮助用户根据具体需求选择合适的技术栈。</think>Apache Doris 能否替代 Hive/HDFS,取决于具体业务场景技术需求。Doris Hive/HDFS 在技术定位使用方式上有显著差异,以下是关键对比替代性分析: --- ### **1. 功能定位对比** | **组件** | **核心定位** | **典型场景** | **延迟** | **数据规模** | |---------------|----------------------------------|---------------------------------------|-------------|---------------------| | **Hive** | 基于 Hadoop 的离线数据仓库 | 批处理 ETL、大规模离线分析、数据湖查询 | 高(小时级) | PB 级 | | **HDFS** | 分布式文件存储系统 | 海量数据存储(结构化/非结构化) | 不直接处理 | EB 级 | | **Doris** | 实时分析型 OLAP 数据库 | 高并发实时查询、交互式分析、报 | 低(亚秒级) | TB~PB 级(需优化) | --- ### **2. Doris 的替代可能性分析** #### **(1)Doris 替代 Hive?** - **可以替代的场景**: - **实时分析需求**:Hive 适合离线批处理,而 Doris 支持毫秒级响应,适合实时看板、即席查询(Ad-hoc)。 > **示例**: > 原 Hive 的每日报需 T+1 生成,改用 Doris 后可实时更新数据并查询当日累计销售额。 - **高并发查询**:Doris 支持数百甚至上千 QPS,Hive 则受限于 MapReduce/Tez 引擎,并发能力低。 - **简化架构**:Doris 内置计算+存储,无需依赖 Hadoop 生态(HDFS/YARN),运维成本更低。 - **无法替代的场景**: - **超大规模数据离线 ETL**:Hive 在处理 PB 级数据的复杂 ETL 任务时更稳定(如全量历史数据清洗)。 - **非结构化数据处理**:Hive 支持文本、JSON 等格式,而 Doris 更适合结构化数据。 --- #### **(2)Doris 替代 HDFS?** - **Doris 不是分布式文件系统**: - HDFS 是底层存储,核心是**廉价存储海量数据**(包括图片、日志等非结构化数据)。 - Doris数据库,存储结构化数据并优化查询,**无法直接替代 HDFS 的通用存储能力**。 - **替代的间接方案**: - **冷热数据分层**: 将热数据(频繁查询)存入 Doris,冷数据(归档)存入 HDFS,通过 HiveDoris 外部查询。 > **示例**: > 近3个月交易数据存入 Doris 供实时分析,历史数据存 HDFS,通过 Hive 进行年度离线统计。 - **数据湖架构**: HDFS 作为数据湖存储原始数据Doris 作为加速层存储聚合后的热数据。 --- ### **3. 典型场景的替代决策** | **场景** | **Hive/HDFS 方案** | **Doris 方案** | **是否可替代** | |-------------------------|------------------------------------|---------------------------------------|--------------| | 每日凌晨生成 T+1 报 | Hive 定时批处理 | Doris 实时聚合,查询时直接计算 | ✅ 是 | | 用户行为日志分析(TB级) | Hive 离线分析 + HDFS 存储原始日志 | Doris 存储聚合指标,日志存 HDFS | ❌ 部分替代 | | 实时监控大屏(亚秒响应) | 无法满足 | Doris 直接支持 | ✅ 是 | | 存储海量图片/视频 | HDFS 存储 | 不适用 | ❌ 否 | --- ### **4. 迁移注意事项** - **数据规模**: Doris建议控制在 10TB 以内(需合理分区分桶),超大规模数据需配合 HDFS 分层存储。 - **数据更新**: Doris 支持 Upsert(Unique 模型),但频繁更新的场景需测试性能,Hive 更适合离线覆盖更新。 - **生态工具**: Hadoop 生态工具(如 Spark、HBase)与 Hive/HDFS 集成更紧密,Doris 需通过 JDBC/ODBC 对接。 --- ### **5. 总结** - **可以替代 Hive 的场景**: **实时分析、高并发查询、简单 ETL**。Doris 更适合作为 Hive 的查询加速层,而非完全替代。 - **无法替代 HDFS 的场景**: **非结构化数据存储、EB 级冷数据归档**。Doris 需与 HDFS 配合实现冷热分离。 - **混合架构推荐**: ``` 数据接入 → HDFS(原始数据存储) → Hive/Spark(ETL) → Doris(实时分析层) ``` 通过 Doris 加速高频查询,Hive/HDFS 处理低频复杂任务,兼顾实时性与成本。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值