手动删除/kylin hdfs 上的数据

本文介绍如何手动清理Apache Kylin中HDFS上的过期数据。包括使用StorageCleanupJob工具遇到的问题及解决办法,以及如何手动删除指定Cube及其元数据。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

手动删除/kylin  hdfs 上的数据

      使用kylin一段时间,不难发现kylin指定的work folder目录下存储的数据越来越多。我们在使用kylin时,由于数据模型设计及其他问题,多次数据回溯,导致kylin的work folder下存储量越滚越大。不得不手动清除。

     kylin提供了清理的java类:org.apache.kylin.storage.hbase.util.StorageCleanupJob ,但是我在执行

${KYLIN_HOME}/bin/kylin.sh org.apache.kylin.storage.hbase.util.StorageCleanupJob --delete true

并没有发现删除kylin指定的work folder目录/kylin/kylin_metadata下的文件。

    我是手动删除的:

    首先到此目录下找到不要的cube及在此日期之前构建的(不是最后一次构建产生的数据需要删除的work folder)


然后到hbase中找到hbase_metadata表,查看cube元信息


   删除不要的cube

   deleteall 'kylin_metadata','/cube/C_PRODUCT_V1.json'

   删除之前最好备份一下

  ./bin/metastore.sh backup

ldy@ldy-pc:~/桌面$ sudo apt update 命中:1 http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease 忽略:2 http://archive.kylinos.cn/kylin/partner 10.1-hwe InRelease 错误:3 http://archive.kylinos.cn/kylin/partner 10.1-hwe Release 404 Not Found [IP: 59.42.240.60 80] 正在读取软件包列表... 完成 W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'restricted' 组件,跳过配置文件 'restricted/binary-amd64/Packages' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'restricted' 组件,跳过配置文件 'restricted/i18n/Translation-zh' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'restricted' 组件,跳过配置文件 'restricted/i18n/Translation-en' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'restricted' 组件,跳过配置文件 'restricted/i18n/Translation-zh_CN' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'restricted' 组件,跳过配置文件 'restricted/cnf/Commands-amd64' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'universe' 组件,跳过配置文件 'universe/binary-amd64/Packages' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'universe' 组件,跳过配置文件 'universe/i18n/Translation-zh' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'universe' 组件,跳过配置文件 'universe/i18n/Translation-en' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'universe' 组件,跳过配置文件 'universe/i18n/Translation-zh_CN' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'universe' 组件,跳过配置文件 'universe/cnf/Commands-amd64' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'multiverse' 组件,跳过配置文件 'multiverse/binary-amd64/Packages' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'multiverse' 组件,跳过配置文件 'multiverse/i18n/Translation-en' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'multiverse' 组件,跳过配置文件 'multiverse/i18n/Translation-zh' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'multiverse' 组件,跳过配置文件 'multiverse/i18n/Translation-zh_CN' 的获取。(sources.list 中的组件名称是否拼写错误?) W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'multiverse' 组件,跳过配置文件 'multiverse/cnf/Commands-amd64' 的获取。(sources.list 中的组件名称是否拼写错误?) E: 仓库 “http://archive.kylinos.cn/kylin/partner 10.1-hwe Release” 没有 Release 文件。 N: 无法安全地用该源进行更新,所以默认禁用该源。 N: 参见 apt-secure(8) 手册以了解仓库创建和用户配置方面的细节。
最新发布
07-15
<think>首先,用户的问题是描述了一个在终端执行 `sudo apt update` 命令时的错误输出。输出显示了一些警告和错误,主要涉及软件源的问题。具体来说: - 有一个错误:`错误:3 http://archive.kylinos.cn/kylin/partner 10.1-hwe Release 404 Not Found [IP: 59.42.240.60 80]`,表示该源的 Release 文件找不到。 - 多个警告:`W: 鉴于仓库 'http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe InRelease' 不含有 'restricted' 组件,跳过配置文件...`,类似地针对 'universe' 和 'multiverse' 组件。这些警告表明软件源列表中的组件名称可能拼写错误或配置不正确。 - 最后一行错误:`E: 仓库 “http://archive.kylinos.cn/kylin/partner 10.1-hwe Release” 没有 Release 文件。`,并建议禁用该源。 用户没有明确提问,但从上下文看,似乎是遇到了软件源更新问题。我需要提供一个解决方案。 我的回答应该: 1. 使用中文。 2. 解释问题原因。 3. 提供解决步骤。 4. 在回答末尾,必须根据问题和回答提出3-5个相关问题。 5. 相关问题必须以 "§§相关问题§§" 开头,并且不能换行分散。 从示例中,相关问题应直接列出,数字后跟点(如1. ···)。 现在,分析问题: - 错误的核心是 `http://archive.kylinos.cn/kylin/partner` 源的 Release 文件缺失,导致更新失败。 - 警告是因为软件源配置中指定了不存在的组件(如 restricted, universe, multiverse),这些在 Kylin 源中可能不存在或名称不同。 解决方案: 1. 检查软件源列表:编辑 `/etc/apt/sources.list` 或相关文件。 2. 移除或注释掉有问题的源(如 partner 源)。 3. 确保组件名称正确。Kylin OS 可能使用不同的组件结构。 4. 更新软件源列表后,再次运行 `sudo apt update`。 Kylin OS 是基于 Ubuntu 的,所以软件源配置类似。 步骤建议: - 使用 `sudo nano /etc/apt/sources.list` 编辑文件。 - 找到 `http://archive.kylinos.cn/kylin/partner` 的行,注释掉(添加 #)。 - 检查其他行是否有不正确的组件名称。 - 保存并运行 `sudo apt update`。 回答结构: 1. 解释问题:简要说明错误原因。 2. 提供解决步骤:详细指导如何修复。 3. 结束语:确认问题解决。 然后,在末尾添加相关问题。 相关问题必须基于用户的问题和我的回答。用户的问题是软件源更新错误,所以我应该提出相关问题如: 1. 如何添加正确的 Kylin 软件源? 2. 如何修复组件名称错误? 3. 如果问题 persist,如何进一步诊断? 4. 什么是 APT 软件源的安全更新? 5. 如何禁用无效的软件源? 确保3-5个问题。 完整回答: - 开头:解释问题。 - 主体:解决步骤。 - 结尾:相关问题。 最后一行必须是 "§§相关问题§§",然后列出问题。 例如: §§相关问题§§ 1. 如何编辑 APT 软件源列表文件? 2. 什么是 Kylin OS 的标准软件源配置? 3. 如何解决 APT 更新中的 404 错误? 4. 为什么软件源组件名称很重要? 5. 如何备份软件源列表文件? 现在,编写回答。</think>根据您提供的终端输出,问题出在软件源配置上。主要错误是 `http://archive.kylinos.cn/kylin/partner` 源的 Release 文件缺失(404 错误),导致 APT 更新失败。同时,警告信息表明软件源列表(sources.list)中指定了不存在的组件(如 restricted、universe、multiverse),这些组件在 Kylin OS 的仓库中可能未定义或名称拼写错误。Kylin OS 基于 Ubuntu,但软件源结构可能不同,因此需要调整配置。 ### 解决步骤: 1. **备份软件源文件**: 运行命令备份当前配置,以防出错: ```bash sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak ``` 2. **编辑软件源列表**: 使用文本编辑器(如 nano)打开文件: ```bash sudo nano /etc/apt/sources.list ``` - 找到包含 `http://archive.kylinos.cn/kylin/partner` 的行(通常以 `deb` 或 `deb-src` 开头),在行首添加 `#` 注释掉它,例如: ```text # deb http://archive.kylinos.cn/kylin/partner 10.1-hwe main ``` - 检查其他行(如 `http://archive.kylinos.cn/kylin/KYLIN-ALL`),确保组件名称正确。Kylin OS 通常使用 `main` 或 `contrib` 等标准组件,而非 `restricted` 或 `universe`。如果看到类似 `restricted` 的无效组件,删除或替换为正确名称(参考 Kylin 官方文档)。 3. **更新软件源并验证**: 保存文件后(在 nano 中按 `Ctrl+O` 保存,`Ctrl+X` 退出),运行: ```bash sudo apt update ``` 如果警告消失且无错误,说明问题已解决。如果仍有问题,检查 `/etc/apt/sources.list.d/` 目录下的额外源文件,并重复上述注释步骤。 4. **可选:添加有效源**: 如果需要 `partner` 源,访问 [Kylin 官方源](http://archive.kylinos.cn) 确认可用 URL,或使用标准源: ```text deb http://archive.kylinos.cn/kylin/KYLIN-ALL 10.1-hwe main ``` 此方法可解决 404 错误和组件警告。如果问题持续,检查网络连接或 Kylin 社区支持。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值