监控HDFS每天数据增量(Python2实现)

大数据集群监控体系架构 背景 企业级的数据集群往往有PB 级的数据、成百上千的各类型运算任务 在一套集群上运行。 所以它的维护是充满挑战的: 庞大的数据量、复杂的运算逻辑、相互关联的大数据组件、数以万计的运行任务 都是要克服的难点。 SRE 如果不想被动的话,就必须做好各式监控。预防风险、提前发现风险、然后分析问题、进而针对性的处理问题。 凡是成体量的分布式系统,一旦出现性能问题,往往很难在短时间内作出有效处理。 所以 监控要前置,有趋势预测、有风险评估 才行。 一、大数据监控体系 截止目前,集团数据中台... 阅读详情

查看HDFS数据量

hadoop fs -df

命令结果截图

命令结果截图(CDH)

数据量监控

1、Python脚本

touch /root/monitor_hdfs_df.py
chmod 777 /root/monitor_hdfs_df.py
vim /root/monitor_hdfs_df.py
#!/usr/bin/python2
# coding=utf-8
from time import strftime
from os import path
from subprocess import check_output
from re import split
from sys import argv

SEP = ','
SCALING = 70  # 条形图长度缩放规模
FILE_NAME = 'fs-df.txt'  # 存放数据的文件名
file_name = path.join(path.dirname(__file__), FILE_NAME)  # 数据文件的全路径

def fs():
    """查询HDFS数据量"""
    result = check_output('hadoop fs -df', shell=True)
    now = strftime('%Y-%m-%d %H:%M:%S')
    dt = {k: v for k, v in zip(*(split('\s+', line) for line in result.strip().split('\n')))}
    return now, dt['Used']

def write():
    """把当前HDFS数据量写到文件"""
    with open(file_name, 'a') as f:
        f.write(SEP.join(fs()) + '\n')

def read():
    """读文件"""
    with open(file_name, 'r') as f:
        for line in f.read().strip().split('\n'):
            now, used = line.split(SEP)
            yield now, int(used)

def used_bars():
    """查看HDFS已占用的数据量"""
    values = []
    labels = []
    for now, used in read():
        values.append(used)
        labels.append(now)
    # 条形图
    maximum = max(values)
    label_max_length = max(len(label) for label in labels)
    for value, label in zip(values, labels):
        length = int((SCALING * 1.5 * value) / maximum)
        print('{} {} {}'.format('%{}s'.format(label_max_length) % label, '#' * length, value))

def increase_bars():
    """查看HDFS数据增量"""
    lines = list(read())
    values = []
    labels = []
    for (today, used_today), (_, used_yesterday) in zip(lines[1:], lines[:-1]):
        increase = used_today - used_yesterday
        values.append(increase)
        labels.append(today)
    # https://yellow520.blog.youkuaiyun.com/article/details/121498190
    get_bar_length = lambda _value, _max_abs: int((abs(_value) * SCALING) / _max_abs)
    labels = labels or [str(i + 1) for i in range(len(values))]
    label_max_length = max(len(label) for label in labels)
    maximum = max(values)
    minimum = min(values)
    max_abs = max(abs(maximum), abs(minimum))
    if max_abs == 0:
        for value, label in zip(values, labels):
            print(label, value)
    else:
        if minimum < 0:
            value_length = len(str(minimum))
            bar_length_left = get_bar_length(minimum, max_abs)
            length_left = value_length + bar_length_left + 1
        else:
            length_left = 0
        for value, label in zip(values, labels):
            mid = ' %{}s '.format(label_max_length) % label
            bar_length = get_bar_length(value, max_abs)
            if value > 0:
                left = ' ' * length_left
                right = '{} {}'.format('#' * bar_length, value)
            elif value < 0:
                left = '{} {}'.format(value, '#' * bar_length).rjust(length_left, ' ')
                right = ''
            else:
                left = ' ' * length_left
                right = '0'
            print(left + mid + right)

def usage():
    print('使用方法:')
    print(__file__ + ' + 数字选项(1、2、3)')
    print('1:' + write.__doc__)
    print('2:' + increase_bars.__doc__)
    print('3:' + used_bars.__doc__)
    exit()

if len(argv) != 2:
    usage()
a = argv[1]
if a == '1':
    write()
elif a == '2':
    increase_bars()
elif a == '3':
    used_bars()
else:
    usage()

2、定时任务,每天零点执行

添加或删除定时任务(edit)

crontab -e

以vim模式写入并保存

# 每天0点跑一次,记录HDFS数据量
0 0 * * * /root/monitor_hdfs_df.py 1

检查一下定时任务

crontab -l

3、查看数据

查看数据量

python monitor_hdfs_df.py 3

查看数据增量

python monitor_hdfs_df.py 2

截图

有负数…

DataX 3.0 实战:如何用5分钟搞定MySQL到HDFS的数据同步(附避坑指南) 本文详细介绍了如何使用DataX 3.0在5分钟内高效完成MySQL到HDFS的数据同步,包括环境准备、配置同步任务、性能优化及常见问题解决方案。通过实战案例和避坑指南,帮助开发者快速掌握大数据同步技术,提升数据处理效率。 阅读详情

相关推荐

MLOps实战:解决模型退化、数据漂移与生产监控四大难题

MLOps 是面向机器学习系统在生产环境中持续交付与可靠运行的工程范式,其核心在于应对数据腐烂、特征漂移、模型退化等概率性系统固有挑战。不同于传统DevOps的确定性逻辑,MLOps需构建覆盖数据层、模型层、业务层的多维监控体系,并通过原子快照版本控制、特征服务化、动态基线告警等关键技术保障可重复性与可审计性。它支撑从电商推荐、金融风控到医疗影像等真实场景的稳定迭代,本质是将‘能跑通’升级为‘能扛住、可归因、易治理’的工业级AI能力。本文聚焦落地中高频出现的模型性能骤降、特征不一致、监控误报等典型问题,提供

chenshixi3325的博客 457

统计HDFS文件数量,大小,以及在某范围大小的文件数量

统计HDFS文件数量大小,小于20M文件数量 hadoop fs -du -h / # 统计文件大小 hadoop fs -count / # 统计文件数量,返回的数据是目录个数,文件个数,文件总计大小,输入路径 hadoop fs -ls -R /path/data | grep ^- > ~/data.txt #统计所有文件的信息,过滤文件夹,只统计文件.因为使用ls -l 之后,可以看到文

mega-victor 1万+

Databricks Lakehouse AI端到端实战:从数据到可监控AI服务

Lakehouse AI是Databricks整合Delta Lake、Unity Catalog、MLflow与Model Serving构建的统一AI生产平台,其核心在于通过统一元数据层实现数据与模型的血缘贯通和权限协同。它解决了企业AI落地中特征不可信、模型难追踪、服务不透明、监控无根因等典型问题。技术价值体现在将传统需5个工具链协作的数据清洗、特征工程、模型训练、部署与监控,压缩至单平台闭环;典型应用场景包括金融风控、电商推荐与工业预测性维护等需要T+1交付、可解释性及漂移告警的业务系统。本文聚焦真

weixin_30615767的博客 397

统计HDFS中文件数量、大小、以及在某范围大小的文件数量

使用:hdfs dfs -ls -R / |grep ^-数据保存在 data.txt 文件中;

十八闲客的博客,专注于大数据运维 1694

DolphinScheduler与DataX集成实战:从MySQL到Hive的数据同步配置详解

本文详细介绍了如何将DolphinScheduler与DataX集成,实现从MySQL到Hive的自动化数据同步。通过环境配置、JSON文件编写、任务调度与性能调优等实战步骤,帮助用户构建稳定高效的数据同步管道,并利用DolphinScheduler强大的调度能力简化运维。

weixin_29070861的博客 304

查看hdfs上文件内容,统计数据量

查看hdfs上文件内容,统计数据量一、查看hdfs上文件内容二、统计数据量 一、查看hdfs上文件内容 hadoop fs -cat /optics-prod/raw/kafka/order_middle_prod/order_cancel/1h/20220524/08/* | gunzip -c 二、统计数据量 hadoop fs -cat /optics-prod/raw/kafka/order_middle_prod/order_cancel/1h/20220524/08/* | gunzip -c

zhengzaifeidelushang的博客 2695

CDH快速入门系列(3) | CM集群监控状态及集群的使用

  此篇为大家带来的是CM集群监控状态及集群的使用。 目录一. CM集群监控状态二. 集群的使用2.1 图表2.2 设置2.3 日志2.4 删除或添加集群2.5 Parcel2.6 主机模板 一. CM集群监控状态 1.初始状态,有很多有问题的 2. 遇到红色只需重启就好了 3. 因为各种原因,再次就先把问题都抑制了 4. 抑制完成后 5.把所有的服务都重启 6.由于内存不足就会出现下列状况 二. 集群的使用 2.1 图表 1. 查看正常CPU SELECT cpu_n

不温卜火 7969

使用python监控HDFS文件的增量【优化中】

3.2删除文件记录 hdfs_delete_file_record.py。3.4文件路径的天监控 hdfs_path_Monitor_day.py。3.3文件路径的小时监控 hdfs_path_Monitor.py。3、每天计算文件大小,参考:hdfs_path_Monitor_day.py。3.2删除文件记录 hdfs_delete_file_record.py。3.4文件路径的天监控 hdfs_path_Monitor_day.py。3.3文件路径的小时监控 hdfs_path_Monitor.py。

十八闲客的博客,专注于大数据运维 399

大数据集群硬盘资源监控

计算HDFS每天数据增量 计算数仓每天数据增量 计算数仓ODS层和DWD层每天数据增量

ArYe 2647

大数据领域的ETL过程详解

在数据驱动决策的时代,企业每天产生的结构化/非结构化数据呈指数级增长。ETL(Extract-Transform-Load)作为数据集成的核心技术,负责将分散的数据源清洗转换为统一格式,加载到数据仓库或数据湖中,为数据分析、机器学习提供高质量数据基础。本文将从技术原理、工程实现、行业应用三个维度,深入解析ETL全流程的关键技术点,包括数据提取策略、复杂转换逻辑实现、高效加载方案设计,以及数据质量监控体系构建。基础概念:定义ETL核心术语,对比ETL与ELT架构差异。

AI 领航者的博客 1406

f_fs.c 初始化流程(进行中)

前言 之所以选择f_fs.c作为这系列的开始,因为usb在/driver/usb下面的内容实在太多太多,如果讲各种各样点会太分散了。所以决定切入点以实际使用为主,就是f_fs了,目前我了解这是做bulk裸传输使用的,具体的通信协议自己确定。 初始化部分 开始点从这个路径下说起, /drivers/usb/gadget/function/f_fs.c 然后f_fs.c第一个使用的是include/composite.h中的宏定义function #define DECLARE_USB_FUNCTION(_n

weixin_36406973的博客 1968

数据采集项目2-业务数据同步

全量同步全量同步每天都将业务数据库中的全部数据同步一份到数据仓库全量同步采用DataX。

oldzhongyi的博客 1170

STM32 野火MINI 用FontCvtST.exe 生成.c文件 写汉字到文本框 按钮上

STM32 野火MINI 用FontCvtST.exe 生成.c文件 写汉字到文本框 按钮上 参考了好多大神博客,自己写的过程中发现,还有些小细节。 一、打开Notepad写需要的字 另存为 UTF-16LE 也就是Unicode。 二、打开FontCvtST转 删掉所有字 读入test.txt里的字 选择刚才的test.txt 另存为.c文件 改个英文名 复制到RTOS的例程文件夹下 三、打开GUIBuilder 画一个这样的 保存之前要注意路径配置要在当前位置,否则存不上 生成的D

weixin_41376117的博客 1938

基于Spark与Hudi的MySQL增量数据抽取实战:从设计到调优

数据抽取是构建数据仓库与数据湖的基石,其核心目标是将数据从各类异构源系统高效、可靠地迁移至集中存储。其原理在于根据数据变化特征(如时间戳、日志)识别增量,并通过批处理或流处理技术进行同步。这项技术的价值在于为下游的ETL、数据分析与机器学习提供高质量、及时的数据源,是数据驱动决策的起点。典型的应用场景包括T+1报表生成、用户行为分析日志同步以及业务系统数据入湖。本文聚焦于使用Spark与Apache Hudi技术栈,针对MySQL数据源,深入探讨如何设计并实现一个高性能、高可靠的增量抽取管道,并分享在数据一

weixin_34006965的博客 512

【雕爷学编程】Arduino智慧农业之温湿度数据上传到云平台

它们可能有错误、不适用或者无法编译。在实施过程中,需要注意传感器的选择和校准、通信和网络稳定性、数据隐私和安全保护、电源管理以及数据分析和决策支持等方面的事项。数据分析和决策支持:上传到云平台的温湿度数据可以提供丰富的信息,但需要合适的数据分析和决策支持工具来帮助农业业主理解和利用这些数据。您可以根据自己的需求和喜好选择适合您的云平台和库,并根据您的具体硬件配置进行适当的修改和调整。将温湿度数据上传到云平台,农业业主可以实时监测粮库内的温湿度情况,及时采取通风、除湿等措施,确保粮食质量和长期储存的稳定性。

雕爷学编程 1275

电池模拟器【 电化学模型深度解析:PNGV模型原理与应用(专业科普版)】

1. 模型起源PNGV(Partnership for a New Generation of Vehicles)模型诞生于1993年美国“新一代汽车合作计划”,旨在提升混合动力汽车电池系统的建模精度。该模型最初针对铅酸电池设计,后经改进广泛用于锂离子电池、镍氢电池等动态特性仿真。2. 模型定位PNGV属于**等效电路模型(ECM)**的进阶版本,介于简单Rint模型与复杂电化学模型(如P2D模型)之间,兼顾计算效率与精度,是BMS(电池管理系统)中SOC/SOH估算的主流选择。PNGV模型凭借。

优快云-新能源汽车研发测试专业博主 1701

Hadoop+Python构建租房大数据分析系统实战

分布式计算与大数据处理技术已成为现代数据分析的核心基础设施。以Hadoop为代表的分布式框架通过HDFS实现海量数据存储,借助MapReduce/YARN完成并行计算,有效解决了传统单机处理能力不足的问题。结合Python生态中的Pandas、Scikit-learn等工具链,开发者能够构建从数据采集、特征工程到机器学习建模的完整分析流程。在租房数据分析这类典型场景中,技术方案需要重点解决异构数据处理、特征并行计算和商业价值呈现三大挑战。通过合理运用PySpark的pandas_udf向量化操作、Hive分

weixin_34121304的博客 391

【Python】no module named distutils问题怎么解决-Numpy 启动时报错:缺少 distutils 模块的解决方法

看distutils这个名字,似乎是什么通用模块,可能不一定是numpy的问题。

每日出拳老爷子的博客 6003

DataX 实现 MySQL 数据,高效同步

点击上方“芋道源码”,选择“设为星标”管她前浪,还是后浪?能浪的浪,才是好浪!每天 10:33更新文章,每天掉亿点点头发...源码精品专栏原创 | Java 2021超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT ...

芋艿V 2049

使用R语言实现循环神经网络RNN进行文本生成

首先,让我们回顾一下循环神经网络(Recurrent Neural Networks,RNN)的基本概念。RNN是一种深度学习技术,特别适合处理序列数据,如时间序列和文本数据。RNN的关键特性是它的隐藏状态,这个状态可以捕捉到当前输入之前的信息。这使得RNN能够利用前面的信息来影响后续的输出,从而对序列数据进行有效的处理。

斌擎科技 726

《QGIS空间数据处理与高级制图》【目录】

《QGIS空间数据处理与高级制图》是一本面向GIS技术人员和学生的进阶手册,重点提升数据处理效率和专业制图标准化水平。全书涵盖空间数据预处理、矢量编辑、栅格处理、坐标系统应用和符号化设计等核心内容。书中详细介绍了批量数据转换、拓扑检查、遥感影像处理、自定义坐标系创建等实用技能,并提供了模型构建器和PyQGIS脚本实现自动化操作。通过大量实战案例和问题排查指南,帮助读者从基础使用进阶到专业应用,适合测绘、规划、环保等行业的GIS从业者参考使用。

LuckyHanMo的博客 376

大数据竞赛实战:数据抽取从理论到工具选型与避坑指南

数据抽取是ETL(提取、转换、加载)流程的起点,其核心原理是从异构数据源(如关系型数据库、NoSQL、日志文件)中高效、准确地获取数据,为后续的数据分析和建模奠定基础。这项技术的价值在于,它解决了多源数据集成和实时/离线数据同步的挑战,是构建数据仓库、数据湖及实现数据驱动的关键环节。在实际应用场景中,无论是企业级数据集成、大数据平台建设,还是竞赛中的数据处理任务,都需要根据数据源类型、数据量和更新频率,在**全量抽取**与**增量抽取**等策略间做出权衡,并选择合适的工具(如Sqoop、DataX、Flum

weixin_34008933的博客 368

从 SM59 到 SPROXY,打通 ABAP 后端与 ES Repository 的代理生成链路

本文探讨了在SAP PI/PO项目中配置ABAP后端系统与ES Repository连接的关键步骤,重点解决ABAP Proxy生成时无法获取接口模型的问题。文章指出: 该配置本质是建立设计时通道,使ABAP系统能通过SPROXY访问ES Repository中的接口模型并生成代理类 配置核心是在SM59创建名为SAP_PROXY_ESR的HTTP连接(类型G),需确保: 目标路径为/rep 使用具备SAP_XI_IS_SERV_USER角色的服务账号 连接测试通过后仍需在SPROXY中验证完整功能 常见陷

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 64

Apache Doris数据备份实战指南:三分钟掌握企业级数据保护方案

Apache Doris作为一款高性能的实时分析数据库,在企业级应用中承担着核心数据分析任务。数据安全与业务连续性是企业运维的生命线,如何高效、可靠地保护Doris中的数据资产,成为技术决策者和运维工程师必须面对的关键挑战。本文将为您提供一套完整的Apache Doris数据备份解决方案,从业务痛点出发,通过实战演示、架构解析和最佳实践,帮助您在5分钟内构建企业级数据保护体系。 ## 一、企业数

gitblog_00914的博客 919

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

DataX-Web 2.0 与 DataX 3.0 在 CentOS 7.9 上的部署与多源异构数据同步实战

数据同步是构建数据仓库、实现数据中台的核心技术环节,其本质是在不同数据存储系统间高效、可靠地迁移和转换数据。基于插件化架构的离线同步工具,通过分离读写逻辑,能灵活适配多种数据源与目标。在工程实践中,这类工具与可视化调度中心结合,可有效解决多任务编排、运维监控等生产环境痛点。本文聚焦于在 CentOS 7.9 环境中,部署 DataX 核心引擎与 DataX-Web 调度中心,并深入探讨其在应对 PostgreSQL 到 MySQL 的增量同步、PostgreSQL 到 HBase 的列式存储映射,以及 My

weixin_33922670的博客 392

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

上一篇: CPU与内存配比(云服务器选择)参考
下一篇: 数据分析SQL环比增长率、同比增长率
小基基o_O
博客等级 码龄9年 4414粉丝 467原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小基基o_O

您的鼓励是我创作的巨大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值