longgelaile的博客

一个完整的日志监控告警系统的设计方案包含了日志的采集、传输、存储、分析、可视化以及告警等多个部分。通过日志收集工具（如 Filebeat、Logstash、Fluentd）、高效的存储和搜索引擎（如 Elasticsearch）、实时分析与展示工具（如 Kibana、Grafana）、告警工具（如 Watcher、Alertmanager）和安全措施，可以实现一个高效、灵活且高可用的日志监控告警系统。：实时监控日志中的异常并通过告警系统通知相关人员。

推荐采用分割分治+外部排序的方式，将数据拆分成多个小文件分别去重后归并；或者利用 Bloom Filter 预过滤，减少内存占用和磁盘 I/O。利用 MapReduce 或 Spark 框架，分布式处理数据，通过 Mapper 和 Reducer 进行去重，可以高效应对大规模数据量。实际项目中，可以根据业务需求和技术选型，选择最适合当前场景的方案，同时关注性能调优和异常处理。

HIVE安装前期准备工作https://mp.youkuaiyun.com/console/editor/html/784244741 检查hadoop是否启动 hive安装到主节点10.112.178.*** nameNode节点上机器上从节点10.112.178.***，10.112.178.***jps2 下载h包 采用2.1.1版本wge...

hadoop2.7.2安装安装hadoop之前最好先安装zookeeper（百度一大堆教程装三个节点就行）hadoop安装准备三台机器192.168.1.1，192.168.1.2，192.168.1.31 创建hadoop用户su root 输入密码后创建用户useradd -d /home/hadoop -m hadoop#设置登录密码passwd hadoo