（一）Java日志大数据（单机环境）学习笔记——开篇

开篇

    大家好，我是认真🇨🇳。从今天起，在此栏目下，我开始更新大数据（单机环境）的学习笔记。此前公司的客户有日志大数据方便的需求，但是绝大多数的客户只能提供一台服务器做为大数据使用。在中小型公司的业务量下，单机版大数据部署及开发是有必要的，并且单机版大数据也可以作为个人学习入手。
    说明一下，单机大数据只是解决一些中小型客户需求，如果真的想学习专业大数据业务的研发，还是要系统的学习多服务的大数据部署和开发。如果此篇文章有帮助到你，请点赞收藏；如果您不屑于此篇文章的分享，请手下留情；如果您是资深大牛，请多对文章斧正。共同学习，共同进步。

一、业务介绍

    A学校现在有12台业务服务器（以下简称：业务服务器），这12台服务器运用在各个平台上，有学校门户网站、教务系统、网安系统、财务系统等，每台服务器每天都会产生大量的日志，根据《网络安全法》第二十一条要求：采取监测、记录网络运行状态、网络安全事件的技术措施，并按照规定留存相关的网络日志不少于六个月。
    现在A学校要求：把12台服务器的日志统一存储到统一的日志服务器（以下简称：日志服务器）中，并且日志服务器提供清洗、存储、分析、查询和展示等功能，日志可以追溯到六个月前，一台服务器每天产生的日志量大约在1G，12台服务器每天产生的日志量在12G左右。学校方面只提供一台日志服务器，配置为8核32G，1T硬盘。

二、技术分析

  硬件分析

    首先分析服务器配置，这边属于基础的硬性要求，假设每天日志量为12G，日志保存六个月，也就是最少要保证有2160G的存储，按照学校提供的1T，是完全不够的，在此基础上，是需要对存储的数据进行压缩的，充分利用磁盘空间，并且在该配置下