围城

20200922 -0. 引言几年前为了处理大量的日志，简单学习了hadoop的内容，之后就在自己的几台破PC上进行了实验，当时安装的方式步骤大致如下：利用expect脚本完成免密登陆利用clush进行集群管理，比如传输文件，或者文件及命令更新之前还想过利用docker的形式来部署，但是好像是存在一些问题的，并不是那么简单，虽然我当时部署一个单机的成功了。不过，现在想想，这种基础服务，最好还是直接逻辑部署比较好。今天在看zeppelin的时候，发现了另外的一个工具ambari，可以自动完成H

20200911 -本部分只是记录一下，很久之前的利用python进行hadoop map和reduce的方法。代码部分map代码：#! /bin/pythonimport sysimport timedef convert_time(struct_time): return struct_time.tm_hour * 60 + struct_time.tm_mindef main(): stream_time = "" src_ip = "" ds