一个真实、有温度的无名小卒

hadoop

hadoop

一.MapReduce原理分而治之，一个大任务拆成多个子任务就叫map，并行执行后合并结果（reduce） Job&Task 一个作业，比如说从100G的日志访问里找出访问次数最多的IP；一个JobTracker可能被拆分成多个task，task又分为MapTaskTracker和ReduceTaskTracker taskTracker常常和DataNode同一个节点，能保证计算跟着数据

hadoop pig

本节采用eclipse开发简单的pig的自定义函数。 github地址： https://github.com/lightTrace/Hadoop/tree/master/hadoop-01一 为什么要自定义函数当我们希望简化程序结构或者需要重用程序代码时，自定义函数就是必须的，这和oracle数据库的function是一个道理。二 准备数据上传到pig中我准备实现1918

前言需求是用golang保存数据到hdfs里面，但由于有kerberos的验证问题，golang的开源轮子没有验证的东西，遂放弃golang，使用Java来封装相关接口。具体的操作代码就不说了，说说几个遇到的问题。springboot 、hadoop日志冲突问题需要去除hadoop里面的slf4j相关以及tomcat的servlet的相关依赖<dependency> &...