dsl200970的博客

在学习大数据的时候接触了移动数据和移动计算这两种联系紧密而又有很大不同的概念，其中移动计算也叫做本地计算。在以前的数据处理中时使用的移动数据，其实就是将需要处理的数据传输到存放不同处理数据方式逻辑的各个节点上。这样做的效率很低，特别是大数据中的数据量是很大的，至少都是GB以上，更大的是TB、PB甚至更大，而且磁盘I/O、网络I/O的效率是很低的，这样处理起来就需要很长的时间，远远不能满足我

对于博客中的内容，参考了以下书籍的内容，感谢这些作者将自己的知识和经验拿出来让我们学习。spark高级数据分析spark快速大数据分析Spark大数据处理：技术、应用与性能优化(全)Spark快速数据处理

在大数据框架的调用中，在一个节点上经常会需要调用另一个节点上的程序，这时就需要用到RPC。RPC——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务。RPC采用客户机/服务器模式。请求程序就是一个客户机，而服务提供程序就是一个服务器。首先，客户机调用进程发送一个有进程参数的调用信息到服务进程，然后等待应答信息。在服务器端，进程保持睡眠状态直到调用信息的到达为止。当一个调

INFO mapreduce.Job: Counters: 12        Job Counters                 Failed map tasks=1                Killed map tasks=3                Launched map tasks=4                Rack-lo