Gpwner的博客

1.Mapreduce模型 map阶段有一定量的maptask组成，其实就是多线程在处理我们的任务，多个task分布在物理上的多台机器上执行，reduce阶段是由一定数量的reduceTask组成的map阶段： 输入数据格式的解析：inputformat 输入数据的处理：mapper 数组分组：partitioner reduce阶段 从map阶段的输出结果做一个数据拷贝，把对应的数据拷贝大red

1.数据结构fanData_WT02287.csv数据说明：数据来源 风机编号 时间 风机状态 风速 电机转速 桨叶转速 风向 偏航角度 齿轮箱油温 齿轮箱轴承油温 环境温度 机舱温度 发电机温度 A相电流 B相电流 C相电流 A相电压 B相电压 C相电压 电机频率 无功功率 有功功率 功率因素 总发电量 总发电时间 故障时间 备用时间 备注 taizhang.csv数据说明项目公司 风机编号 区域

1.PageRank简单介绍PageRank是Google专有的算法，用于衡量特定网页相对于搜索引擎索引中的其他 网页而言的重要程度。它由Larry Page 和 Sergey Brin在20世纪90年代后期发明。 PageRank实现了将链接价值概念PageRank是Google的核心算法，用于给每个网页 做评分，是google在“垃圾中找黄金”的关键算法，这个算法成就了今天的google。

driver在本地跑的好好的，打包提交打spark集群中却抛了以下异常：Exception in thread "main" com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failureThe last packet sent successfully to the server was 0