Sun's Blog

在输出目录中，可以看到一部分的输出，但是不完全，因为程序一直在栈溢出。错误原因内存过小，数据量过大，发生栈溢出，无法保存模型解决设置检查点在原程序的主方法中添加：sc.setCheckpointDir("your chpoint directory")因为我这是在hadoop集群上跑，这个目录必须是一个HDFS路径。其他情况自己看着办扩展checkpoint的意思就是建立检查点，类似于快照。例如在spark计算里面，计算流程DAG特别长,服务器需要将整个DAG计算完成得出结果，但是如果

问题在yarn集群上提交一个spark-submit的任务，最后抛出一个异常解决原因：因为在之前的项目中，在hadoop中的core-site.xml 和mapred-site.xml文件配置了lzo格式的压缩，这就导致上传到hdfs 的文件自动被压缩为lzo了。所以当使用提交spark-submit任务时，需要访问HDFS上的文件，而spark自身没有lzo的jar包所以无法找到。方法一：软链接到spark下的jars目录，注意自己的hadoop-lzo-0.4.20.jar的目录！ln

集合中的zip：如果两个集合的元素个数不相等，那么会将同等数量的数据进行拉链，多余的数据省略不用RDD算子的zip：该操作可以将两个RDD中的元素，以键值对的形式进行合并。其中，键值对中的Key为第1个RDD中的元素，vaue为第2个RDD中的元素。不同于集合中的zip()方法，将两个RDD组合成 Key/value开式的RDD，这里默认两个RDD的partition数量以及元素数量都相同，否则会抛出异常。...

分别观察一下集合与算子的sortBy()的参数列表普通集合的sortBy()RDD算子的sortBy()结论：普通集合的sortBy就没有false参数，也就是说只能默认的升序排。如果需要对普通集合中的元素需要升序排怎么办？如图所示，我这调用的sortby()是List集合的方法了，不是算子，所以不能加false参数指定降序排，只能默认的升序排了，但是用reverse()反转就能达到一样的效果。或者使用takeRight()方法取后十个也一样，注意的是后十个也是按升序排的...

Spark Sql DataFrame DataSet:1.减少小文件使用coalesce()算子,缩小分区插入hive表 write.mode 选择插入模式，inserinto 兼容hive 根据字段顺序去匹配hive表。saveastable 不兼容hive 根据字段名字进行匹配2.windows下local模式访问集群资源core-site.xml, hdfs-site.xml ,hive-site.xml,yarn-site.xml放到resource源码包下HA支持：val spar