loser的笔记

在pyspark中调用scala代码情境说明问题我们这边是要使用Spark去并行一个自然语言处理的算法，其中使用到了LDA主题模型。由于使用的是天河二号，Spark版本是1.5.1，pyspark同样，所以获取主题时还不能使用describeTopics(在spark1.6中才开放对python的接口)，只能使用topicsMatrix的方法。 本来凑合用topicsMatrix也行，但我们发现，

pyspark简介 & pyspark中对JVM调用浅析

Spark入门前言本人并未从事Spark相关的工作，但由于项目需要使用了Spark将算法实现并行化，所以本篇博客更多的是一些简单、直白的Spark用法与优化。适合看本篇博客的人应该是与我一样由于课题需要临时使用Spark或者说出于兴趣探索Spark，这篇博客可以给予一个基础的介绍。如果你从事使用Spark编程的工作，那么我更建议你简单看一看本篇博客后前往官网或者找基本认可度较高的书籍去系统的学习.