Spark中分布式使用HanLP（1.7.0)分词d

Spark中分布式使用HanLP（1.7.0)分词

HanLP分词（https://github.com/hankcs/HanLP），如README中所说，如果没有特殊需求，可以通过maven配置，如果要添加自定义词典，需要下载“依赖jar包和用户字典".

本人一些经验:

1. 是直接"java xf hanlp-1.6.8-sources.jar" 解压源码，把源码加入工程（依赖本地jar包，有些麻烦，有时候到服务器有找不到jar包的情况)
2. 按照文档操作，在Spark中分词，默认找的是本地目录，所以如果是在driver中分词是没有问题的。但是如果要分布式分词，是要把词典目录放在HDFS上面，因为这样每台机器才可以访问到 【参考代码】
3. 最好把新增词典放在首位（我没有放在首位好像没有生效).第一次使用时,HanLP会把新增txt文件，生成bin文件，这个过程比较慢。但是只需要跑一次，它会把bin文件写到HDFS路径上面，第二次以后速度就快一些了。

注意到issue中说，只可以在mapPart