任务描述
本关任务：用
SparkSQL的方法，用
ANSJ分词器，拿出岗位要求中的技能，
统计这些技能的出现次数，并将其存入MySQL的eduskill表中。
相关知识
为了完成本关任务，我们需要掌握：
什么是
ANSJ分词器；
如何使用
ANSJ分词器；
使用
ANSJ分词器
分词后如何获取想要的词。
ANSJ介绍
这是一个基于n-Gram
+CRF
+HMM的
中文分词的
Java实现。
分词速度达到每秒钟大约200万字左右（mac air下测试），准确率能达到96%以上。目前实现了
中文分词，
中文姓名识别，用户自定义词典，关键字提取，自动摘要，关键字标记等功能。可以应用到自然语言处理等方面，适用于对
分词效果要求高的各种项目。
ANSJ使用
ANSJ项目
项目的github地址：https://github.com/NLPchina/
ansj_seg
项目的文档地址：http://nlpchina.github.io/
ansj_seg/
ANSJ下载
可以从 http://maven.
ansj.org/org/
ansj/ 下载你需要的jar包。
用maven导入
<!-- https://mvnrepository.com/artifact/org.
ansj/
ansj_seg -->
<dependency>
<groupId>org.
ansj</groupId>
<artifactId>
ansj_seg</artifactId>
<version>5.1.6</version>
</dependency>
分词调用方式
基本
分词
基本就是保证了最基本的
分词，词语颗粒度最非常小的，所涉及到的词大约是10万左右。
基本
分词速度非常快。在macAir上，能到每秒300w字每秒。同时准确率也很高，但是对于新词他的功能十分有限。
功能：
用户自定义词典 数字识别 人名识别 机构名识别 新词发现
× √ × × ×
Result parse = BaseAnalysis.parse("让战士们过一个欢乐祥和的新春佳节。");
List<Term> baseParse =parse.getTerms();
result:[让/v, 战士/n, 们/k, 过/ug, 一个/m, 欢乐/a, 祥和/a, 的/uj, 新春/t, 佳节/n, 。/w]
精准
分词（推荐）
精准
分词是
ANSJ分词的店长推荐款。
它在易用性、稳定性、准确性、以及
分词效率上都取得了一个不错的平衡。
如果你初次赏识
ANSJ如果你想开箱即用，那么就用这个
分词方式是不会错的。
功能：
用户自定义词典 数字识别 人名识别 机构名识别 新词发现
v √ v × ×
Result parse = ToAnalysis.parse("包括Hadoop、
Spark 、Hive、Hbase、Kafaka、Flume、Sqoop等");
List<Term> toParse = parse.getTerms();
result:[包括/v, hadoop/en, 、/w,
spark/en, , 、/w, hive/en, 、/w, hbase/en, 、/w, kafaka/en, 、/w, flume/en, 、/w, sqoop/en, 等/u]
根据词性获取想要的词
获取句子里词性为en的词：
Result parse = ToAnalysis.parse("包括Hadoop、'
Spark 、Hive、Hbase、Kafka、Flume、Sqoop等");
List<Term> toParse = parse.getTerms();
for (int i = 0; i < toParse.size(); i
++) {
String word = toParse.get(i).getName(); //拿到词
String natureStr = toParse.get(i).getNatureStr(); //拿到词性
if ("en".equals(natureStr)) {
System.out.println(word);
}
}
输出：
hadoop
spark
hive
hbase
Kafka
flume
sqoop
编程要求
根据提示，在右侧编辑器Begin-End处补充代码，用
SparkSQL的方法，用
ANSJ分词器，拿出岗位要求中的技能，
统计这些技能的出现次数，并将其存入MySQL的eduskill表中。以下为代码package com;
import org.
ansj.domain.Result;
import org.
ansj.domain.Term;
import org.
ansj.splitWord.analysis.ToAnalysis;
import org.apache.
spark.api.
java.
JavaPairRDD;
import org.apache.
spark.api.
java.
JavaRDD;
import org.apache.
spark.sql.Dataset;
import org.apache.
spark.sql.Row;
import org.apache.
spark.sql.RowFactory;
import org.apache.
spark.sql.
SparkSession;
import org.apache.
spark.sql.types.DataTypes;
import org.apache.
spark.sql.types.StructField;
import org.apache.
spark.sql.types.StructType;
import scala.Tuple2;
import
java.util.*;
public class EduSkill {
public static void main(String[] args) {
SparkSession
spark =
SparkSession.builder().appName("cc").master("local").getOrCreate();
spark.
sparkContext().setLogLevel("error");
/********** Begin **********/
//读取parquet文件
//获取到responsibility并采用
分词器
分词获取en词性的词
//
统计这个词出现的次数
//将
JavaRDD转为Dataset
//将结果存入MySQL
/********** End **********/
}
}
扫一扫
1157
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
