任务描述
本关任务：用SparkSQL的方法，用
ANSJ分词器，拿出岗位要求中的技能，统计这些技能的出现次数，并将其存入MySQL的eduskill表中。
相关知识
为了完成本关任务，我们需要掌握：
什么是
ANSJ分词器；
如何使用
ANSJ分词器；
使用
ANSJ分词器分词后如何获取想要的词。
ANSJ介绍
这是一个基于n-Gram+CRF+HMM的中文分词的Java实现。分词速度达到每秒钟大约200万字左右（mac air下测试），准确率能达到96%以上。目前实现了中文分词，中文姓名识别，用户自定义词典，关键字提取，自动摘要，关键字标记等功能。可以应用到自然语言处理等方面，适用于对分词效果要求高的各种项目。
ANSJ使用
ANSJ项目
项目的
github地址：
https://github.com/NLPchina/
ansj_
seg
项目的文档地址：http
://nlpchina
.github.io/
ansj_
seg/
ANSJ下载
可以从 http
://maven
.ansj.org/org/
ansj/ 下载你需要的jar包。
用maven导入
<!--
https://mvnrepository
.com/artifact/org
.ansj/
ansj_
seg -->
<dependency>
<groupId>org
.ansj</groupId>
<artifactId>
ansj_
seg</artifactId>
<version>5
.1
.6</version>
</dependency>
分词调用方式
基本分词
基本就是保证了最基本的分词，词语颗粒度最非常小的，所涉及到的词大约是10万左右。
基本分词速度非常快。在macAir上，能到每秒300w字每秒。同时准确率也很高，但是对于新词他的功能十分有限。
功能：
用户自定义词典 数字识别 人名识别 机构名识别 新词发现
× √ × × ×
Result parse = BaseAnalysis
.parse("让战士们过一个欢乐祥和的新春佳节。");
List<Term> baseParse =parse
.getTerms();
result
:[让/v, 战士/n, 们/k, 过/ug, 一个/m, 欢乐/a, 祥和/a, 的/uj, 新春/t, 佳节/n, 。/w]
精准分词（推荐）
精准分词是
ANSJ分词的店长推荐款。
它在易用性、稳定性、准确性、以及分词效率上都取得了一个不错的平衡。
如果你初次赏识
ANSJ如果你想开箱即用，那么就用这个分词方式是不会错的。
功能：
用户自定义词典 数字识别 人名识别 机构名识别 新词发现
v √ v × ×
Result parse = ToAnalysis
.parse("包括Hadoop、Spark 、Hive、Hbase、Kafaka、Flume、Sqoop等");
List<Term> toParse = parse
.getTerms();
result
:[包括/v, hadoop/en, 、/w, spark/en, , 、/w, hive/en, 、/w, hbase/en, 、/w, kafaka/en, 、/w, flume/en, 、/w, sqoop/en, 等/u]
根据词性获取想要的词
获取句子里词性为en的词：
Result parse = ToAnalysis
.parse("包括Hadoop、'Spark 、Hive、Hbase、Kafka、Flume、Sqoop等");
List<Term> toParse = parse
.getTerms();
for (int i = 0; i < toParse
.size(); i++) {
String word = toParse
.get(i)
.getName();
//拿到词
String natureStr = toParse
.get(i)
.getNatureStr();
//拿到词性
if ("en"
.equals(natureStr)) {
System
.out
.println(word);
}
}
输出：
hadoop
spark
hive
hbase
Kafka
flume
sqoop
编程要求
根据提示，在右侧编辑器Begin-End处补充代码，用SparkSQL的方法，用
ANSJ分词器，拿出岗位要求中的技能，统计这些技能的出现次数，并将其存入MySQL的eduskill表中。以下为代码package
com;
import org
.ansj.domain
.Result;
import org
.ansj.domain
.Term;
import org
.ansj.splitWord
.analysis
.ToAnalysis;
import org
.apache
.spark
.api
.java
.JavaPairRDD;
import org
.apache
.spark
.api
.java
.JavaRDD;
import org
.apache
.spark
.sql
.Dataset;
import org
.apache
.spark
.sql
.Row;
import org
.apache
.spark
.sql
.RowFactory;
import org
.apache
.spark
.sql
.SparkSession;
import org
.apache
.spark
.sql
.types
.DataTypes;
import org
.apache
.spark
.sql
.types
.StructField;
import org
.apache
.spark
.sql
.types
.StructType;
import scala
.Tuple2;
import java
.util
.*;
public class EduSkill {
public static void main(String[] args) {
SparkSession spark = SparkSession
.builder()
.appName("cc")
.master("local")
.getOrCreate();
spark
.sparkContext()
.setLogLevel("error");
/********** Begin **********/
//读取parquet文件
//获取到responsibility并采用分词器分词获取en词性的词
//统计这个词出现的次数
//将JavaRDD转为Dataset
//将结果存入MySQL
/********** End **********/
}
}
扫一扫
852
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
