【MapReduce】使用MapReduce实现TF-IDF算法

TF-IDF的介绍

---

• TFIDF全程叫做term frequency–inverse document frequency，翻译过来可以叫做文本频率与逆文档频率指数, TFIDF就是为了表征一个token（可以是一个字或者一个词）的重要程度

---

• 应用场景：
  1. 权重计算方法经常会和余弦相似度(cosine similarity)一同使用于向量空间模型中，用以判断两份文件之间的相似性。
  2. 广告投放，收集用户的朋友圈，或者博客，你会发现，朋友圈给你投放的广告，往往你跟发布的东西有关，例如一个人很喜欢旅游，那我们应该给他投放旅行社，或者风景秀丽的旅游景点。
  3. 利用TF-IDF，对数据库的文本进行分词，建立索引后入库，提高用户全文检索的速率。

---

• TF的概念
  TF表示分词在文档中出现的频率，算法是：（该分词在该文档出现的次数）/(该文档分词的总数)，这个值越大表示这个词越重要，即权重就越大，TF （例如：一篇文档分词后，总共有500个分词，而分词”Hello”出现的次数是20次，则TF值是： TF =20/500=0.04）。

---

• IDF的概念
  IDF是是一个词语普遍重要性的度量。一个文档库中，一个分词出现在的文档数越少越能和其它文档区别开来。算法是： log(总文档数/(出现该分词的文档数+1)) 。如果一个词越常见，那么分母就越大，逆文档频率就越小越接近0。分母之所以要加1，是为了避免分母为0（即所有文档都不包含该词），IDF （例如：一个文档库中总共有10000篇文档， 99篇文档中出现过“Hello”分词，则idf是： IDF = log(10000/(99+1)) =2）

---

• TF-IDF是什么
  TF-IDF就是TF*IDF，TF-IDF与一个词在文档中的出现次数成正比，与整个语料库中包含该词的文档数成反比

---

• 用途
  自动提取关键词，计算出文档的每个词的TF-IDF值，然后按降序排列，取排在最前面的几个词。信息检索时，对于每个文档，都可以分别计算一组搜索词（“TF-IDF”、“MapReduce”）的TF-IDF，将它们相加，就可以得到整个文档的TF-IDF。这个值最高的文档就是与搜索词最相关的文档。

---

• 优缺点
  TF-IDF算法的优点是简单快速，结果比较符合实际情况。缺点是，单纯以"词频"衡量一个词的重要性，不够全面，有时重要的词可能出现次数并不 多。而且，这种算法无法体现词的位置信息，出现位置靠前的词与出现位置靠后的词，都被视为重要性相同，这是不正确的（一种解决方法是，对全文的第一段和 每一段的第一句话，给予较大的权重。）

---

需求及实现步骤

需求

---

我们在MySQL中存储了一些豆瓣电影数据(如下图)，我们要求对每个电影的评论求TF-IDF，并且将最后的结果存储在MySQL里面

---

实现步骤

代码实现

设置IK分词及其扩展停止词字典

---

因为有些词对于我们来说是没有必要的，比如:的、了、吗…，因此我们可以设置不读取这些词

• pom文件

        <dependency>
            <groupId>com.janeluo</groupId>
            <artifactId>ikanalyzer</artifactId>
            <version>2012_u6</version>
        </dependency>

---

配置暂停词和字典，暂停词也就是忽略词，字典也就是自定义组合词
以下三个文件都在src目录下配置

• IKAnalyzer.cfg.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
	<comment>IK Analyzer 扩展配置</comment>
	<!--用户可以在这里配置自己的扩展字典 -->
	<entry key="ext_dict">test.dic;</entry>
	<!--用户可以在这里配置自己的扩展停止词字典 -->
	<entry key="ext_stopwords">teststop.dic;</entry>
</properties>

在ext_stopwords目录下设置忽略的词即可，每个词以回车隔开

---

自定义类接收MySQL里的数据

---

import org.apache.hadoop.io.Writable;
import org.apache.hadoop.mapreduce.lib.db.DBWritable;

import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;

public class receiveData implements DBWritable, Writable {
   
    private String FilmName;
    private String common;

    @Override
    public void write(DataOutput dataOutput) throws IOException {
   
        dataOutput.writeUTF(FilmName);
        dataOutput.writeUTF(common);
    }

    @Override
    public void readFields(DataInput dataInput) throws IOException {
   
        FilmName = dataInput.readUTF();
        common = dataInput.readUTF();
    }

    @Override
    public void write(PreparedStatement statement) throws SQLException {
   
        statement.setString(2, FilmName);
        statement.setString(6, common);
    }

    @Override
    public void readFields(ResultSet resultSet) throws SQLException {
   
        FilmName = resultSet.getString(2);
        common = resultSet.getString(6);
    }

    @Override
    public String toString() {
   
        return FilmName + "\t" + common;
    }

    public void set(String filmName, String common) {
   
        FilmName = filmName;
        this.common = common;
    }

    public String getFilmName() {
   
        return FilmName;
    }

    public void setFilmName(String filmName) {
   
        FilmName = filmName;
    }

    public String getCommon() {
   
        return common;
    }

    public void setCommon(String common) {
   
        this.common = common;
    }
}

---

第一个Mapper

---

IKSegmenter ik = new IKSegmenter(sr, true);将sr读取的进行分词，true是使用扩展的字典

---

import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import org.wltea.analyzer.core.IKSegmenter;
import org.wltea.analyzer.core.Lexeme;

import java.io.IOException;
import java.io.StringReader;

/**
 * 接收到的数据
 * 肖申克的救赎   希望让人自由
 * 输出  <count,1>    <希望_肖申克的救赎,1>
 */
public class MapTest01 extends Mapper<LongWritable, receiveData, Text, DoubleWritable> {
   
    DoubleWritable v = new DoubleWritable(1);

    @Override
    protected void map(LongWritable key, receiveData value, Context context) throws IOException, InterruptedException {
   
        String datas[] = value.toString().split("\t");
        if ("none".equalsIgnoreCase(datas[1]))return;
        StringReader sr = new StringReader(datas[1]);
        StringReader sr1 = new