旅游网站大数据分析 - 数据清洗

原创

于 2025-04-28 18:32:16 发布 · 1k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#旅游 #数据分析 #数据挖掘

第1关：清洗HTML文档中无意义数据

任务描述
将获取到携程网的城市酒店的HTML数据（包含了所有元素）进行清洗，得到我们需要的标签数据。

相关知识
为了更好的解析数据，我们要将一些无意义的数据进行清洗。Jsoup在这里提供了一个方便的清洗数据方法，下面我们一起来学习。

消除不受信任的HTML (来防止XSS攻击)
使用jsoup HTML Cleaner方法进行清除，但需要指定一个可配置的Whitelist。[XSS又叫CSS (Cross Site Script) ，跨站脚本攻击。]

Jsoup.clean(String bodyHtml,Whitelist whitelist)
String unsafe ="<!doctype html><html><head><title> Educoder实训平台 </title></head><body><p><a href='http://www.educoder.net/' οnclick='stealCookies()'>这里是 jsoup 项目的相关文章 </a></p></body></html>

代码

package step1;
import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.safety.Whitelist;
public class Task {
    
    //通过filePath文件路径获取Docment对象
    public Document getDoc(String filePath) throws IOExcep