2、机器学习中的数据探索与标注

机器学习中的数据探索与标注

1. 数据探索简介

数据探索是机器学习中至关重要的一环，它就像是一场在数据海洋中的冒险之旅，在这片广阔的数据海洋里，隐藏着无数的故事、模式和见解等待我们去发现。数据探索是数据分析的初始阶段，通过对原始数据进行检查、可视化和总结，以揭示数据中的模式、趋势和见解。这一步对于理解数据的本质，在应用高级分析或机器学习技术之前至关重要。

在这个生成式人工智能的时代，高质量训练数据的准备对于特定领域大语言模型（LLM）的微调至关重要。微调需要策划额外的特定领域标注数据，用于训练公开可用的大语言模型。

2. 主要探索内容

我们将使用Python中的各种库和包，如Pandas、NumPy和Seaborn，来探索表格数据。同时，我们会绘制不同的条形图和直方图，以可视化数据，找出各种特征之间的关系，这对数据标注非常有用。我们将探索位于GitHub存储库中的Income数据集。

主要涵盖以下主题：
- EDA和数据标注
- 使用Pandas进行摘要统计和数据聚合
- 使用Seaborn进行单变量和双变量分析的数据可视化
- 使用ydata-profiling库进行数据剖析
- 使用OpenAI和LangChain从数据中解锁见解

3. 技术要求

在运行相关代码之前，需要安装以下Python IDE和软件工具之一：
- Anaconda Navigator：从以下URL下载并安装开源的Anaconda Navigator：