【AI】入门指南：用提示词进行数据清洗的简单方法

 

入门指南：用提示词进行数据清洗的简单方法

**

在数据处理的过程中，数据清洗是非常关键的一步。如果数据质量不高，包含各种错误、重复或无用的信息，那么后续的分析和挖掘工作就很难得出准确的结果。

随着人工智能技术的发展，用提示词来辅助进行数据清洗成为了一种简单高效的方法。对于刚入门的人来说，掌握这种方法能让数据清洗工作变得更轻松。下面，就来详细介绍用提示词进行数据清洗的相关知识和具体步骤。

1. 数据清洗基础认知

1.1 数据清洗的定义

数据清洗就是对数据进行检查和处理，找出其中存在的错误、缺失、重复等问题，并采取相应的措施进行修正、补充或删除，让数据变得更准确、完整、一致，适合后续的分析和使用。

比如，在一份客户信息表中，可能会有客户电话号码填写错误、年龄字段为空、同一客户信息重复出现等情况，数据清洗就是要解决这些问题。

1.2 数据清洗的重要性

如果不进行数据清洗，使用有问题的数据进行分析，会导致分析结果失真。举个例子，要是销售数据中存在大量重复记录，那么计算出的总销售额就会比实际情况高很多，基于这个结果制定的销售策略很可能会出现偏差。

所以，数据清洗是保证数据分析质量的前提，能为后续的决策提供可靠的数据支持。

1.3 常见的数据质量问题

常见的数据质量问题主要有以下几种：

• 缺失值：数据中的某些字段没有填写内容，比如用户信息表中的邮箱地址字段为空。

• 重复值：同一数据在数据集中多次出现，例如订单表中同一笔订单被重复录入。

• 错误值：数据不符合实际情况或逻辑规则，比如年龄字段出现负数、性别字段出现 “未知” 以外的不合理内容。

• 格式不一致：同一类型的数据格式不同，比如日期字段有的用 “年 / 月 / 日”，有的用 “月 / 日 / 年”。

2. 提示词基础

2.1 提示词的定义

提示词是用户输入给人工智能模型的文字信息，目的是告诉模型要做什么，希望得到什么样的结果。在数据清洗中，提示词就是用来指导模型对数据进行处理的指令。

2.2 提示词在数据清洗中的作用

提示词能让人工智能模型按照用户的要求对数据进行清洗操作。通过明确的提示词，模型可以知道要处理哪些数据问题，比如找出重复值并删除，或者填充缺失的年龄信息等。

它能简化数据清洗的流程，让没有太多专业技术的人也能借助人工智能完成数据清洗工作。

2.3 编写有效提示词的基本原则

• 明确具体：提示词要清楚地说明需要完成的任务，不能模糊不清。比如，不要说 “处理一下这些数据”，而应该说 “找出这份表格中的重复行并删除”。

• 简洁易懂：用简单的语言表达，避免使用复杂的词汇和句子结构。让模型能轻松理解用户的意图。

• 符合逻辑：提示词的内容要符合数据处理的逻辑，前后内容保持一致。比如，先让模型检查缺失值，再提示填充缺失值，而不是先填充再检查。

3. 用提示词进行数据清洗的步骤

3.1 准备数据

首先，要把需要清洗的数据整理好。数据可以是 Excel 表格、CSV 文件等常见的格式。要确保数据的结构清晰，每个字段都有明确的含义。

比如，一份学生信息数据，应该包含姓名、学号、性别、年龄、班级等字段，每个字段对应的数据要准确无误地排列。

3.2 明确数据清洗目标

在开始清洗之前，要清楚自己想要达到什么样的效果。是要删除重复的数据，还是要填充缺失的值，或者是修正错误的数据。

明确目标后，才能有针对性地编写提示词。例如，目标是 “将所有日期格式统一为‘年 - 月 - 日’”。

3.3 针对不同数据问题编写提示词

3.3.1 处理缺失值的提示词

当数据中存在缺失值时，可以编写这样的提示词：

• “检查这份数据中所有字段的缺失值，并统计每个字段缺失值的数量。”

• “对于年龄字段中的缺失值，用该字段的平均值进行填充。”

• “将性别字段中的缺失值标记为‘未知’。”

3.3.2 处理重复值的提示词

处理重复值的提示词可以是：

• “找出这份表格中的重复行，重复行的判断标准是所有字段内容都相同。”

• “删除找到的重复行，只保留其中一行。”

• “统计这份数据中重复行的数量。”

3.3.3 处理错误值的提示词

针对错误值，提示词可以这样写：

• “检查年龄字段，找出其中小于 0 或大于 150 的值，这些是错误值。”

• “将性别字段中不是‘男’或‘女’的值修正为‘未知’。”

• “检查电话号码字段，删除其中包含非数字的记录。”

3.3.4 处理格式不一致的提示词

处理格式不一致问题的提示词示例：

• “将所有日期字段的格式统一改为‘年 - 月 - 日’。”

• “把姓名字段中的所有内容转换为大写字母。”

• “将身高字段中的单位统一为‘厘米’，如果原单位是‘米’，进行单位换算。”

3.4 输入提示词并执行

把编写好的提示词输入到支持数据处理的人工智能工具中，同时上传需要清洗的数据。然后让工具执行提示词指令。

在执行过程中，要注意观察工具的处理情况，如果有异常要及时停止并检查提示词是否有问题。

3.5 检查清洗结果

工具处理完成后，要对清洗后的数据进行检查。看是否达到了预期的清洗目标，比如缺失值是否被正确填充，重复值是否被删除，错误值是否被修正等。

如果发现有问题，要分析原因，可能是提示词编写得不够准确，这时需要修改提示词，重新进行处理。

4. 常用数据清洗提示词模板

4.1 缺失值处理模板

• 模板 1：“检查 [数据名称] 中 [字段名称] 的缺失值，用 [填充方式，如平均值、中位数、特定值] 填充这些缺失值。”

• • 示例：“检查学生信息表中年龄字段的缺失值，用该字段的平均值填充这些缺失值。”

• 模板 2：“统计 [数据名称] 中所有字段的缺失值数量，并将缺失值所在的行单独提取出来。”

• • 示例：“统计销售数据表中所有字段的缺失值数量，并将缺失值所在的行单独提取出来。”

4.2 重复值处理模板

• 模板 1：“在 [数据名称] 中，以 [字段 1，字段 2……] 为判断依据，找出重复的记录，并删除重复记录，只保留第一条。”

• • 示例：“在客户信息表中，以客户 ID 和姓名为判断依据，找出重复的记录，并删除重复记录，只保留第一条。”

• 模板 2：“计算 [数据名称] 中重复记录的数量，并显示这些重复记录的内容。”

• • 示例：“计算订单表中重复记录的数量，并显示这些重复记录的内容。”

4.3 错误值处理模板

• 模板 1：“检查 [数据名称] 中 [字段名称]，找出不符合 [规则，如范围、格式、内容要求] 的值，并将这些错误值 [处理方式，如删除、修正为特定值]。”

• • 示例：“检查成绩表中数学成绩字段，找出小于 0 或大于 100 的值，并将这些错误值修正为 0。”

• 模板 2：“判断 [数据名称] 中 [字段名称] 的数据类型是否为 [预期类型，如数字、文本、日期]，将不符合的记录标记出来。”

• • 示例：“判断员工信息表中入职日期字段的数据类型是否为日期，将不符合的记录标记出来。”

4.4 格式统一模板

• 模板 1：“将 [数据名称] 中 [字段名称] 的格式统一为 [目标格式]。”

• • 示例：“将产品信息表中价格字段的格式统一为保留两位小数的数字。”

• 模板 2：“把 [数据名称] 中 [字段名称] 的 [原格式] 转换为 [新格式]。”

• • 示例：“把用户注册信息表中注册时间字段的‘月 / 日 / 年’格式转换为‘年 - 月 - 日’格式。”

5. 适合用提示词进行数据清洗的工具

5.1 常见工具介绍

• ChatGPT：这是一款功能强大的人工智能聊天机器人，它可以理解用户的自然语言提示词，并根据提示词对数据进行处理。用户可以将数据以文本形式输入，然后给出清洗提示词，它会返回处理后的结果。

• 文心一言：是百度推出的人工智能模型，也能接受用户的提示词指令，对数据进行清洗操作。它在中文处理方面有一定的优势，适合处理中文数据。

• 讯飞星火：由科大讯飞开发的人工智能产品，支持通过提示词进行数据清洗。它响应速度较快，能满足基本的数据清洗需求。

5.2 工具使用方法（以 ChatGPT 为例）

• 步骤 1：打开 ChatGPT 的界面，登录自己的账号。

• 步骤 2：在输入框中先说明需要处理的数据，可以直接粘贴数据内容，或者描述数据的结构和部分示例。

• 步骤 3：输入编写好的提示词，明确要求 ChatGPT 对数据进行的清洗操作。

• 步骤 4：等待 ChatGPT 处理完成，查看返回的结果。如果结果不符合要求，可以进一步修改提示词，让其重新处理。

5.3 不同工具的优缺点比较

• ChatGPT：优点是理解能力强，能处理复杂的提示词和数据；缺点是有时响应速度较慢，而且对于一些特定格式的数据处理可能不够精准。

• 文心一言：优点是对中文的理解和处理效果好，适合处理大量中文数据；缺点是在处理一些复杂的数据清洗任务时，能力可能不如 ChatGPT。

• 讯飞星火：优点是响应速度快，操作简单易用；缺点是功能相对来说不够全面，对于一些特殊的数据问题处理能力有限。

6. 实际案例分析

6.1 案例一：处理一份客户信息表

• 数据情况：这份客户信息表包含客户 ID、姓名、电话、地址等字段。其中存在部分电话号码重复、地址格式不一致以及个别客户 ID 缺失的问题。

• 提示词编写：

• • “找出客户信息表中电话号码重复的记录，并只保留其中一条。”

• • “将所有地址字段的格式统一为‘省 - 市 - 区 - 详细地址’。”

• • “检查客户 ID 字段的缺失值，用‘未知 + 序号’的方式填充，如‘未知 1’‘未知 2’。”

• 处理过程：将数据和提示词输入到 ChatGPT 中，ChatGPT 按照提示词的要求进行处理。首先找出了电话号码重复的 3 条记录，删除了其中 2 条；然后将地址格式统一；最后对 2 个缺失的客户 ID 进行了填充。

• 处理结果：客户信息表中的重复电话号码被处理，地址格式统一，缺失的客户 ID 得到了合理填充，数据质量明显提高。

6.2 案例二：清洗一份销售数据

• 数据情况：销售数据包含订单号、产品名称、销售数量、销售金额、销售日期等字段。存在销售数量为负数、销售日期格式有 “年 / 月 / 日” 和 “月 / 日 / 年” 两种、部分订单号重复的问题。

• 提示词编写：

• • “将销售数据中销售数量为负数的记录删除。”

• • “把所有销售日期的格式统一改为‘年 - 月 - 日’。”

• • “检查订单号重复的记录，若其他字段内容相同则删除重复记录，若不同则标记出来。”

• 处理过程：使用文心一言进行处理，文心一言先删除了 5 条销售数量为负数的记录；接着将销售日期格式统一；最后发现有 2 条订单号重复但其他字段不同的记录，并进行了标记。

• 处理结果：销售数据中的错误记录被删除，日期格式统一，重复且有差异的订单号被标记出来，方便进一步核对处理。

7. 注意事项

7.1 数据安全问题

在使用人工智能工具进行数据清洗时，要注意保护数据安全。不要将包含敏感信息（如身份证号、银行卡号、个人隐私等）的数据上传到公共的人工智能平台，以免造成信息泄露。

如果数据涉及敏感信息，可以考虑使用本地部署的人工智能工具，或者对数据进行脱敏处理后再使用。

7.2 提示词的准确性

提示词的准确性直接影响数据清洗的结果。在编写提示词时，要反复检查，确保表达的意思准确无误。如果提示词有歧义，人工智能模型可能会误解用户的意图，导致处理结果不符合要求。

可以先进行小范围的测试，用少量数据和提示词进行尝试，看结果是否正确，再进行大规模的数据清洗。

7.3 结果验证的必要性

即使使用了正确的提示词，也不能完全依赖人工智能工具的处理结果。因为工具可能会出现一些意想不到的错误，所以必须对处理后的结果进行仔细验证。

可以通过随机抽样、与原始数据对比等方式进行验证，确保数据清洗的准确性。

7.4 工具的局限性

不同的人工智能工具都有其局限性，它们可能无法处理过于复杂或特殊的数据问题。在遇到工具无法处理的情况时，不要强行使用，可以结合传统的数据清洗方法（如 Excel 的函数、Python 的 pandas 库等）进行处理。

同时，要不断尝试和探索不同的工具，了解它们的优缺点，根据实际情况选择合适的工具。

8. 进阶技巧

8.1 组合提示词的使用

对于一些复杂的数据清洗任务，可以将多个简单的提示词组合起来使用。比如，先处理缺失值，再处理重复值，最后统一格式。

组合提示词的顺序要符合数据处理的逻辑，这样能让人工智能模型更有条理地进行处理，提高清洗效率。

例如：“首先检查学生成绩表中各科成绩的缺失值，用 0 填充；然后找出重复的学生记录（以学号为判断依据）并删除；最后将所有成绩保留一位小数。”

8.2 根据工具特点调整提示词

不同的人工智能工具对提示词的理解和处理能力有所不同。在使用不同的工具时，要根据工具的特点调整提示词的表达方式。

比如，有些工具对简洁的提示词响应更好，而有些工具则需要更详细的描述。可以通过多次尝试，了解工具的偏好，从而编写更适合的提示词。

8.3 逐步优化提示词

如果第一次使用提示词处理数据的结果不理想，不要气馁，可以分析结果不符合要求的原因，然后逐步优化提示词。

比如，提示词 “处理一下年龄字段” 太模糊，结果可能不符合预期，这时可以修改为 “将年龄字段中大于 120 的数值修正为 120”，这样处理结果会更准确。

通过不断地尝试和修改，能让提示词越来越完善，提高数据清洗的效果。

9. 常见问题及解决方法

9.1 提示词无法被正确理解

• 问题表现：人工智能模型没有按照提示词的要求进行数据清洗，处理结果与预期不符。

• 解决方法：重新检查提示词是否明确具体、简洁易懂。如果提示词存在模糊不清的地方，进行修改，使其表达更准确。例如，将 “处理重复数据” 改为 “删除表格中所有字段都相同的重复行”。

9.2 处理结果不符合预期

• 问题表现：模型虽然理解了提示词，但处理后的结果仍然存在问题，没有达到清洗目标。

• 解决方法：分析处理结果不符合预期的原因，可能是提示词的逻辑存在问题，或者模型对某些数据情况考虑不周。可以调整提示词的逻辑，或者增加更详细的说明。比如，在处理缺失值时，如果用平均值填充后结果不合理，可以改为用中位数填充，并在提示词中说明。

9.3 工具处理速度慢

• 问题表现：人工智能工具处理数据的时间过长，影响工作效率。

• 解决方法：可以尝试将数据分成多个部分，分批进行处理，这样能减少单次处理的数据量，提高处理速度。另外，选择响应速度较快的工具也能改善这一问题。如果数据量特别大，也可以考虑先对数据进行初步筛选，去除明显无用的数据后再进行清洗。