4、构建从数据到人工智能的管道及搭建数据科学实验室

构建从数据到人工智能的管道及搭建数据科学实验室

一、构建从数据到人工智能的管道

1. 考虑期望输出

进行任何分析的目的都是为了获得反映特定特征的结果。结果可能是概率、分类、数值、字符串、类别或语音输出等。输出决定了分析的其他所有特征。在实际应用中，不同的输出需求会引导我们选择不同的分析方法和算法。

2. 定义数据架构

分析模型的重点在于输入的数据。在对原始数据进行处理之前，需要定义数据架构，即数据必须呈现的形式，以确保分析模型能够正常工作。数据架构反映了数据流向输出的管道要求。例如，在某些机器学习模型中，数据可能需要以特定的矩阵形式输入。

3. 组合各种数据源

在现实环境中，很少能在一个地方找到所需的所有数据。原因主要有两个：一是数据库存储信息的形式是为了满足用户的信息需求而非分析需求；二是数据科学家常常需要参考调查结果、生成的数据和其他分析来获取提供概率或进行分类所需的详细信息。使用多个数据源时，需要花费更多时间确保数据不仅符合要求的形式，而且能够正确融合。可能需要进行连接、合并或交叉制表等操作，而不是简单地拼接数据集。
|操作类型|说明|
| ---- | ---- |
|连接（Join）|将两个或多个数据集根据某些共同的键进行关联|
|合并（Merge）|类似于连接，但更侧重于数据的合并和整合|
|交叉制表（Cross - tabulation）|用于展示两个或多个变量之间的关系|

4. 检查并修复错误

数据错误可能并不明显，是否为错误取决于数据的使用方式和所需的结果。不能轻易假设数据存在错误，除非有证据证明。