AI与机器学习:数据生态系统的价值创造新维度
1. 大数据、机器学习与人工智能
大约在2013年,大数据在欧洲成为热门话题,随后数据科学、机器学习、深度学习和人工智能也相继成为热门趋势。人工智能是计算机科学的一个子领域,而机器学习和深度学习是目前最成功的领域。
1.1 机器学习模型
机器学习以统计模型的形式产生知识,常见的模型包括:
- 决策树 :用于分类任务。
- 回归曲线 :用于定量预测任务。
- 相似数据聚类 :用于模式识别。
- 深度学习中的人工神经网络 。
1.2 数据科学过程
数据科学结合了数学、统计学和计算机科学的方法来发现数据中的知识,也称为数据挖掘。1999年发布的CRISP - DM(跨行业数据挖掘标准流程)成为了行业标准,其六个阶段相互交织,具体如下:
1. 业务和数据理解 :明确问题陈述和假设,但可能需要根据可用数据调整。要识别高质量数据的多个来源,可借助描述性统计和可视化分析工具。
2. 数据准备 :这是最耗时的阶段,可能占整个过程的70%。包括数据清理和转换,如生成缺失或派生数据、去除异常值、可能的注释和语义丰富化等,将数据转换为标准词汇,确保公司间无缝且明确的交换。
3. 建模和评估 :由专门的机器学习工具支持。许多学习算法训练需要标记数据,这会增加数据准备成本。机器学习是
订阅专栏 解锁全文
1万+



被折叠的 条评论
为什么被折叠?



