原文:
annas-archive.org/md5/6c663809fbe2805e7d06a40f27d45bbf
译者:飞龙
前言
现在几乎很难遇到对 AI 没有强烈意见和反应的人。我亲眼见证了自己对 AI 的看法和结论随着岁月的推移而波动。学生时代,我对 AI 以及随之而来的第四次工业革命能带我们走向何方充满了极大的兴奋和乐观。然而,当我开始我的读书俱乐部并每月阅读关于偏见和对 AI 的依赖如何在看得见和看不见的方面影响我们生活的书籍时,这份兴奋很快被削弱了。接着,我开始主持一些活动,邀请几乎来自 AI 和机器学习各个角落的人们,他们不仅谈论自己如何在工作中利用这项技术,还分享了他们对 AI 未来将如何影响我们的信念。
这引出了我们在每次技术重大进步时都会回到的最大辩论之一。即使我们意识到风险,是否敢于采用强大的技术?在我看来,我们没有选择,这场辩论不过是我们自我陶醉的幻觉。AI 将长期存在,关于它的虚无主义恐惧无法保护我们免受它可能带来的任何伤害。潘多拉的盒子已经打开,当我们凝视它所剩下的部分时,我们发现希望永远存在。
AI 正在揭示我们自身的偏见和不平等,而目前为止,这并不是一个令人满意的反映。我希望随着时间的推移,我们能学会如何负责任地使用 AI,以最小化其带来的伤害,并优化它对我们现代文明的最大贡献。我写这本书的目的是因为正是产品的创造者将模糊的想法转化为“现实”世界。深入探讨如何构思、构建、管理和维护 AI 产品,并以最大诚信为基础,尽我所能地做到这一点,是我在这一领域当前时刻能做出的最大贡献。写这本书是我的荣幸。
本书适合谁阅读
本书适用于那些有志成为 AI 产品经理、AI 技术专家和企业家的读者,或者对如何将 AI 产品推向市场有兴趣的人。如果你已经从事产品管理工作,并且对构建 AI 产品感到好奇,那么本书也将对你有帮助。如果你已经在某种程度上从事 AI 开发工作,并希望将这些概念引入产品管理领域,并采取更具商业导向的角色,本书同样适合你。虽然本书的某些章节侧重于技术内容,但其中的所有技术内容都可以视为初学者级别,适合所有人阅读。
本书涵盖的内容
第一章,理解构建 AI 产品的基础设施和工具,提供了关于管理 AI 产品的主要概念和基础设施领域的概述。
第二章,人工智能产品的模型开发与维护,深入探讨了模型开发与维护的细节。
第三章,机器学习与深度学习深入探讨,广泛讨论了传统深度学习与深度学习算法之间的区别及其应用场景。
第四章,人工智能产品的商业化,讨论了我们在市场上看到的人工智能产品的主要领域,以及促成商业化的伦理和成功因素的示例。
第五章,人工智能转型及其对产品管理的影响,探讨了人工智能如何融入未来主要市场领域。
第六章,理解 AI 原生产品,概述了赋能 AI 原生产品成功所需的策略、流程和团队建设。
第七章,将机器学习服务产品化,探索了从零开始构建人工智能产品时可能遇到的挑战和困难。
第八章,针对垂直行业、客户和同行群体的定制化,讨论了人工智能产品如何在各种垂直行业、客户类型和同行群体之间变化与发展。
第九章,产品的宏观与微观人工智能,概述了你可以在大大小小的方式中如何利用人工智能,并展示了一些最成功的示例和常见错误。
第十章,性能基准测试、增长黑客与成本控制,解释了如何进行基准测试,以评估产品层面的成功,而非模型性能层面的成功。
第十一章,人工智能的兴起潮流,重新审视了第四次工业革命的概念,并为目前尚未利用人工智能的产品提供了蓝图。
第十二章,跨行业的趋势与洞察,深入探讨了基于著名和受尊敬的研究机构的报告,我们在各行各业中看到的人工智能趋势。
第十三章,将产品演变为人工智能产品,提供了一个实际指南,帮助如何交付人工智能功能,并升级现有的产品逻辑,以成功更新产品,实现人工智能的商业成功。
所使用的约定
本书中使用的文本约定如下:
提示或重要备注
以这种方式出现。
联系我们
我们始终欢迎读者的反馈。
customercare@packtpub.com
,并在邮件主题中提到书名。
勘误表:虽然我们已经非常仔细地确保内容的准确性,但错误是难免的。如果您在本书中发现错误,我们将不胜感激,如果您能向我们报告。请访问www.packtpub.com/support/errata并填写表格。
copyright@packt.com
及相关资料链接。
如果您有兴趣成为作者:如果您在某个主题上具有专长,并且有兴趣写作或为书籍贡献内容,请访问authors.packtpub.com。
分享您的想法
一旦您阅读完*《AI 产品经理手册》*,我们很想听听您的想法!请点击这里直接访问亚马逊的本书评论页面并分享您的反馈。
您的评论对我们和技术社区非常重要,将帮助我们确保提供优质的内容。
下载本书的免费 PDF 副本
感谢您购买本书!
您喜欢随时随地阅读,但又无法携带印刷版书籍吗?
您购买的电子书与您选择的设备不兼容吗?
不用担心,现在购买每本 Packt 书籍时,您都能免费获得该书的无 DRM 版 PDF。
在任何地方、任何设备上随时阅读。直接将您喜爱的技术书籍中的代码搜索、复制并粘贴到您的应用程序中。
好处不止这些,您还可以获得独家的折扣、新闻通讯,并且每天通过电子邮件收到精彩的免费内容。
按照以下简单步骤享受这些好处:
- 扫描二维码或访问以下链接
packt.link/free-ebook/9781804612934
-
提交您的购买凭证
-
就这些!我们将直接通过电子邮件发送您的免费 PDF 和其他福利。
第一部分 – 概览 – 术语、基础设施、AI 类型以及做得好的产品
一名 AI 产品经理需要对 AI 有全面的理解,并了解所有导致其成功的不同组成部分,才能成功地将其产品商业化。
本部分包含五章内容,将涵盖“人工智能”(AI)这个术语的涵义,以及如何支持基础设施以使其在您的组织中成功。它还将讲解如何从维护的角度支持您的 AI 项目,如何导航机器学习(ML)和深度学习(DL)的广阔领域,并选择适合您产品的最佳路径,如何理解 AI 产品的当前和未来发展。
到本部分结束时,你将理解人工智能术语和组成部分,了解从投资角度看人工智能实施的含义,如何可持续地维护人工智能产品,以及如何在不同类型的人工智能中选择最适合你的产品和市场的类型。你还将学习如何理解创意构思和构建最小可行产品(MVP)的成功因素,以及如何打造真正为市场服务的产品。
本部分包含以下章节:
-
第一章,理解构建人工智能产品的基础设施和工具
-
第二章,人工智能产品的模型开发与维护
-
第三章,机器学习与深度学习深入解析
-
第四章,人工智能产品的商业化
-
第五章,人工智能转型及其对产品管理的影响
第一章:理解构建 AI 产品的基础设施和工具
奠定坚实的基础是理解任何事物的关键部分,而人工智能(AI)产品的前沿看起来就像我们的宇宙一样:不断扩展。随着我们深入探索一种新的方式来构思产品、组织和我们所参与的行业,这种扩展速度每年都在加快。几乎我们生活的各个方面都将以某种方式受到 AI 的影响,我们希望阅读这本书的人能对他们支持或希望在未来构建的产品中的 AI 应用有更多信心。
本书的第一部分将作为对整体情况的概述。我们将涵盖术语、基础设施、AI 算法的类型以及做得好的产品,到本节结束时,你将理解在尝试构建 AI 策略时需要考虑的各种因素,无论你是打算创建一个原生 AI 产品,还是为现有产品添加 AI 功能。
管理 AI 产品是一个高度迭代的过程,产品经理的工作是帮助你的组织发现最佳的基础设施、培训和部署工作流程的组合,以最大化在目标市场中的成功。AI 产品的性能和成功在于理解管理 AI 管道所需的基础设施,管道的输出将被集成到产品中。在本章中,我们将涵盖从数据库到工作台,再到部署策略和你可以用来管理 AI 项目的工具,以及如何评估产品的有效性。
本章将作为第一部分后续章节的高级概述,但最重要的是为术语提供定义,这在今天市场营销主导的 AI 竞争环境中是相当困难的。现在,似乎每个产品都是 AI 产品,市场营销部门总是喜欢随便撒上这个标签,导致它几乎失去了作为描述词的意义。我们猜测这种情况不会很快改变,但消费者和客户对 AI、机器学习(ML)和数据科学的能力和具体内容有了更多的了解,我们应该能看到产品的构建和优化变得更加清晰。理解 AI 的背景对于任何考虑构建或支持 AI 产品的人来说都很重要。
本章将涵盖以下主题:
-
定义 – 什么是 AI,什么不是 AI
-
ML 与 DL – 理解两者的区别
-
ML 中的学习类型
-
顺序 – 最佳流程是什么,每个过程的环节都在哪里?
-
DB 101 – 数据库、数据仓库、数据湖和湖仓
-
管理项目 – IaaS
-
部署策略 – 我们应该如何处理这些输出?
-
在 AI 中取得成功 – 管理良好的 AI 公司如何正确管理基础设施
-
AI 的前景 – AI 将带领我们走向何方?
定义 – 什么是 AI,什么不是 AI
在 1950 年,数学家和二战英雄艾伦·图灵在他的论文《计算机器与智能》中提出了一个简单的问题 - 机器能思考吗?。今天,我们仍在探讨同样的问题。根据不同的看法,AI 可以是很多东西。互联网上存在许多地图,从在医疗和金融领域使用的专家系统到面部识别,再到自然语言处理和回归模型。在继续本章内容时,我们将涵盖适用于市场新兴产品的 AI 的许多方面。
对于跨行业产品中应用 AI 的目的,在本书中,我们将主要关注在各种容量中使用的 ML 和深度学习(DL)模型,因为这些通常在任何营销能力中提到 AI。我们将使用 AI/ML 作为一个总称来涵盖一系列 ML 应用程序,我们将涵盖大多数人会考虑到的 ML 的主要领域,如 DL、计算机视觉、自然语言处理和面部识别。这些是大多数人在行业中会遇到的应用 AI 的方法,熟悉这些应用程序将为任何希望进入 AI 领域的产品经理提供帮助。如果有的话,我们希望帮助那些希望从其他产品管理背景扩展到该领域的人们选择最吸引他们的 AI 领域。
我们还希望涵盖什么是 ML 和什么不是 ML。我们能够尽可能简单地表达它:如果一台机器正在从某些过去的行为中学习,并且它的成功率因此而提高,那么它就是 ML!学习是活跃的元素。没有模型是完美的,但我们从使用模型中学到了很多。每个模型都会有一些超参数调整的元素,并且每个模型的使用将产生某些性能结果。与这些模型一起工作的数据科学家和 ML 工程师将能够基准性能,并看到性能如何提高。如果有一些固定的、硬编码的规则不改变,那就不是 ML。
AI 是计算机科学的一个子集,所有的程序员都在有效地做同样的事情:给计算机一组指令让其执行。如果你的当前程序在任何方式上都不从过去学习,如果它只是按照硬编码的指令执行,我们不能称之为 ML。你可能听说过基于规则的引擎或专家系统这些术语在其他程序中被提及。它们被认为是 AI 的形式,但它们不是 ML,因为尽管它们是 AI 的一种形式,但这些规则实际上是复制了一个人的工作,而系统本身并没有自行学习或改变。
我们正处于一个 AI 采用的棘手时期,在线上很难找到关于什么构成人工智能的准确信息。营销人员热衷于给他们的产品加上 AI 标签,但市场上仍然没有一个明确的标准来解释这一标签意味着什么。这进一步让消费者和技术人员对 AI 这一术语产生困惑。如果你对这些术语感到困惑,尤其是当它们被应用到你在网上看到的产品时,你绝对不是一个人。
另一个令人困惑的领域是“人工智能”这一总称。对大多数人来说,人工智能的概念让人联想到 1980 年代的终结者系列电影以及其他未来主义的、无法避免的技术毁灭描绘。虽然人工智能确实可能带来很多伤害,但这种描绘代表的是所谓的强人工智能或通用人工智能(AGI)。我们距离 AGI 还有很长的路要走,但我们已经拥有了很多所谓的狭义人工智能或狭义 AI(ANI)。
ANI 通常也被称为弱人工智能,当你看到 AI 标签出现在你在网上找到的产品上时,它通常指的就是这个。ANI 就是字面意思:一种狭窄的 AI 应用。它也许擅长和你对话,预测某些未来的数值,或者整理事务;也许它在这方面是专家,但它的专长不会扩展到其他领域。如果它能扩展到其他领域,它就不再是 ANI 了。AI 的这些主要类别被称为强人工智能和弱人工智能,是与人类智能相比的。即使是最具说服力的对话 AI,虽然它们非常逼真,也只是表现出一种虚幻的智能。实际上,现有的所有 AI 都是弱人工智能或 ANI。我们的终结者时代仍然遥不可及,也许永远不会实现。
对于每个曾经看到关于 AI 具有自我意识或对我们抱有恶意的 Reddit 讨论的人,我们想要明确声明:AGI 并不存在,也没有所谓的具有自我意识的 AI。这并不意味着 AI 在其当前形式下不会主动并常规地对人类造成伤害。这里的一个重要警告是,不道德、草率的 AI 应用已经在积极地给我们带来小的麻烦和大的困扰。伦理和负责任地构建 AI 仍然是一个进行中的工作。虽然 AI 系统可能不会有意识地策划人类的灭亡,但当它们未经测试、不当管理,并且在偏见上没有经过充分审查时,已经部署的 ANI 应用确实能够在我们的生活中造成真正的伤害。
目前,机器能像我们一样思考吗?不,它们并不像我们一样思考。它们将来会吗?我们希望不会。个人而言,我认为人类境遇中的无法忍受的方面应该随着我们结束。但我们确实相信,我们将经历一些最大的痛苦,以及一些最狂野的好奇心,这些都会在人工智能和机器学习的善意影响下产生深远的影响。
ML 与 DL — 理解它们的区别
作为产品经理,你需要与技术团队建立深厚的信任,以便一起构建一个在技术上表现最佳的优秀产品。如果你正在阅读本书,你很可能已经遇到过“ML”和“DL”这两个词。我们将在以下章节中使用ML和DL这两个标题来讲解一些基础知识,但请记住,我们将在第三章进一步阐述这些概念。
ML
在其基本形式中,ML 由两个基本组成部分构成:使用的模型 和 其学习的数据。这些数据是历史数据点,有效地为机器提供了学习的基础,每次重新训练模型时,模型理论上都在不断改进。如何选择、构建、调整和维护模型以优化性能是数据科学家和 ML 工程师的工作。将这些性能优化应用于产品体验本身则是产品经理的工作。如果你在 AI 产品管理领域工作,你将与数据科学和 ML 团队紧密合作。
我们还想区分一下作为 AI 产品经理时你将与哪些人合作。根据你的组织结构,你可能是在与数据科学家和开发者合作以部署 ML,或者你是在与 ML 工程师合作,他们不仅可以训练和维护模型,还能将其部署到生产环境中。我们强烈建议与所有这些相关团队(包括 DevOps 团队)保持良好的关系。
所有的 ML 模型都可以分为以下四大类:
-
监督学习
-
无监督学习
-
半监督学习
-
强化学习
这些是机器学习(ML)的四个主要领域,每个领域都有其特定的模型和算法,用于各自的专业化方向。学习类型与是否对数据进行标注以及你用来奖励模型以获得良好表现的方法有关。这些学习类型无论你的产品是否使用深度学习(DL)模型,都与之相关,因此它们适用于所有 ML 模型。我们将在后面的章节中更深入地讨论学习类型,标题为机器学习中的学习类型。
DL
DL是机器学习(ML)的一个子集,但这些术语在口语中常常几乎被当作独立的表达使用。原因在于,深度学习基于神经网络算法,而机器学习可以被看作是…其余的算法。在前面涵盖机器学习的部分中,我们查看了如何获取数据,利用这些数据训练模型,并使用训练好的模型预测新的未来数据点。每次你使用这个模型时,你可以通过了解误差率来看到它离正确答案有多远,从而进行反复迭代,直到得到一个足够有效的模型。每次,你都是基于包含某些模式或特征的数据创建一个模型。
这个过程在深度学习(DL)中是相同的,但深度学习的一个关键区别在于,数据中的模式或特征主要是通过深度学习算法通过所谓的特征学习或特征工程在分层系统中被捕捉到。我们将在接下来的部分深入探讨各种算法,因为每种算法之间有一些细微差别,但随着你不断发展对机器学习(ML)类型的理解,你也会开始将构成这些主要 AI 领域(ML 和 DL)的不同模型进行分组。出于营销目的,你会大多数看到诸如ML、DL/神经网络或只是通用的AI等术语,用来指代使用 DL 算法的地方。
了解这些术语在实践和模型层面的含义,并且了解它们是如何被非技术性利益相关者传达的,这一点非常重要。作为产品经理,我们处于两个世界的交界处:工程部门在构建的东西和营销部门在传达的内容。每当你听到黑箱模型这个术语时,它指的就是神经网络模型,也就是深度学习。原因在于深度学习工程师通常无法确定他们的模型是如何得出某些结论的,这就造成了对模型操作的不可见性。这种不可见性是双重的,既对工程师和技术人员自身来说如此,也对下游的客户和用户来说也是如此,他们正在体验这些模型的效果,却不知道模型是如何做出某些决定的。深度学习神经网络模仿的是人类思考的结构,使用多层神经网络的方式。
对于产品经理来说,深度学习(DL)带来了可解释性的问题,因为我们对模型是如何得出结论的几乎没有了解,并且根据产品的具体情况,可解释性的重要性可能会有所不同。另一个固有的挑战是,这些模型本质上是自我学习的,因为它们不会等待工程师选择对数据最相关的特征;神经网络本身会进行特征选择。它几乎不需要工程师的输入就能学习。可以把这些模型看作是*“做什么”,而接下来的学习类型部分则是“如何做”*。再次提醒,当我们继续讨论学习风格时(无论是监督学习、无监督学习、半监督学习还是强化学习),这些学习风格适用于深度学习(DL)和传统的机器学习(ML)模型。
让我们来看一下机器学习中的不同学习类型。
机器学习中的学习类型
在本节中,我们将介绍监督学习、无监督学习、半监督学习和强化学习之间的区别,以及这些学习类型如何应用。再次强调,学习类型与是否对数据进行标注以及你用来奖励模型良好表现的方法有关。最终目标是理解哪种学习模型能带来你所需的性能和可解释性,从而帮助你在决定是否将其应用到产品中时做出选择。
监督学习
如果人类在标注数据,并且机器也在寻找正确标注当前或未来数据点,那么这是监督学习。因为我们人类知道机器正在试图得出的答案,我们可以看到它们与正确答案的偏差,然后我们不断训练模型并进行再训练,直到我们找到一个满意的准确度。
监督学习模型的应用包括分类模型,例如垃圾邮件过滤器,用于将数据进行分类;或回归模型,用于找出变量之间的关系,以预测未来事件并发现趋势。请记住,所有模型只会在一定程度上有效,这也是它们需要不断训练和更新的原因,因此 AI 团队通常会使用集成建模,或尝试多种模型并选择表现最好的一个。无论哪种方式,它都不完美,但通过足够的辅导,它会让你越来越接近真相。
以下是你在生产中可能会使用的常见监督学习模型/算法的列表,这些模型可用于各种产品:
-
朴素贝叶斯分类器:该算法天真地将数据集中的每个特征视为独立变量。因此,它本质上是通过概率方式寻找关联,而不对数据做任何假设。它是所有算法中较为简单的之一,正是其简单性使得它在分类问题中如此成功。它通常用于二元值的问题,例如判断某个内容是否为垃圾邮件。
-
支持向量机(SVM):该算法也主要用于分类问题,基本上是将数据集划分为两个类别,以便你可以将数据分组并预测未来数据点在这些主要划分中的位置。如果数据之间的分组不明显,SVM 允许你添加更多维度,从而更容易看到分组。
-
线性回归模型:这些模型自 1950 年代以来就已经存在,是我们解决回归问题(如预测未来数据点)时最简单的模型。它们本质上使用数据集中的一个或多个变量来预测因变量。该模型中的线性部分试图找到最佳拟合数据的直线,这条直线决定了预测的方式。在这里,我们再次看到一个相对简单的模型,因为它的多功能性和可靠性使得它被广泛使用。
-
逻辑回归:该模型与线性回归类似,你有独立变量和因变量,但它并不是预测一个数值,而是预测未来的二元分类状态,例如预测某人未来是否会违约。
-
决策树:该算法在预测分类问题和数值问题时都表现良好,因此被广泛用于这两类机器学习问题,例如预测未来的状态或价格。虽然这种方法较少见,但决策树常用于这两类问题,这也促成了它的流行。与树的比较来自于它的节点和分支,这些节点和分支就像流程图一样运作。该模型通过学习过去数据的流向来预测未来的值。
-
随机森林:该算法是在前述决策树的基础上构建的,且同样用于分类和数值问题。其工作原理是将数据拆分为不同的随机“样本”,为每个样本创建决策树,然后根据平均值或多数投票来做出预测(具体取决于你是用它进行分类还是数值预测)。由于随机森林的推理过程较难理解,如果对可解释性要求不是特别高,可以使用它。
-
K-最近邻(KNNs):该算法专门用于分类和数值预测,因此它寻找未来的状态,并提供按组分配的结果。组内的数据点数量由工程师/数据科学家设定,模型的工作方式是通过对数据进行分组,确定数据与其邻居共享的特征,并基于这些邻居给出对未来值的最佳猜测。
现在我们已经讨论了监督学习,接下来让我们讨论无监督学习。
无监督学习
如果数据没有标签,并且我们正在使用机器来给数据加标签并发现我们尚未了解的模式,那就是无监督学习。实际上,我们人类要么知道正确答案,要么不知道,这就是我们区分机器学习算法属于哪个类型的方式。正如你可能想象的那样,我们对无监督学习模型的结果持有一些怀疑态度,因为它可能找到的模式并不实际有用或准确。无监督学习模型还需要大量数据来进行训练,因为如果它尝试从小样本数据中寻找模式,结果可能会非常不准确。随着它接收更多的数据,性能将逐步提高并变得更加精确,但再次强调,这没有正确的答案。
无监督学习模型的应用包括聚类和降维。聚类模型将数据分割或分组到某些区域。这些可以用于诸如在医学试验或药物发现中寻找模式的任务,因为你正在寻找可能尚无明显答案的数据连接和数据组。降维本质上是去除数据集中那些对你想要的性能贡献较小的特征,从而简化数据,使得最重要的特征能够最佳地提高性能,从噪声中区分出真实的信号。
以下是你在生产环境中可能会使用的常见无监督学习模型/算法列表:
-
K-means 聚类:该算法将数据点分组,以便更好地发现模式(或簇),同时也会寻找某个最优的簇数。这是无监督学习,因此模型试图找到可以从中学习的模式,因为它没有获得任何来自使用它的工程师的提示或监督。而且,分配的簇数是一个超参数,你需要选择最优的簇数。
-
主成分分析 (PCA): 使用无监督机器学习对非常大的数据集进行处理时,常见的问题是存在太多不相关的数据,难以找到有意义的模式。这就是为什么 PCA 如此常用的原因,因为它是减少数据维度的好方法,同时不会丢失或舍弃任何信息。这对于大数据集特别有用,例如在基因组测序或药物发现试验中寻找模式。
接下来,让我们深入了解半监督学习。
半监督学习
在一个完美的世界里,我们会有大量标注良好的数据集,用于创建不会过拟合的最佳模型。过拟合是指你创建并调整一个模型,使其完全适应现有数据集,但它可能拟合得过于完美,这意味着它对特定的数据集进行了优化,但在面对更广泛的数据时表现不佳。这是数据科学中的一个常见问题。我们生活在一个不完美的世界中,常常会遇到数据不足或根本没有足够标注数据的情况。这时,半监督学习就派上了用场。我们提供一些标注数据集,并且还包括一个未标注的数据集,从而在模型尝试发现模式时,给它一些正确方向上的提示。
它与监督学习没有相同的绝对真理级别,但它确实为模型提供了一些有用的线索,以组织其结果,从而找到通向正确答案的更容易路径。
例如,假设你在寻找一个能够有效检测照片或语音模式的模型。你可能会标注其中的一些数据,然后观察未标注数据在性能上的改进情况。你可以在半监督学习中使用多个模型。这个过程类似于监督学习,监督学习使用标注数据集进行学习,从而准确了解它与正确答案的偏差。监督学习和半监督学习之间的主要区别是,半监督学习是在预测一部分新的未标注数据,然后基本上将其准确性与标注数据进行对比。你把未标注的新数据点加入训练集,使得它在正确数据上进行训练。
最后,为了结束本节内容,让我们简要了解一下强化学习。
强化学习
这一领域的机器学习通过试错有效地进行学习,它从过去的行为中学习,并自我调整方法以找到最佳的表现。强化学习有一个顺序,它实际上是基于权重和奖励的系统,通过奖励来强化正确的结果。最终,模型会尝试优化这些奖励,并随着时间的推移不断提高。我们看到强化学习在机器人学中得到广泛应用,例如,机器人通过训练学习如何操作并调整自身以适应现实世界中的各种不可预测性。
现在我们已经讨论并理解了不同类型的机器学习,让我们继续了解机器学习过程的最佳流程。
顺序——什么是最佳流程,过程中的每个环节在哪里?
想要通过 AI/ML 创造价值的公司,与其犹豫不决的竞争对手相比,有很多潜力可供挖掘。根据麦肯锡全球研究院的数据,“到 2025 年,完全吸收 AI 到其价值创造工作流程中的公司,将在 2030 年全球经济中主导,并实现+120%的现金流增长。” 接受并将 AI 生产化——无论是在产品中还是用于内部目的——是复杂的,技术债务沉重且昂贵的。一旦选择了模型和用例,将其实现到生产环境中成为一个难以管理的程序,这是许多公司将面临的挑战,尤其是当我们看到非科技行业的公司开始面对 AI 接纳的挑战时。将过程操作化、更新模型、保持数据的新鲜与清洁、组织实验,以及验证、测试和存储等相关工作,都是复杂的部分。
为了让整个过程更易于理解,我们将其呈现为一个逐步的流程,因为其中有不同层次的复杂性,但基本组件是相同的。一旦你完成了简单部分,并确定了你认为最适合你用例的模型和算法,你就可以开始完善你的 AI 系统管理流程。
第一步 – 数据可用性与集中化
本质上,你需要一个中央位置来存储你的 AI/ML 模型和算法将要学习的数据。根据你投资的数据库或使用的遗留系统,你可能需要一个 ETL 管道和数据工程,来为你的生产化 AI/ML 模型提供数据层和元数据,从而使其能够进行数据摄取并提供洞察。可以把这看作是创建供你的 AI/ML 系统使用的管道。
AI 依赖于数据,如果你的数据交付系统笨拙或缓慢,你在生产过程中会遇到问题。选择存储数据的首选方式本身就很棘手。你无法预见技术栈在扩展时会如何演变,因此选择一个既具成本效益又可靠的解决方案本身就是一个任务。例如,当我们在之前工作的网络安全公司开始为更多客户提供服务时,我们注意到某些客户面向的仪表板加载时间变慢。问题部分源于客户数量的增加,以及他们的元数据过大,无法支持我们现有的管道。
第二步 – 持续维护
到这个阶段,你已经有了自己的模型和算法,并且选择了一个数据传输系统。现在,你将进入持续维护这个系统的流程。在 DevOps 中,这被称为持续集成(CI)/持续交付(CD)。在后续章节中,我们将介绍AI 操作(AIOps)的概念,但目前,以下是针对 AI 管道持续维护的各个阶段的清单。以下是持续维护过程中四个主要组成部分:
-
CI:测试/验证代码和组件,以及数据、数据模式和模型
-
CD:代码的更改或更新会持续传递,因此,一旦你做出更改,它们将先出现在测试环境中,然后再进入生产环境,而不会有任何暂停。
-
CT:我们已经提到过,持续学习对 ML 来说非常重要,而持续训练将这一过程转化为生产化,以便在你的数据源被刷新时,模型能够持续训练并从新的数据中学习。
-
CM:我们不能让 ML/AI 模型持续运行而不持续监控它们,以确保没有出现严重问题。
如果你不不断迭代你的流程,你就无法负责任地管理 AI 项目。你的模型和超参数会变得陈旧。你的数据也会过时,当这种迭代过程停滞时,它将不再有效。性能是你需要不断更新的内容,因为无论是否面向客户,性能不佳都将显而易见。话虽如此,事情也可能会出错。例如,性能的滞后或模型更新频率的下降可能导致人们失业、无法获得竞争力的按揭利率,或者被判不公正的监禁。由于模型维护不当,可能会带来下游效应,从而产生严重后果。我们建议你查阅本章末尾的附加资源部分,获取更多示例和信息,了解停滞不前的 AI 系统如何对环境和人们造成灾难性影响。
B 101 – 数据库、数据仓库、数据湖和湖仓
AI/ML 产品依赖于数据运行。数据存储的位置和方式是一个重要的考量,它会影响你的 AI/ML 性能,在这一部分,我们将讨论一些最常见的数据存储工具。找到存储、访问和训练数据的最佳方式本身就是一个专业领域,但如果你从事 AI 产品管理,最终你需要理解使你的 AI 产品运作的基本构成要素。简单来说,就是数据。
由于 AI 需要大数据,这将成为你产品和业务的重要战略决策。如果你没有一个高效的系统,开个玩笑,你将遇到一些问题,这会影响你模型的性能,进而影响你产品本身。对你特定产品的最具成本效益且以性能为驱动的解决方案有一个清晰的把握,并在这些不同的因素之间找到平衡,将有助于你作为产品经理的成功。是的,你会依赖技术高管做出许多这样的决策,但你将参与这些决策的制定,因此在这里需要一定的了解。
让我们来看看一些用于存储 AI/ML 产品数据的不同选项。
数据库
根据你组织的目标和预算,你将以某种方式在数据湖、数据库和数据仓库之间集中管理数据,甚至可能会考虑一个新的选择:数据湖仓。如果你刚刚开始接触这个领域,你可能只是将数据存储在关系型数据库中,以便可以轻松访问和查询。如果你的设置相对简单,数据库是实现这一目标的好方法。使用关系型数据库时,如果你想将这些数据与另一个数据库中的数据结合,你将面临对齐这些模式的问题。
如果你主要使用数据库进行查询以访问数据,并且只使用公司数据的某一子集来分析一般趋势,那么关系型数据库可能已经足够。如果你想将来自不同领域的各种数据集结合起来,并且希望完成更高级的分析、仪表盘或 AI/ML 功能,那么你需要继续阅读。
数据仓库
如果你希望将数据集中存储,并且有大量结构化数据进入,你更有可能使用数据仓库。这实际上是迈向成熟的第一步,因为它能帮助你快速地从各个业务单元中提取洞察和趋势。如果你希望以多种方式利用 AI/ML,而不仅仅是某一种特定的方式,那么这将对你非常有帮助。
比如说,假设你想在现有产品中以及 HR 功能中添加 AI 特性。你将利用客户数据,根据其他同类群体的表现,向客户提供趋势或预测,同时使用 AI/ML 对内部员工进行预测或优化。这两个使用场景都可以通过数据仓库得到很好的支持。
数据仓库确实需要一些前期投资,以制定计划并设计数据结构。同时,它们也需要昂贵的投入,因为它们能够按需提供数据供分析使用,所以你需要为保持数据随时可用而支付额外费用。根据内部用户的技术水平,你可以选择更便宜的选项,但如果大多数业务用户需要容易理解的数据分析方式,这个选项对于组织来说是最优的。不管怎样,数据仓库将使你能够为内部用户和利益相关者团队创建仪表盘。
数据湖(和湖仓)
如果你手头有大量原始的、非结构化的数据,并且希望找到一个更具成本效益的存储地点,那么你可以考虑数据湖。在这里,你可以存储非结构化、半结构化以及结构化数据,且这些数据可以被更具技术背景的内部用户轻松访问。例如,数据科学家和机器学习工程师能够处理这些数据,因为他们会创建自己的数据模型来实时转换和分析数据,但这并非大多数公司所能做到的。
如果你的数据湖中有大量的、业务用户不需要立即使用的数据,保持数据在数据湖中的存储会非常便宜,但你永远无法真正用数据湖替代数据仓库或数据库。数据湖更像是一个“锦上添花”的选择。如果你有一个庞大的历史数据湖,计划在未来用于分析,你需要考虑另一种存储方式,以便获取那些洞察。
你可能还会遇到湖仓这个术语。目前市面上有许多数据库、数据仓库和数据湖。然而,我们所知道的唯一湖仓是由一家名为 Databricks 的公司推广的。它提供类似数据湖的服务,但具有一些数据仓库的功能,特别是展示数据、使数据对非技术内部用户可用且可吸收,并能用这些数据创建仪表盘。这里最大的优势在于,你可以提前存储数据并支付存储费用,同时也能在后续访问和处理这些数据。
数据管道
无论你使用什么技术来维护和存储数据,你仍然需要设置管道,确保数据的流动,确保你的仪表盘能根据业务需求及时刷新,并确保数据按照需要的方式流动。处理和传递数据也有多种方式。你可能会对大批量的数据进行批处理(batch processing),在不同的时间间隔移动,或者使用实时管道,在数据生成的瞬间就能获取实时数据。如果你希望利用预测分析、启用报告,或者有一个系统来移动、处理和存储数据,那么数据管道可能就足够了。然而,根据你的数据正在做什么以及需要多少转换,你很可能会同时使用数据管道,甚至更具体地使用 ETL 管道。
ETL 代表提取、转换和加载,因此你的数据工程师将为更高级的系统创建特定的管道,比如将所有数据集中到一个地方、添加数据或进行数据丰富、将数据与你的CRM(客户关系管理)工具连接,甚至在系统间转换数据并为其添加结构。这样做的原因是,当使用数据仓库或数据库时,这是一个必要的步骤。如果你仅使用数据湖,你将拥有分析所需的所有元数据,并可以根据需要获得洞察。在大多数情况下,如果你正在使用 AI/ML 产品,你将与一位数据工程师合作,帮助推动所需的数据流,确保你的产品成功,因为你很可能同时使用关系型数据库和数据仓库。使 AI/ML 功能生效所需的分析很可能需要由专注于 ETL 管道的数据工程师来支持。
管理和维护这个系统也将是你数据工程师的工作,我们鼓励每个产品经理与支持其产品的数据工程师保持密切关系。两者之间的一个关键区别是,ETL 管道通常是批量更新的,而不是实时更新的。例如,如果你使用 ETL 管道来更新客户如何使用产品的历史性日常信息,并在平台中提供面向客户的洞察,那么保持每天下午两次更新这个批量更新可能是最理想的。然而,如果你需要为内部业务用户使用的仪表盘提供实时洞察,并且他们依赖这些数据做出日常决策,那么你很可能需要依赖一个持续更新的数据管道。
现在,我们理解了存储数据的不同选项以及如何为业务选择合适的选项,接下来让我们讨论如何管理我们的项目。
项目管理 – IaaS
如果你打算在组织中创建 AI/ML 系统,你必须将其视为一个独立的生态系统,且需要持续维护。这也是为什么 MLOps 和 AIOps 与 DevOps 团队密切合作的原因。越来越多的我们将开始看到更多的托管服务和基础设施即服务(IaaS)产品问世。行业已经出现了向像 Determined AI 和 Google 的 AI 平台管道工具等公司转型的趋势,以满足市场需求。这个需求的核心是希望减轻那些在开始承担搭建 AI 系统这一巨大任务时感到困惑的公司的一些负担。
就像 DevOps 团队在大规模软件开发中变得流行一样,经过数十年的错误,我们也将看到类似的现象出现在 MLOps 和 AIOps 中。开发解决方案和将其投入运行是两个不同的关键领域,需要协同工作。这对于 AI/ML 系统尤其如此。当前的趋势是 IaaS。这是一个重要的概念,因为刚刚接触 AI 的公司通常不了解正确实施 AI 所需的成本、存储、计算能力和投资,特别是对于需要大量数据进行训练的深度学习(DL)AI 项目。
到目前为止,大多数公司还没有运行 AI/ML 项目数十年,也没有专门的团队。像 MAANG(Meta、Amazon、Apple、Netflix、Google)这样的科技公司在管理 AI/ML 方面引领着文化规范,但大多数需要拥抱 AI 的公司并非科技公司,而且在应对 AI 采纳所带来的技术债务方面,工程团队基本上没有准备。
为了启动 AI 项目而采取的捷径将需要对代码进行重构,或改变数据存储和管理方式,这也是为什么 AI 采纳的战略规划至关重要的原因。这也是为什么这么多 IaaS 服务不断涌现,帮助工程团队保持灵活,以便在未来需要变更时可以更方便。随着时间的推移,保持 AI 团队正常运行所需的基础设施将发生变化,使用 IaaS 提供商的优势在于,你可以运行所有项目,且只需为 AI 开发人员实际使用数据训练模型的时间付费。
部署策略——我们该如何处理这些输出?
一旦你对所选择的模型(包括它们的性能和错误率)感到满意,并且你的基础设施足以支持产品和选定的 AI 模型用例,你就可以准备进入流程的最后一步,将代码部署到生产环境中。保持适合你产品和组织的部署策略将是我们在上一节中提到的持续维护的一部分。你需要考虑诸如何时重新训练模型和更新训练数据以防止模型衰退和数据漂移等问题。你还需要一个系统来持续监控模型的表现,因此这个过程将非常具体,取决于你的产品和业务,特别是因为这些重新训练的周期会导致系统的一些停机时间。
部署将是一个动态的过程,因为你的模型主要是试图有效地对真实世界数据做出预测,因此,取决于你的数据所处的环境,你可能需要根据情况给予部署更多或更少的关注。例如,在我们为一家机器学习房地产科技公司工作的过程中,由于迁移数据和房价数据因疫情而发生剧烈变化,我们几乎每天都在更新、重新训练和重新部署我们的模型。如果这些模型没有得到及时检查,而且没有来自产品双方的工程师和业务领导支持(无论是客户端还是内部),我们可能无法及时发现模型在代表不充分的数据时所做的严重偏差。
你还需要了解一些著名的部署策略。我们将在以下小节中讨论它们。
阴影部署策略
在这种部署策略中(通常称为阴影模式),你将部署一个带有新特性的模型,同时保留一个已经存在的模型,这样部署的新模型仅仅作为当前生产中模型的影像存在。这也意味着新模型会像现有模型一样处理所有接收到的请求,但不会展示该模型的结果。此策略使你能够观察阴影模型在相同的真实世界数据上是否表现更好,而不会中断正在生产环境中运行的模型。一旦确认新模型表现更好且没有运行问题,它将成为主要模型,完全部署到生产环境中,而原有模型将被淘汰。
A/B 测试模型部署策略
在这个策略中,我们实际上看到两个略有不同的模型,具有不同的功能,目的是同时了解它们在实际环境中的表现。这两个模型是同时设置的,并且性能已经优化,以促进转化。这实际上就像是一个实验,你在观察一个模型与另一个模型的结果,并且从一些假设或预期开始,认为某一个模型比另一个模型表现更好,然后你验证这些假设,看看自己是否是对的。然而,你的模型差异必须非常小,因为如果两个模型的特征差异过大,你就无法理解到底是什么因素让你取得了最大的成功。
金丝雀部署策略
在这里,我们看到了一种更渐进的部署方式,你实际上创建了一些用户子集,之后这些用户将体验你的新模型部署。在这里,我们看到被引入到新模型的用户数量随着时间的推移逐渐增加。这意味着你可以在用户群体之间有一定的缓冲时间,以了解他们是如何反应和与这个新模型互动的。本质上,你是在用不同的用户群体作为测试者,在发布到下一批用户之前,逐步发现潜在的错误。如果你有耐心和勇气,这个过程虽然缓慢,但也很有回报。
还有更多的策略可以选择,但请记住,这些策略的选择将取决于你的产品性质,最重要的是你的客户和用户的需求,还有你的预算、指标和性能监控、技术能力和知识、以及你所拥有的时间表。除了部署之外,你还需要帮助你的业务理解他们应该多频繁地进行代码重构和分支。
现在我们已经讨论了不同的部署策略,让我们来看一下成功实现 AI 所需的条件。
在 AI 中取得成功——管理良好的 AI 公司如何做好基础设施
这表明了机器学习系统的复杂性,许多依赖机器学习的大型科技公司都拥有专门的团队和平台,专注于构建、训练、部署和维护机器学习模型。以下是一些你在构建机器学习/人工智能程序时可以采用的选项:
-
Databricks 有 MLflow:MLflow 是由 Databricks 开发的开源平台,旨在帮助企业管理完整的机器学习生命周期。它允许你进行实验并与任何库、框架或语言协作。其主要优点包括实验跟踪(可以查看你的模型在不同实验之间的表现)、模型管理(管理团队成员之间的所有模型版本)、以及模型部署(可以在工具中快速查看部署情况)。
-
Google 拥有 TensorFlow Extended (TFX):这是 Google 基于 TensorFlow 构建的最新产品,是一个端到端的平台,用于部署生产级别的 ML 流水线。它允许你在团队内外进行协作,并提供强大的功能,适用于可扩展的高性能环境。
-
Uber 拥有 Michelangelo:Uber 是一个很好的例子,他们在内部创建了自己的 ML 管理工具,用于协作和部署。此前,他们使用的是不同的语言、模型和算法,团队之间也存在孤岛现象。在实施 Michelangelo 后,他们能够将不同的技能和能力整合到一个系统中。他们需要一个可靠、可重现和标准化的流水线,用于大规模地创建、管理、预测和部署数据。
-
Meta 拥有 FBLearner Flow:Meta 还为管理其众多 AI 项目创建了自己的系统。由于机器学习(ML)是其产品的基础组成部分,Meta 需要一个平台来实现以下目标:
-
每个曾经实现的 ML 算法,都要具备在以后由其他人重复使用的能力。
-
每个工程师都应具备编写可以重复使用的训练流水线的能力。
-
让模型训练变得简单和自动化。
-
每个人都应该能轻松地搜索过往的项目和实验。
-
实际上,Facebook 创建了一个易于使用的知识库和工作流程,以集中管理他们的所有 ML 操作。
-
Amazon 拥有 SageMaker:这是 Amazon 的产品,允许你使用其自有的一系列完全托管的基础设施工具和工作流程来构建、训练和部署你的 ML 模型和程序。该产品的理念是根据客户的需求,提供低代码或无代码的用户界面,无论你是雇佣了 ML 工程师还是业务分析师。如果你已经在使用 Amazon 的云基础设施,那么使用他们的基础设施来自动化和标准化你的 ML/AI 项目和操作,进一步提升规模化能力,也是非常有优势的。
-
Airbnb 拥有 Bighead:Airbnb 创建了自己的 ML 基础设施,旨在实现 AI/ML 组织之间的标准化和集中化。他们使用了如 Zipline、Redspot 和 DeepThought 等一系列工具来协调他们的 ML 平台,力图实现与 Facebook 和 Uber 相同的目标:减少错误和差异,最小化重复性工作。
正如我们所见,有多个平台可以用来创建、训练和部署 ML 模型。最后,让我们来看看 AI 的未来将会是什么样子。
AI 的承诺——AI 将把我们带向何方?
那么,AI 实施的时代将走向何方?这对所有行业意味着什么?目前,我们正面临一个具有地缘政治影响的行业,这是一项技术上显而易见的决策,伴随着大量责任、成本和机会。只要公司和产品经理意识到正确照顾 AI 程序所需的风险、成本和投资水平,将其作为好奇心的源泉,并将 AI/ML 应用到早期创造成功的项目中,并从这些知识中不断发展,投资于 AI 的公司将体验到 AI 的承诺。这一承诺根植于量化预测和优化。例如,Highmark Inc. 通过使用 ML 进行欺诈检测,在 2019 年节省了超过 2.6 亿美元,GE 通过预测性维护帮助客户节省了超过 16 亿美元,亚马逊的 35% 销售额来自其推荐引擎。
当三分之一的收入来自 AI 算法时,几乎没有任何反驳的余地。不管你在 AI/ML 上投资多少,确保你通过合理规划和战略来最大化其效能,找到了解该领域及其潜在风险的有能力的人才,并选择合适的可扩展基础设施,以限制重构工作。
只要你的 AI/ML 项目直接与影响成本节省或收入的结果挂钩,如果你负责这些项目,你很可能会在自己的职业生涯中获得成功。建议从小处着手,将其应用于明确的商业目标,追踪该目标,并展示其有效性,这是一种聪明的策略,因为本章详细讲述了维护 AI 程序的多个领域,以及可能遇到的障碍。 如果你无法向即使是最犹豫的高管传达 AI 的优势和能力,证明时间、人员投入和基础设施支出的价值将是一个挑战。
这对于你的技术资源(数据科学家、数据工程师和 ML 工程师)以及你的业务利益相关者也很重要。了解你将使用的 ML 算法或获得一些关于如何最好地存储数据的建议是一回事,但如果你没有与自己的项目进行迭代,增长自己的知识和直觉,去了解哪些方法最有效,你将无法真正成为组织内部变革的推动者。我们通过迭代学习,并且完成任务的成功越多,我们的信心也越大。作为产品经理,你也会有同样的经历。
在之前的例子中,GE 通过为客户提供成本节省,高马克通过预测欺诈来防止未来的瓶颈,而亚马逊则通过 ML 增加了收入。当我们思考 AI 的前景以及它将引领我们走向何方时,这些例子推动了这样一个观点:这是最新工业革命的摇篮。这不仅是对公司有益的事情,更是对所有人都将带来益处。虽然这些益处的分配可能并不完全平等,因为最终是那些投资于这项技术的公司,且它们将首先寻求获得最高回报,但要点是,消费者和企业都将从 AI 中受益。
总结
本章涵盖了很多内容,但请记住,这里提到的许多概念将在后续章节中进一步讨论。很难过分强调 AI/ML 成功所需的基础设施,因为其性能很大程度上取决于我们如何传递数据以及如何管理部署。我们讨论了 ML 和 DL 的基本定义,以及它们可以采用的学习类型。我们还讨论了搭建和维护 AI 管道的一些基础知识,并列举了一些其他公司如何管理此类操作的例子。
构建利用 AI/ML 的产品是一项雄心勃勃的任务,本章旨在为整体建立 AI 程序的过程提供足够的基础,这样我们就可以在接下来的章节中不必引入太多新的概念,从而在这个过程中逐步深入各个方面。如果你感到有些不知所措,那只意味着你正在掌握构建 AI 所需的规模。这是一个好兆头!在第二章中,我们将详细讨论如何使用和维护我们在本章中简要介绍过的 ML 模型。
额外资源
如需更多信息,可以参考以下资源:
- Weapons of Math Destruction(《数学摧毁武器》) by Cathy O’Neil:
www.amazon.com/Weapons-Math-Destruction-Increases-Inequality/dp/0553418815
)
-
Invisible Women: Exposing Data Bias in a World Designed for Men(《隐形女性:揭露一个为男性设计的世界中的数据偏见》) by Caroline Criado Perez:
www.amazon.com/Invisible-Women-Data-World-Designed/dp/1419735217/ref=sr_1_1?keywords=invisible+women&qid=1673296808&sr=8-1
-
The Ethical Algorithm: The Science of Socially Aware Algorithm Design(《伦理算法:社会意识算法设计的科学》) by Michael Kearns, Aaron Roth:
www.amazon.com/Ethical-Algorithm-Science-Socially-Design/dp/0190948205/
)
- 人工智能误解:计算机如何误解世界 由梅雷迪斯·布鲁萨德(Meredith Broussard)著作:
www.amazon.com/Artificial-Unintelligence-Computers-Misunderstand-World/dp/026253701X/
)
- 压迫的算法:搜索引擎如何加剧种族主义 由萨菲亚·乌莫贾·诺布尔(Safiya Umoja Noble)著作:
www.amazon.com/Algorithms-Oppression-Search-Engines-Reinforce/dp/1479837245/
)
- 技术后的种族:废奴主义工具与新的吉姆法则 由鲁哈·本杰明(Ruha Benjamin)著作:
www.amazon.com/Race-After-Technology-Abolitionist-Tools/dp/1509526404/
)
- 监控资本主义时代:新权力前沿的人类未来之战 由肖莎娜·祖博夫(Shoshana Zuboff)著作:
www.amazon.com/Age-Surveillance-Capitalism-Future-Frontier/dp/1541758005/
)
- 自动化不平等:高科技工具如何剖析、监控与惩罚贫困人群 由维吉尼亚·尤班克斯(Virginia Eubanks)著作:
www.amazon.com/Automating-Inequality-High-Tech-Profile-Police/dp/1250074312/
)
- 数据女权主义 由凯瑟琳·迪尼贾佐(Catherine D’Ignazio)著作:
www.amazon.com/Feminism-Strong-Ideas-Catherine-DIgnazio/dp/0262044005/
)
参考资料
)
)
-
AI-50 美国最具前景的人工智能公司:
www.forbes.com/sites/alanohnsman/2021/04/26/ai-50-americas-most-promising-artificial-intelligence-companies/?sh=3b5e27ef77cf
-
SHEIN 的 AI 程序匹配本地需求并实现 规模化:
www.psfk.com/2022/06/sheins-consumer-to-manufacturer-ai-program-matches-local-demand-at-scale.html#:~:text=Shein’s%20AI%20engine%20can%20quickly,brand%20much%20cheaper%20operating%20costs
)
-
产品驱动增长, 韦斯·布什
-
关注差距 - 只有在生产环境中才算是 AI/ML:数据战略系列第 4 部分:
www.credera.com/insights/mind-gap-not-ai-ml-unless-production-data-strategy-series-part-4
)
- Airbnb 的端到端 ML 平台:
medium.com/acing-ai/airbnbs-end-to-end-ml-platform-8f9cb8ba71d8
)
-
Amazon SageMaker:
aws.amazon.com/sagemaker/
-
介绍 FBLearner Flow:Facebook 的 AI 骨干:
engineering.fb.com/2016/05/09/core-data/introducing-fblearner-flow-facebook-s-ai-backbone/
)
- 认识米开朗基罗:Uber 的机器学习 平台:
www.uber.com/blog/michelangelo-machine-learning-platform/
)
- TFX 是一个用于部署生产级 ML 管道的端到端平台:
www.tensorflow.org/tfx
)
- 管理的 MLflow 管理完整的机器学习 生命周期:
www.databricks.com/product/managed-mlflow
)
)
- 计算机机械与 智能:
phil415.pbworks.com/f/TuringComputing.pdf
)
- 构建 MLOps 基础的关键要求:
cloud.google.com/blog/products/ai-machine-learning/key-requirements-for-an-mlops-foundation
)
- TikTok 是如何使用机器 学习的?:
dev.to/mage_ai/how-does-tiktok-use-machine-learning-5b7i
第二章:AI 产品的模型开发与维护
在本章中,我们将探讨模型开发的细微差别,从线性回归到深度学习神经网络模型。我们将涵盖可用于使用的各种模型以及维护这些模型所涉及的内容,从它们的开发和训练到它们的部署和最终测试。这将是一个基本概述,以理解产品经理可以从支持其产品的工程和运维团队中期待的模型维护的端到端过程。
将任何新产品推向市场涉及许多工作。如果您是产品经理已经有一段时间了,您可能对新产品开发(NPD)流程或步骤已经很熟悉了。作为本章的前奏部分,特别是那些对 NPD 流程不熟悉的人,我们将在本章的第一部分总结每个步骤。总的来说,本章将涵盖以下主题:
-
理解 NPD 的各个阶段
-
模型类型 – 从线性回归到神经网络
-
培训 – 模型何时准备好上市?
-
部署 – 工作站之后发生了什么?
-
测试和故障排除
-
刷新 – 我们更新模型的伦理问题
理解 NPD 的各个阶段
在本节中,我们将涵盖 NPD 周期的各个阶段,特别是与 AI/ML 产品的出现相关的部分。在每个阶段,我们将从构思阶段开始,讨论您在市场上需要解决的需求以及为什么需要通过 AI 来增强该需求的主要基础领域。在定义阶段,您为产品需求提供支持。在设计阶段,您为最终产品引入活跃的视觉和体验元素。在实施阶段,您开始构建它。在市场推广阶段,您为广泛的受众打造产品信息。在培训阶段,您测试产品并确保其按预期使用。最后,在发布阶段,您向更广泛的受众发布产品以获取反馈。让我们在以下部分更详细地了解这些阶段。
第 1 步 – 探索
在这个阶段,你正在进行创意构思。你需要明确你要解决的特定问题,并且在机器学习(ML)产品的背景下,这一阶段的关键部分是理解你为什么要用机器学习来解决这个特定问题。借用西蒙·西内克(Simon Sinek)在其畅销书《找到你的“为什么”》中的一句话(simonsinek.com/books/find-your-why/
),这就是你“找到你的为什么”的时刻。这个阶段,你会思考问题的根本原因,并力求找出问题中最紧迫的部分,以便日后可以解决未满足的需求或服务不足的客户。
这需要收集关于客户所面临的特定问题的定性和定量反馈,这些问题是你希望解决的。这里最大的重点是创造力——头脑风暴潜在的解决方案,然后你可以在后续分析并进一步探索(或舍弃)这些方案。
步骤 2 – 定义
第二阶段完全是关于定义你的最小可行产品(MVP)。你已经收集了第一步中关于问题和潜在解决方案的所有反馈,但现在你实际上是根据这些想法构建一个计划。你得从某个地方开始,对吧?所以,这一步就是筛选你在发现阶段的创意,选择出那个最有可能解决客户最大问题的方案。在这里,所有的创意头脑风暴会经过检验并被分析,以最佳方式理解第一阶段中哪些想法是可行的。你在寻找的是,你需要的最少功能数,以创建一个版本的产品,能够解决你希望服务的客户的主要问题领域——或者假设的问题。
至于你的模型,这也是定义模型性能指标的地方,这些指标将标记出你的模型需要达到的最低性能,以便成为客户的一个良好、可行的选项。记住,这仅仅是你的最小可行产品(MVP)。其思路是,你首先从 MVP 开始,然后通过冲刺或产品开发过程进行迭代,逐步提升产品性能,或者根据客户的需求,随着时间推移增加他们可能偏好或需要的功能。模型性能的工作方式也类似。当你与客户合作时,你将共同完善产品、模型以及这些模型的性能。
步骤 3 – 设计
在这一过程中,第一步和第二步是识别您想解决的问题,提出想法,并定义解决该问题所需的最低工作量。现在,在第三步设计阶段,您实际构建出 MVP,并开始拼凑它可能的样子。这一步骤最为注重解决方案的找寻。在这一阶段,您会为产品的用户交互设计制作原型,定义 UI 的外观,以及产品体验如何展开。对于 AI 产品,这也是您开始识别以下章节中提到的哪些模型最适合为您的产品服务的时刻。
这一阶段完全是关于创建 UI/UX 元素的路线图。在这一阶段,您需要邀请一些客户参与解决方案的设计,并且对于 AI 产品,您需要设定一些性能基准和目标,以确保您的模型能够达到这些要求。在设计过程中将性能因素融入其中,并与最终用户管理这些期望,是清晰化概念并及早进行测试的好方法。
第 4 步 – 实施
实施阶段是对前三个步骤中所有构思和规划的最终考验。这是一个您将实际努力将所有策略付诸实践的阶段。实质上,这是您第一次冲刺,作为产品经理,您实际上扮演着项目经理的角色,确保最终成果能够满足您最初设定的需求。
这是执行部分,在这一阶段,您实际带入了工程师、机器学习工程师、开发人员、UI/UX 人员和项目经理来创建最小可行产品(MVP),并实现客户和领导层所期望的性能。完成后,您应该得到一个能够按照您的承诺执行的 MVP 版本。只有当您的 MVP 符合规划标准时,您才知道这一阶段成功了。
第五步 – 营销
营销始终在这些步骤的背后进行,因为即使第一步也与营销密切相关。了解客户的语言、需求和痛点是制定正确信息的关键前提。营销是将您的信息传递给更广泛市场的过程,之所以它是第五步,是因为您希望在传递针对现有和潜在客户的官方信息之前,先有一个可用的 MVP。
对于 AI 产品,市场营销会受到特别的审视,因为 AI 市场竞争激烈,企业处于一种沟通困境中。如果你过多地宣传你的产品以及哪些模型使其具备 AI 的特点,你就泄露了太多的“秘密调料”。如果你对赋予产品 AI/ML 能力的实际技术沟通太少,你很可能会面临批评,认为你在过度宣传产品的 AI 能力。我们可以非常自信地说,大多数公司在谈论 AI 产品时,往往倾向于少沟通而不是多沟通。在这个阶段,你需要与所有利益相关者达成一致,决定如何最好地向外界传达 AI 能力。
第 6 步 – 培训
在第六阶段,你将进行用户培训并记录你的产品,以便为你为 MVP 和整体产品做出的选择提供正当理由。培训用户使用你的产品的一部分内容还包括管理他们对产品性能的期望。这一部分在 AI/ML 产品中尤为重要,因为这些产品通常进行优化、排名、分类、推荐或预测未来的值,因此,帮助客户理解在何种情况下可以信任或质疑某些结果将变得尤为重要。
这个过程大多数情况下是直观的,因为在 AI/ML 中,我们无法知道自己距离预测或优化结果的偏差有多远,直到某个未来的时间点。因此,必须进行的一部分培训是与客户管理期望,让他们了解应期望的误差范围。这一步骤的关键是向他人说明你的产品以及如何与之最佳互动。
第 7 步 – 启动
在最后一步中,我们正式将产品推向市场。到目前为止,你已经与内部利益相关者和团队进行了沟通,收到了客户反馈,也许一两个客户已经和你合作,帮助创建你的产品并将其推向市场。也许你已经进行了软启动,或者让其他测试者/用户帮忙,但最终的最后一步是正式的硬启动。这一步的一个重要部分实际上是回归到你最初对性能和客户成功的定义。你产品的最终版本是否达到了你最初与客户设定的指标?产品的表现是否符合大家的预期?你是否在积极寻求定义未来可实现的目标?
现在我们已经涵盖了 NPD 中常见的过程,我们可以继续讨论在该开发周期中常用的模型。在接下来的部分,我们将回顾常用于生产中的最流行的 ML 模型类型,并讨论这些模型共享的一些特征。
模型类型 – 从线性回归到神经网络
在上一章中,我们介绍了一些你可能会遇到、使用和实现的模型类型,这些模型广泛应用于各种产品的不同用途。为了帮助你回忆,这里列出了你在生产环境中可能会用于各种产品的 ML 模型/算法:
-
朴素贝叶斯分类器:该算法“天真地”将数据集中的每个特征视为独立的变量,因此它本质上是在没有任何关于数据假设的情况下,以概率的方式寻找关联。它是众多算法中相对简单的一种,而正是这种简单性使得它在分类任务中如此成功。它通常用于二分类问题,例如判断某个内容是否为垃圾邮件。
-
支持向量机 (SVM):该算法也广泛用于分类问题,基本上会尝试将数据集分成两类,以便你可以用它来对数据进行分组,并预测未来数据点会如何在这些主要分隔线上分布。如果你在数据中没有看到明显的分组,SVM 允许你添加更多维度,从而更容易地看到数据的分组。
-
线性回归:这些模型自 50 年代以来就已经存在,它们是解决回归问题的最简单模型之一,例如预测未来的数据点。它们基本上利用数据集中的一个或多个变量来预测因变量。该模型中的“线性”部分试图找到最适合数据的直线,而这条直线决定了模型如何进行预测。在这里,我们再次看到一个相对简单的模型,正因为它的多功能性和可靠性,它被广泛使用。
-
逻辑回归:该模型与线性回归非常相似,都会使用自变量和因变量,但它并不预测数值,而是预测未来的二分类状态,例如预测某人未来是否会违约贷款。
-
决策树:该算法适用于分类和数值预测,因此它既能用于分类问题,也能用于数值预测问题,如预测未来的状态或价格。决策树常用于这两类问题,这也促成了它的流行。它之所以被称为“决策树”,是因为它的节点和分支类似于流程图。该模型从过去数据的流向中学习,从而预测未来的值。
-
随机森林:该算法在之前的决策树基础上进行构建,也适用于分类和数值问题。其工作原理是将数据分割成不同的“随机”样本,为每个样本创建决策树,然后通过平均值或多数投票来做出预测(具体取决于你是用于分类预测还是数值预测)。由于随机森林的决策过程较难理解,因此如果可解释性不是你关注的重点,可以使用它。
-
K-最近邻(KNN):该算法专门用于分类和数值预测,因此它会寻找未来的状态,并以组的形式提供结果。每个组中的数据点数量由工程师/数据科学家设置,模型的工作方式是通过分组数据,确定数据与其邻居之间共享的特征,并根据这些邻居做出未来值的最佳预测。
-
K-means 聚类:该算法会将数据点分组,以便更好地观察模式(或簇),同时它也会寻找最优的簇数。这是无监督学习,因此模型会尝试找出它能够从中学习的模式,因为它没有得到使用它的工程师提供的任何信息(或监督)。另外,分配的簇数是一个超参数,你需要选择最优的簇数。
-
主成分分析(PCA):使用无监督机器学习在非常大数据集上时,最大的问题通常是数据之间没有相关性,导致无法找到有意义的模式。这就是为什么 PCA 被如此广泛使用的原因,因为它是一种在不丢失或舍弃信息的情况下减少维度的好方法。这对于大规模数据集尤为有用,比如在基因组测序或药物发现试验中寻找模式。
-
神经网络:深度学习模型通常被统称为神经网络,因为它们都模拟了人类大脑通过节点层及其边缘处理信息的方式。神经网络有几种类型,每种类型都有自己的特点,但目前可以简要地说,神经网络是构成我们所说的深度学习模型的基础。
如果你看到一个产品被标注为 AI/ML 产品,它很可能使用了上述某种或某几种模型的组合。我们将在本书的后续章节中详细讨论这些模型,但目前,这为你提供了一个很好的入门,了解你最常遇到的机器学习和人工智能相关的模型类型。现在我们已经介绍了这些模型,让我们进一步探讨这些模型是如何训练并准备好投入生产使用的。
训练—何时模型准备好推向市场?
在本节中,我们将探讨收集数据以训练模型并优化超参数的标准过程,以达到特定的性能水平和优化目标。在实施阶段(NPD 过程的第 4 步),我们希望实现的性能水平应根据定义阶段(NPD 过程的第 2 步)来判断,之后才会进入市场营销阶段,制定成功标准,说明使用我们的产品时表现如何。在实施阶段发生了许多事情之后,我们才能进入这一阶段。
数据的可获取性是 AI/ML 产品中最重要的因素。刚开始时,你可能需要依赖第三方数据,这些数据可能需要购买,或者是免费的公共数据,或者可以轻松抓取的数据。这就是为什么你很可能需要与一些潜在客户建立合作关系。与那些你可以信任的客户合作,帮助你构建一个可以基于真实世界数据取得成功的产品,对于最终推出市场准备就绪的产品至关重要。你最不希望的就是基于完美的第三方数据集或免费的数据集创建产品,然后这个产品被过拟合到真实世界数据上,并且在从未见过的实际客户数据上表现不佳。
拥有多样化的数据在这里非常重要,因此除了确保数据是真实世界的数据外,你还需要确保数据能够代表多种类型的用户。除非你的产品针对非常特定的用户群体,否则你将希望有一个训练于尽可能多样化数据上的模型,以获得良好的模型性能和用户体验伦理。关于这一点,最后一部分会详细讨论。
迭代超参数调整在你持续重训模型以提高性能时也将变得极为重要。在定义阶段的性能指标和基准(NPD 的第 2 步)将决定你的机器学习工程师如何调整超参数。大多数时候,我们还不知道某个特定使用案例的最优模型架构是什么。我们希望探索模型在不同数据集上的表现,并从某个起点开始,这样我们就能看到哪些超参数能带来更好的性能。
注意
在定义模型优化时,我们总是使用“超参数”这个术语,因为“参数”是指模型用于做出预测的训练数据边界。涉及到模型的调整及其功能时,术语将始终为超参数。
超参数的例子包括:在线性模型中应使用哪些特征的程度,决策树模型中应允许的最大深度,随机森林模型中应包含多少棵树,或神经网络模型中应包含多少个神经元或层。在所有这些情况下,我们都在关注模型本身的外部设置,所有这些设置都值得根据它们产生的模型性能进行审查。拥有能够胜任 AI/ML 工程师并能够应对这些性能波动的工程师,将对创建一个能够成功的产品至关重要。
我们想要介绍一些模型的应用示例及其比较,以便为那些不熟悉 AI/ML 性能基准的产品经理提供一些关于如何评估一个模型是否优于另一个模型的思路。以下是一些你的 ML 工程师在评估是否使用最优模型时会关注的性能指标。你会注意到,其中一些名称在我们之前列出的模型类型中是熟悉的。
这些比较是在一个个人项目中进行的,该项目是我们创建的一个模型,用于预测以太币的价格,这是一种加密货币。如果你想查看整个项目的概述,可以点击这里:medium.com/analytics-vidhya/predicting-ether-prices-model-selection-for-machine-learning-8a50321f51a3
。
我们希望使用的第一个模型是普通最小二乘法(OLS)回归模型,因为这是我们希望选择的线性回归模型中最简单的一种,能够为我们提供一个好的基准,之后再考虑其他模型类型。
OLS 回归模型的结果如下:
https://github.com/OpenDocCN/freelearn-dl-pt7-zh/raw/master/docs/ai-prod-mgr-hb/img/Image98224.jpg
图 2.1 – OLS 回归模型结果
当你训练一个模型时,会自动生成一些指标。以下是完整指标集的一个示例,但为了比较的目的,我们将专注于图 2.1中的测试集模型的 R 方值这一行,以便得到不同模型之间可比较的误差率。R 方值也被称为“决定系数”,我们在回归模型中常常使用这个指标,因为它最能评估数据点距离回归模型拟合的回归线的远近。对于前面的 OLS 回归模型,我们在使用 80/20 数据划分的测试集上看到的 R 方值是0.889。我们使用了 80% 的数据用于训练,剩余的 20% 数据用于测试。
我们测试的下一个模型是随机森林,用于与基于树的模型进行结果比较。我们为这个随机森林示例设置的超参数之一是将交叉验证设置为10
,这样它就会运行 10 次训练,并将这 10 次的平均值作为最终得分。这个平均值是 R 方值 0.963,高于我们的 OLS 模型!
随机森林模型的结果如下:
https://github.com/OpenDocCN/freelearn-dl-pt7-zh/raw/master/docs/ai-prod-mgr-hb/img/Image98234.jpg
图 2.2 – 随机森林模型结果
最后,最后一次比较是与我们的 KNN 模型,该模型得分为 0.994。我们在这个模型中选择的超参数是 6,这意味着我们在每个分组中寻找 6 个邻居。这个 KNN 模型给我们带来了最佳的表现,因为我们理想的目标是尽可能接近完美的 1 分。然而,我们必须牢记这一点:尽管你希望尽量接近 1,但越接近 1,越应该对你的模型保持怀疑态度。
KNN 模型的结果如下:
https://github.com/OpenDocCN/freelearn-dl-pt7-zh/raw/master/docs/ai-prod-mgr-hb/img/Image98243.jpg
图 2.3 – KNN 模型结果
得到这么高的分数很可能意味着我们的模型根本不工作,或者它在训练数据上表现特别好,但在新数据集上的表现不佳。这个现象被称为过拟合,它是数据科学和机器学习领域中的一个重要话题。其原因在于,所有模型本质上都是有缺陷的,在你进行充分的模型选择之前,它们是不可被完全信任的。选择合适的模型、训练它并将其投入使用的过程必须在严格监督下进行。如果你正在为产品或服务收费,并且试图赢得客户的信任,以便他们将来能为你和你的产品背书,那么这一点尤为重要。如果你是一个 AI/ML 产品经理,你应该关注逐步提升的良好性能,而对于从一开始就表现出色的模型性能,应该保持高度怀疑。
一旦你有了全面且具代表性的数据用于训练模型,并且你已经对这些模型进行了足够多的训练,并根据需要调整模型以获得你期望的(并承诺给客户的)性能,你就准备好向前迈进了!
现在我们已经讨论了一些模型维护的主要方面,接下来可以进入部署的内容。请记住,整个过程从构思产品、选择合适的模型应用到产品中,到根据你的训练工作评估该模型的性能,都是一个协作过程。这种协作在你训练好模型后并不会结束,反而会加剧。因为你现在的任务是,如何将这些模型准确地集成到产品的基础设施中,以便客户使用。让我们在接下来的部分中进一步探讨。
部署 – 工作站之后会发生什么?
在第一章中,我们讨论了可以用于管理生产环境中 AI/ML 产品的部署策略。在本节中,我们希望你理解从 DevOps 的角度来看,你将如何最终在生产环境中使用和部署模型,而不是仅仅在训练工作站或训练环境中进行操作。也许你正在使用像 GitLab 这样的工具来管理 AI/ML 产品中各种应用的代码仓库分支,并在那里进行实验。然而,一旦你准备好在重新训练后进行更改或更新模型,你将定期将新模型推送到生产环境中。这意味着你需要一个支持这种实验、再训练和定期部署的管道。本节将主要关注我们将一个完成的机器学习模型投入生产(即线上环境)后需要考虑的事项,这时它将被最终用户访问。
你如何管理这些未来的部署将会根据你的 AI/ML 产品是企业对企业(B2B)还是企业对消费者(B2C)有所不同。如果你管理的是 B2C 产品,你可能会分阶段进行更改,并且你可能会使用第一章中概述的部署策略来管理更新后的产品的接受度,并决定哪些用户群体何时能看到新的更新模型。这就是 B2C 产品的本质:它是一个产品面向成千上万,甚至数百万个消费者,你的一个产品对每个用户来说可能意味着不同的东西。如果你的产品是 B2B 产品,那么你通常在客户层面管理期望。一个客户对你的 AI/ML 产品的体验可能与另一个客户不同。你使用的模型也很可能在不同客户之间发生变化,因为你用来训练模型的数据在不同客户之间会有所不同。
另一个需要记住的事项是,如何处理关于你的模型以及所有客户之间共享的集体训练数据的讨论。对于某些产品,你可能不会面临关于是否使用所有数据来训练模型的太多讨论。然而,一些公司对其数据的访问和使用非常谨慎。例如,他们可能愿意提供历史数据来训练你的模型,只要这些数据不会被用来帮助同一同行业中其他客户的性能提升。
另一方面,一些客户可能希望你在所有数据上训练模型,以便为模型提供最全面的数据集。请记住,根据当前模型的强度,一般规律是:数据越多,你能够提供给模型的示例就越多。这意味着,理论上来说,你的示例越多,整体表现应该越强。与客户管理期望值,并了解他们的数据共享阈值,是部署周期中的一个重要部分,因为这将影响你更新频率以及如何负责任地进行部署。
你可能会有不同的团队管理部署过程中的不同领域。也许你的数据科学家创建并开发模型并训练它们,另一个团队则验证这些工作和训练数据,第三个工程师团队将模型部署到生产环境中。你还可能有一个专门从事此整个过程不同领域的 ML 工程师团队。
一旦准备好部署模型,你需要有一个团队来分析部署环境,原因如下:
-
选择访问模型的最佳方式(通常是通过 API 或终端用户正在使用的某些 UI/平台)
-
了解模型调用的频率
-
确定模型运行所需的 GPU/CPU 数量和内存大小
-
确定如何持续地向模型提供数据
我们将解决方案的选择留给现场专家,但 AI/ML 产品经理需要记住一个重要的点:为了使你的 AI/ML 算法在产品中持续运行,所需的时间/资金/努力/资源将是选择模型并策划如何在生产环境中部署它们时必须重点考虑的因素。
部署的最终部分是培训终端用户如何使用模型及其结果。可解释性对于任何 AI/ML 项目的成功都很重要,但在作为终端用户使用和依赖的产品背景下,无论是 B2B 还是 B2C 客户,你都需要考虑如何在可能产生困惑的时刻进行有效沟通。通过应用内提示或客户成功团队对客户进行培训,能够帮助终端用户学会如何激活 AI/ML 功能,从这些功能中获取所需数据,并以一种不断强化你产品价值的方式解读输出结果——这也是管理部署的一部分。
测试和故障排除
在第一章中,我们讨论了持续维护的概念,其中包括持续集成、持续交付、持续训练和持续监控。本节将以此为基础,进一步扩展如何持续测试和排查与 ML 产品相关的问题,以确保你的产品能够成功运行。一旦你完成第一次部署,我们将直接进入第一章中提到的持续训练和持续维护部分。
记住,管理模型部署后的性能至关重要,这将是一个高度迭代且永无止境的模型维护过程。就像传统软件开发一样,你将继续测试、排查故障,并修复你的 AI/ML 产品中的漏洞。唯一的不同之处在于,你还需要监控与模型相关的性能滞后和故障。
持续监控你的模型可以确保它始终正常运行,并且生成的输出有效。你最不希望看到的就是你的产品产生极为不准确的推荐或预测。试想,如果你的模型运行错误,客户可能需要几周甚至几个月才能发现这一问题,而这一错误在后续产生了严重的负面影响。客户会质疑你作为公司的诚信,因为他们依赖于你维护和支持他们工作流所依赖的平台。因此,他们可能会取消与你的合同,从你的数据库中提取数据,或者给你负面评价,并将负面反馈推荐给其他潜在客户。
即使你的模型各方面都运行正常,你仍然需要跟踪模型及其输出的持续性能。我们在之前的训练部分中提到的成功度量指标,就是你将创建日志并定期监控的指标,以确保模型性能没有滞后。除了统计性能指标如 F 得分或 R 平方,你还需要跟踪准确率、召回率和精确率。这整个监控模型性能的过程应该自动化,以便当某些指标超过某个阈值时,你能收到警报,避免你总是需要手动检查。
我们不仅监控模型本身,还会持续维护支持代码和文档。大多数公司通常将这项工作作为最后的优先事项,最终依赖于那些在公司待得最久的开发人员的历史知识。确保所有内容都有文档化,并定期执行这一做法。你可能会发现没有足够的培训材料,或者现有的资源不足以解释产品的功能。你还可能发现,模型用于训练的数据源存在更新问题,或者最初根本没有正确连接。也许问题出在最终用户端,他们可能没有正确访问产品的 AI/ML 功能。这些问题中任何一个都可能经常发生,这就是为什么有团队专门负责成功执行 AI/ML 产品至关重要。
每个模型都会随着时间的推移经历某种形式的退化或漂移。例如,如果新的数据进入并且模型正在训练这些数据,而这些数据没有像训练数据那样经过清理,那么模型的性能会因为数据的不一致性而受到影响。数据卫生通常是评估性能时的重要考虑因素,因为它可能会造成严重后果,而这些变化可能难以追踪。
随着时间的推移,如果你看到数据报告和格式的变化,或者有新的字段或数据类别被添加,而这些在模型最初训练时并不存在,那么你会看到结果的偏差。如果市场发生变化,或者用户群体的特征发生变化,数据也会随之变化。如果重大事件影响了整个数据集,这将对你的模型结果产生不利影响,因为你作为基础构建的基线已经不可靠,因为大部分训练数据可能不适用于新的或当前的情况。
除了训练数据外,还有一个最后重要的漂移领域,那就是通常所说的概念漂移——即客户对正确预测的期望发生变化。例如,在某些情况下,如优化垃圾邮件过滤器,你可能会发现某些新的策略意味着模型输出需要重新构思,以跟上垃圾邮件如何躲避原本有效的过滤器设置的新趋势。变化是唯一的不变,外部世界广阔且充满不可预测性。来自外部因素的任何变化都可能导致各种类型的概念漂移,迫使我们重新开始并调整模型,然后重新部署以应对不断变化的世界。
持续监控和测试是许多公司使用企业数据科学平台来跟踪其部署情况的重要原因。如果您有预算,强烈推荐使用这种平台,因为如果您与许多客户以及内部和外部应用合作,您可能会有许多“重用”案例需要处理。若您在大规模管理项目时,您会从这些平台提供的项目跟踪功能中受益。
在本节中,我们讨论了在生产环境中测试和排除模型使用问题时需要考虑的一些最重要因素,以及定期监控以保持监督的重要性。这不仅是为了保持模型的技术性能和稳健性,同时也是为了保持伦理性。在接下来的章节中,我们将更专注于在构建带有人工智能/机器学习组件的产品时的伦理考虑,探讨如何负责任地构建并借鉴一些行业最佳实践。
刷新 – 我们更新模型的频率伦理
当我们思考作为人类所拥有的惊人能力时,尤其是我们用来权衡不同选择或者决定是否可以信任某人的复杂大脑运作时,我们可能会觉得很难,甚至不可能相信我们可以用机器去做我们大脑能做的一小部分事情。我们中的大多数人在做出选择、选取和判断时,往往并不完全理解驱动这些体验的机制。然而,当涉及到机器学习时,除了神经网络,我们可以理解驱动某些决定和分类的基本机制。我们喜欢机器学习能够模拟我们得出结论的能力,并且我们可以运用我们的批判性思维技巧,确保这个过程尽可能没有偏见。
人工智能/机器学习的强大功能使我们能够自动化重复、枯燥、乏味的工作。例如,我们宁愿让内容审核员被算法替代,这样人类就不必每天忍受标记互联网上令人不适内容的痛苦。然而,尽管机器学习模型具有许多令人惊叹的能力,它们并不能像我们一样进行推理。那些有偏见或随时间退化的自动化结构,当它们以直接影响人类的方式部署,并且在部署后没有得到密切和定期的性能监控时,可能会造成很多伤害。这样在大规模应用人工智能/机器学习时所可能带来的伤害,是让伦理学家和未来学家夜不能寐的原因。
人工智能/机器学习的部分危险在于自动化过程本身。我们在前一部分中讨论的漂移类型影响了模型如何从其学习的训练数据中推导出意义。即使性能和维护看起来正常,也并不意味着模型没有越权,可能导致对最终用户或对可能在最终用户之后受到影响的人类造成现实世界的伤害,无论这些人是否与模型本身互动。一个常见的例子是面部识别软件的普遍且不必要的使用。
2022 年 2 月,拜登总统签署了两项法律,扩展了美国的人工智能问责制:《2021 年军事人工智能法案》和《2021 年人工智能 CT 法案》。《财富》杂志的 Will Griffin 写道:“尽管这项立法远未达到与欧洲联盟模式一致的监管要求,且未能满足许多人工智能伦理界的期望,但它为一套深思熟虑且不可避免的人工智能伦理监管体系播下了种子。” 需要记住的是,人工智能伦理和法规因所在地区的不同而有所不同。在美国,我们在立法方面依然落后于欧洲标准,无论是在制约人工智能不当行为的法律上,还是在现有法律的执行方面。
从立法角度来看,人工智能仍被视为“西部荒野”,我们可能会看到随着人工智能产品的使用案例在本十年不断扩展,朝着进一步定义人工智能如何与我们互动的方向迈进。最近,美国朝着发布一份涵盖以下领域的人工智能权利法案蓝图迈出了步伐:
-
安全有效的系统
-
算法歧视保护
-
数据隐私通知与说明
-
人类替代方案、考虑和后备
目前,我们将采用欧洲的标准来框定人工智能/机器学习产品经理应如何思考他们的产品,因为即便没有强制执行人工智能伦理的法律,企业家和技术人员依然面临风险,比如因为算法选择而失去客户、遭遇负面报道或被起诉。
欧洲委员会概述了以下四个关键领域作为伦理原则:
-
尊重人类自主权:“人工智能系统不应无理地使人类从属、胁迫、欺骗、操控、条件反射或群体控制。相反,它们应设计为增强、补充和赋能人类的认知、社交和文化技能。人类与人工智能系统之间的职能分配应遵循以人为本的设计原则,并为 人类选择 留出有意义的机会。”
-
防止伤害:“人工智能系统不应造成或加剧伤害,或以其他方式对人类产生不利影响。这包括保护人类尊严以及心理和 身体完整性。”
-
公平性:“虽然我们承认公平性有许多不同的解释,但我们认为公平性既有实质性也有程序性维度。实质性维度意味着承诺:确保利益和成本的平等公正分配,确保个人和群体不受不公平偏见、歧视 和污名化的影响。”
-
可解释性:“这意味着过程需要透明,AI 系统的能力和目的需要公开沟通,决策——在可能的情况下——需要向直接或间接受影响的人解释。如果没有这些信息,决策无法被适当质疑。解释为什么一个模型生成了特定的输出或决策(以及哪些输入因素组合促成了这一点)并非总是可能的。这些情况被称为‘黑箱’算法,需要 特别关注。”
引用
Bruschi, D., Diomede, N. 评估 AI 伦理的框架及其在网络安全中的应用。AI 伦理(2022)。doi.org/10.1007/s43681-022-00162-8
)
许多公司可能会试图在公司内部设置一个 AI 伦理职位,并在未能达到某些标准时把问题归咎于这个人,甚至将其当作替罪羊。但如果仅仅这样做,这是管理 AI 程序伦理的懒惰且不道德的方式。更好的方法是培训和赋能所有参与构建 AI/ML 产品的资源,让他们了解周围的伦理问题以及可能对客户或与产品互动的第三方造成的潜在伤害。
虽然我们必须认识到,正如本章之前所讨论的,定期更新模型对保持机器学习(ML)和人工智能(AI)领域的良好伦理至关重要,但同样重要的是要关注你的产品如何影响那些下游的群体,尤其是那些根本不使用你产品的人。
我们并不是孤立存在的。正如我们在本章之前的部分所看到的,许多因素已经在 AI/ML 产品中反作用于算法,这些因素你必须时刻关注,以应对由数据不断输入和输出所带来的自然混乱。模型向各种类型的漂移倾斜的自然趋势正是要求关注伦理的原因。根据 TechTarget 的Today I Learned播客中的一集,FICO(信用报告和分析供应商)对 AI 用户进行的调查显示,67%的受访者没有监控他们的模型的准确性或漂移,这真令人震惊。这些 AI 用户是直接负责构建和维护 AI 系统的人,这表明与不道德的 AI/数据实践相关的问题已经成为常态。
伦理 AI 实践应在我们本章中关于模型维护的每一个步骤中应用。如果我们构建的 AI/ML 产品能够确保不造成伤害,无论是作为产品完整性的一部分,还是作为产品模型维护的一部分,我们就能毫无顾虑地推销和推广我们的产品,而不必担心市场上的报复或惩罚。每位企业家和技术专家都会与伦理商业实践建立自己的关系,但最终,如果你是一个产品的倡导者、推广者或领导者,而该产品进入市场后对他人造成了伤害,你将被要求解释为了告知客户潜在风险而采取了哪些措施。
摘要
本章内容涵盖了 NPD 周期,并回顾了常见的 AI/ML 模型类型。我们还概述了如何训练、部署和排除故障所选模型的过程,给我们提供了一个合理的基础,让我们了解在生产环境中使用模型时的预期。我们还简要讨论了构建具有 AI/ML 组件的产品时,一些来自最严格标准的最重要的伦理实践。
如果你有兴趣进一步扩展有关构建伦理 AI 的知识,我们在接下来的部分提供了一些有用的链接供进一步学习。请记住,AI/ML 伦理正处于一个关键的十字路口。我们正在一边航行一边建造这艘船,随着 AI/ML 产品不断进入公众视野,立法者和活动家的勤奋工作将推动采取更多措施,限制不当 AI 部署可能带来的潜在危害。虽然我们还没有完全做到,但随着每一项新进展的出现,我们离构建一个不仅拥抱 AI 的承诺,还能限制 AI 带来的问题的世界越来越近。
到目前为止,我们已经有机会介绍本书中将在后续章节中讨论的一些主要概念,具体见第一章。本章进一步探讨了维护 ML 模型的要求,并帮助我们熟悉构建具有 AI/ML 组件的产品的过程。这两章旨在作为入门基础,让我们能够在接下来的章节中深入探讨目前提到的概念。在第三章中,我们将专注于将深度学习与更广泛的 ML 这一术语区分开,并讨论传统 ML 算法与深度学习神经网络之间的一些区别。
其他资源
阅读并了解人工智能伦理对每个人都很重要,因为人工智能在我们日常生活中变得越来越难以避免。此外,如果你在人工智能/机器学习领域作为数据科学家、开发人员、工程师、产品经理或领导者工作,那么意识到人工智能可能带来的风险以及如何负责任地构建人工智能尤为重要。
关于伦理人工智能原则的进一步阅读,我们推荐以下可信的出版物:
- 人工智能权利法案蓝图:
www.whitehouse.gov/ostp/ai-bill-of-rights/
)
- 美国国防部联合人工智能中心的人工智能伦理原则:
www.defense.gov/News/Releases/Release/Article/2091996/dod-adopts-ethical-principles-for-artificial-intelligence/
)
- 国家人工智能计划办公室关于推动可信赖 AI的工作:
www.ai.gov/strategic-pillars/advancing-trustworthy-ai/
)
- 算法正义联盟:
www.ajl.org/library/research
)
- AItruth.org 信任的 12 项原则:
www.aitruth.org/aitrustpledge
)
- Intel.gov 的人工智能伦理原则:
www.intelligence.gov/principles-of-artificial-intelligence-ethics-for-the-intelligence-community
)
- 欧盟委员会的可信赖 AI 伦理指南:
ec.europa.eu/futurium/en/ai-alliance-consultation.1.html
)
)
- 联合国教科文组织关于人工智能伦理的建议:
en.unesco.org/artificial-intelligence/ethics
)
- “今天我学到”播客,讨论伦理人工智能,内容包括 FICO 首席分析官 Scott Zoldi 的见解:
www.techtarget.com/searchcio/podcast/How-machine-learning-model-management-plays-into-AI-ethics
)
参考文献
- 找到你的使命,西蒙·西内克:
simonsinek.com/books/find-your-why/
)
-
欧盟委员会设立的人工智能高级专家组:
www.aepd.es/sites/default/files/2019-12/ai-ethics-guidelines.pdf
-
在人工智能(AI)伦理沟通中构建信任:通过框架理论分析 AI 伦理指导原则:
www.proquest.com/docview/2721197134
-
美国必须赢得人工智能伦理的竞争:
fortune.com/2022/02/15/america-must-win-the-race-for-a-i-ethics-tech-artificial-intelligence-politics-biden-dod-will-griffin/
-
S.1776 - 2021 年《军事人工智能法案》:
www.congress.gov/bill/117th-congress/senate-bill/1776/text?q=%7B%22search%22%3A%5B%22s1776%22%5D%7D&r=1&s=1
-
S.1705 - 2021 年《人工智能通信与技术法案》:
www.congress.gov/bill/117th-congress/senate-bill/1705/text?r=82&s=1
第三章:机器学习和深度学习深入分析
在 AI 应用的时代,我们所处的 AI 现阶段,我们必须理解机器学习(ML)和深度学习(DL)的优缺点,以便最好地决定何时使用这两种技术。你可能还遇到过一些与 AI/ML 工具相关的其他术语,如应用 AI或深度技术。正如我们在本书中多次提到的,未来大多数 AI 产品背后的核心技术将是 ML 或 DL。这是因为基于专家或规则的系统正在慢慢被 ML 所取代,或者根本没有发展。所以,让我们更深入地探讨这些技术,并了解它们之间的区别。
在本章中,我们将探讨机器学习(ML)和深度学习(DL)之间的关系,以及它们如何为构建者和用户带来各自的期望、解释和阐述。无论你是使用自 50 年代以来就存在的 ML 模型的产品,还是使用最近才投入使用的尖端模型,你都会想理解它们的影响。将 ML 或 DL 纳入你的产品将会产生不同的影响。大多数时候,当你看到一个产品上标有 AI 标签时,它是通过 ML 或 DL 构建的,因此我们希望确保你在本章结束时,能够清楚了解这些领域的区别,以及这些区别对你未来产品的实际意义。
在第一章中,我们讨论了自 50 年代以来我们如何与使用机器的理念进行斗争,但我们希望扩展一下机器学习(ML)和深度学习(DL)人工神经网络(ANNs)的历史,让你了解这些模型已经存在多久。在本章中,我们将涵盖以下主题,帮助你更熟悉与 ML 和 DL 相关的细微差别:
-
旧的——探索机器学习(ML)
-
新的——探索深度学习(DL)
-
新兴技术——辅助和相关技术
-
可解释性——优化伦理、警告和责任
-
准确性——优化成功
旧的——探索机器学习(ML)
机器学习模型试图创建某种现实的表示,以帮助我们做出某种数据驱动的决策。实质上,我们使用数学来表示现实世界中发生的一些现象。机器学习本质上运用数学和统计学来预测或分类某种未来状态。路径的分歧有两种方式。第一组涉及通过统计模型不断发展的模型,第二组则是试图模仿我们自身自然神经智能的模型。通俗地说,这两类模型分别被称为传统机器学习(ML)和深度学习(DL)模型。
你可以把我们在第二章“模型类型——从线性回归到神经网络”一节中讨论的所有模型都看作是机器学习(ML)模型,但我们并没有深入探讨人工神经网络(ANNs)。我们将在本章后面的“神经网络类型”一节中进一步讨论这些模型。在本节中,我们将着眼于传统的统计学机器学习模型,以便理解这些模型的历史意义和普遍性。回顾一下机器学习的流程,本质上是一个检索数据、通过数据处理、数据整理和特征工程准备数据、将数据输入模型并评估模型性能,然后根据需要对其进行调优的过程。
一些最可靠且普遍使用的机器学习模型已经存在了很长时间。线性回归模型自 19 世纪末期就开始使用,并通过两位英国数学家卡尔·皮尔逊和弗朗西斯·高尔顿的工作而得到普及。他们的贡献为今天最流行的机器学习算法之一奠定了基础,尽管不幸的是,两位数学家都是著名的优生学家。卡尔·皮尔逊还被认为是在 1901 年发明了主成分分析(PCA),这是一种无监督学习方法,用于减少数据集的维度。
一种流行的机器学习方法——朴素贝叶斯分类器,出现在 20 世纪 60 年代,但它基于 18 世纪英国统计学家托马斯·贝叶斯及其条件概率定理的研究。逻辑函数由比利时数学家皮埃尔·弗朗索瓦·维尔霍斯特在 19 世纪中叶引入,逻辑回归模型则是由英国统计学家大卫·考克斯在 1958 年推广的。
支持向量机(SVM)由苏联数学家弗拉基米尔·瓦普尼克和阿列克谢·切尔沃涅尼斯于 1963 年在俄罗斯科学院控制科学研究所提出。第一个决策树分析算法也在 1963 年由美国统计学家詹姆斯·N·摩根和约翰·A·桑奎斯特发明,他们来自密歇根大学,并应用于他们的自动交互检测(AID)程序,但即便如此,这一方法也源于波尔菲里树,这是一种由古希腊哲学家波尔菲里(Porphyry)在公元前三世纪创制的基于分类树的图表。随机森林是由多个决策树组成的集成方法,由加利福尼亚大学的美国统计学家利奥·布雷曼于 2001 年发明。
KNN 算法是最简单的监督学习模型之一,用于分类和回归。它源于 1951 年由统计学家 Evelyn Fix 和 Joseph Lawson Hodges Jr.代表美国军方与伯克利大学合作完成的技术分析报告。K-means 聚类是无监督机器学习聚类的一种方法,最早由 UCLA 的数学家 James MacQueen 于 1967 年提出。
正如你所见,今天在机器学习(ML)模型中最常用的许多算法,其根源可以追溯到我们现代历史的较早时期。它们的简洁性和优雅性使得它们今天仍然具有重要的相关性。本节中我们所讨论的大多数模型,除了深度学习的 ANNs 之外,都是在第二章中提到过的。在接下来的章节中,我们将重点讨论深度学习。
新的——探索深度学习
我们在本书中将机器学习(ML)和深度学习(DL)概念上区分开来的部分目的是帮助读者在脑海中形成联想。对于大多数领域的技术人员来说,当你看到“ML”与“DL”作为产品的描述时,会联想到一些特定的模型和算法。在这里简单提醒一下,深度学习(DL)是机器学习(ML)的一个子集。如果你对这两个术语感到困惑,只需记住,深度学习是机器学习的一种形式,它已经发展并演变成了自己的生态系统。我们的目标是尽可能地揭开这个生态系统的神秘面纱,让你作为产品经理能够自信地理解深度学习产品背后的动态。
深度学习(DL)的基础思想围绕着我们自己的生物神经网络展开,DL 使用的是通常被称为人工神经网络(ANNs)的概念来解决复杂问题。正如我们将在下一节中看到的,DL 所形成的生态系统在很大程度上受到了我们大脑的启发,大脑就是“原始”神经网络的来源。这一灵感不仅来源于人脑的功能,尤其是通过示例学习的思想,还来源于其结构。
由于本书并非专门为深度学习工程师编写的技术性书籍,我们将避免深入探讨与深度学习相关的术语和数学内容。然而,基本了解人工神经网络(ANN)会有所帮助。在这一节中,请牢记神经网络是由人工神经元或节点组成的,这些节点按层堆叠在一起。通常,有三种类型的层:
-
输入层
-
隐藏层
-
输出层
虽然我们将讨论各种类型的人工神经网络(ANNs),但有一些基本概念是这些深度学习算法工作的基础。可以把它们看作是层和节点的组合。基本的思路是,数据通过每一层的每一个节点传递,而这些节点和层之间会传递权重和偏差。人工神经网络通过其训练数据来识别模式,从而帮助它们解决当前的问题。一个至少有三层的人工神经网络(即输入层、输出层和至少一个隐藏层)就被称为“深度”,因此可以归类为深度学习算法。至此,层的部分已经解决。
那么,节点呢?如果你记得,我们在前几章中讲过的最简单的模型之一就是线性回归模型。你可以把每个节点看作是它自己的迷你线性回归模型,因为这正是每个人工神经网络(ANN)节点内发生的计算。每个节点都有自己的数据、一个数据的权重和一个它用来得出输出的偏差或参数。所有这些节点在大规模进行这些计算时的总和,让你能够理解人工神经网络是如何工作的。如果你能想象成千上万层、每层内有许多节点的庞大规模,你就能开始理解为什么人工神经网络得出某些结论时,可能很难理解其原因。
深度学习通常被称为“黑箱”技术,而这也正好触及了为什么它被这样称呼的核心。根据我们的数学技能,我们人类可以解释为什么在一个简单的线性回归模型中会存在某个错误率或损失函数。我们能够概念化模型如何在拟合曲线时出错。当面对真实世界的数据时,这些数据并没有呈现出完美的曲线,这时我们也能理解其挑战。但如果我们扩大规模,尝试想象可能有数十亿个节点,每个节点代表一个线性回归模型,那么我们的头脑就开始感到痛苦了。
虽然深度学习(DL)常被讨论为前沿技术突破,但正如我们在前一节中看到的,这个旅程早在很久以前就已开始。
看不见的影响
理解影响机器学习(ML)和深度学习(DL)的潜在关系以及与之相关的历史非常重要。这是故事叙述的基础部分,但它也有助于更好地理解这项技术如何与我们周围的世界相联系。对于许多人来说,理解人工智能/机器学习概念可能会让人困惑,除非你来自技术或计算机科学背景,否则这些话题本身可能会显得令人生畏。即使是最好的情况,许多人也只能获得这项技术的基本理解,以及它是如何发展的。
我们希望通过让更深入的理解变得更加易于接触,来赋能那些有兴趣探索这项将在未来塑造许多产品和内部系统的基础技术的人。目前,已有偏见存在。大多数深入理解机器学习和深度学习的人,都是来自计算机科学背景的,无论是通过正规教育,还是通过训练营和其他技术培训项目。这意味着,在很大程度上,那些在这一领域进行研究和创业的人,传统上主要是白人且以男性为主。
除了人口统计因素外,从学术角度来看,对这些技术的投资水平也在上升。我们来看一些数据。斯坦福大学的人工智能指数显示,世界顶尖大学的研究生阶段人工智能投资增长了 41.7%。这个数字在本科阶段跳升至 102.9%。过去十年中,额外的 48%的人工智能博士获得者已离开学术界,转向私营部门追逐丰厚的薪水。10 年前,只有 14.2%的计算机科学博士与人工智能相关。现在,这一数字已超过 23%。特别是美国,正在留住其培养和吸引的人才。来美国攻读人工智能博士学位的外国学生,留下的比例为 81.8%。
这幅画面描绘的是一个世界,它迫切需要人工智能/机器学习领域的人才和技能。对人工智能/机器学习技能集的高需求,特别是一个人口多样化的人工智能技能集,正在使得那些在这一领域拥有硬技能的人很难留在学术界,而私营部门对拥有这些技能的人给予丰厚的回报。在初创公司中,许多风险投资公司和投资者能够自信地巩固他们的投资,因为他们知道某公司有一位拥有人工智能博士学位的员工,不论该公司的产品是否需要这种高深的专业知识。对具备这些抢手技能的人力资源的溢价,可能在短期内不会消失。
我们梦想着一个来自不同背景和能力的人们进入人工智能领域的世界,因为多样性迫切需要,而且我们面前的机会太大,以至于目前的门槛阻碍无法继续存在下去。人工智能的建设者了解其基础技术以及应用这些技术的强大力量非常重要。对于那些利用这一技术能力的商业利益相关者来说,了解眼前的选项和能力同样重要。归根结底,没有什么是如此复杂,以至于无法轻松解释。
深度学习的简史
1943 年,沃伦·S·麦卡洛克和沃尔特·皮茨发表了一篇论文《神经活动中固有思想的逻辑演算》,通过创建一个基于我们大脑内神经网络的计算机模型,利用一系列算法结合“阈值”来模拟我们如何在生物神经网络中传递信息,建立了数学和神经学之间的联系。然后,1958 年,弗兰克·罗森布拉特发表了一篇论文,广泛被认为是神经网络的祖先,名为《感知器:一个感知和识别的自动机》。就所有意图和目的而言,这是第一个、最简单、最古老的人工神经网络。
在 1960 年代,向反向传播的进展,或者说模型在训练数据集的过程中从过去的错误中学习的想法,朝着最终构成神经网络的方向迈出了重要步伐。当时发展的最重要部分是将启发式数学模型的思想与大脑基于神经元网络和反向传播的工作方式相结合,因为这为人工神经网络(ANN)奠定了基础,后者通过过去的迭代进行学习。
在这里需要注意的是,许多人工神经网络是以“前馈”的方式工作的,即它们依次经过输入层、隐藏层和输出层,且只能单向传播,从输入到输出。反向传播的思想基本上使得人工神经网络能够双向学习,从而能够在每个节点最小化误差,最终提高性能。
直到 1986 年,David Rumelhart、Geoffrey Hinton 和 Ronald Williams 发表了著名论文《通过反向传播误差进行学习表示》,人们才完全开始理解反向传播在深度学习成功中的作用。你可以通过反向传播跨越时间,这让神经网络能够分配适当的权重,并且训练具有隐藏层的神经网络,这在当时是革命性的。
每次发展后,机器学习和神经网络的潜力都引起了很多兴奋,但在 60 年代中期到 80 年代之间,有一个重大问题:缺乏数据和资金。如果你听过“人工智能寒冬”这个术语,这正是它所指的。尽管在建模方面取得了进展,但没有足够的数据来为正在开发的模型提供支持,也缺乏研究团队愿意收集这些数据的动力,这导致了模型的应用面临巨大挑战。
然后,在 1997 年,Sepp Hochreiter 和 Jürgen Schmidhuber 发表了他们开创性的工作《长短时记忆网络》,该论文有效地使得深度学习能够“解决以往递归网络算法无法解决的复杂人工长时间滞后任务”。这一发展的重要性在于它让序列的概念在深度学习问题中依然具有相关性。由于神经网络涉及隐藏层,时间的概念难以保持相关,这使得许多问题难以解决。例如,传统的递归神经网络可能无法像**长短时记忆网络(LSTM)**那样完成句子的自动补全,因为它无法理解完成句子所涉及的时间序列。
今天,大多数深度学习(DL)模型需要大量的监督数据集,这意味着驱动 DL 的神经网络需要大量的示例来理解某物是否是,比如说,一只狗或一匹马。然而,如果你稍微思考一下,这与我们大脑的工作方式并没有那么紧密的关系。一个刚刚开始学习世界的小孩可能需要一两次提醒关于狗和马的区别,但你大概不会反复提醒他们这一区别成千上万次。
从这个角度来看,深度学习正在朝着需要越来越少的示例来学习的方向发展。如果你记得之前的章节,我们介绍了监督学习和无监督学习技术,这在深度学习中变得尤为重要。没错,现如今我们能够收集大量数据供深度学习模型学习,但这些模型本身正在进化,在不需要大量数据的情况下提升,最终目标是无监督深度学习,它能够通过少量数据进行训练。
到目前为止,我们已经涵盖了一些塑造机器学习(ML)和深度学习(DL)领域的历史和影响。虽然我们并没有过多深入一些技术概念,但这为我们理解机器学习和深度学习是如何随着时间的发展以及为什么它们崛起为主流提供了良好的基础。在接下来的部分,我们将更为实际,深入探讨在深度学习中最常用的具体算法和神经网络。
神经网络的类型
现在,我们想将你的注意力转向今天在深度学习中最受欢迎的一些神经网络。基于上一部分的内容,其中一些可能听起来很熟悉,但熟悉这些概念将对你特别有帮助,尤其是如果你计划作为深度学习产品的产品经理工作。即便你现在不在这一岗位,也值得了解一下这些内容,以防你的职业未来转向深度学习产品。
以下是一些在深度学习中最常用的人工神经网络(ANN)列表:
-
多层 感知器(MLPs)
-
径向基函数 网络(RBFNs)
-
卷积神经 网络(CNNs)
-
递归神经 网络(RNNs)
-
长短期记忆 网络(LSTMs)
-
生成对抗 网络(GANs)
-
自组织 映射(SOMs)
-
深度置信 网络(DBNs)
在接下来的部分,我们将讨论这些不同的神经网络,帮助你了解它们最适合什么样的任务。就像在上一章中讨论机器学习算法一样,我们将描述每种人工神经网络最常见的一些应用场景,以便我们至少大致了解每种 ANN 的核心竞争力,这样在未来你如果想创建自己的深度学习产品时,可以将这些概念纳入考虑。如果你的目标是专门支持或构建自己的深度学习产品,这将是每种人工神经网络的一个很好的概览总结。
MLPs
在 1986 年,大卫·鲁梅哈特、杰弗里·辛顿和罗纳德·威廉姆斯的论文《通过反向传播错误来学习表示》发布后,MLPs 得到了广泛推广,因为在那篇论文中,他们使用反向传播来训练 MLP。与 RNNs 不同,MLPs 是另一种前馈神经网络,使用反向传播来优化权重。因此,你可以将 MLPs 视为一些最基础的人工神经网络形式,因为它们是最早出现的,并且今天仍然常用于处理一些更新的人工神经网络所需的高计算能力。它们的易用性和可靠性至今仍然很有价值,这也是我们希望从 MLPs 开始列出这些算法的原因,它为我们构建其他深度学习算法提供了一个良好的基础。
它们的学习方式是,算法将数据从输入层通过中间层传递到输出层。然后,根据输出层的结果,它会计算误差,评估预测值的偏差程度。这时,反向传播起作用了,它会评估预测有多么错误,从而反向传播误差率。接着,它会通过调整网络中的权重来优化自己,从而有效地更新自身。
这个想法是,你会将这些步骤多次通过模型,直到对其性能满意为止。还记得在第一章中提到的监督学习与无监督学习的区别吗?因为 MLPs 通过反向传播来最小化错误率,调整权重,所以 MLPs 是一种监督式深度学习算法,因为它们知道根据我们的标签数据,自己与正确答案的差距到底有多远。这些算法也常常与其他人工神经网络一起使用,作为最终的优化阶段。
RBFNs
RBFNs(径向基函数网络)出现在 1988 年,源自 D.S. Broomhead 和 David Lowe 的论文《多变量函数插值与自适应网络》。RBFNs 与本章将讨论的其他大多数 ANN(人工神经网络)不同,它们只有三层。大多数 ANN,包括我们在前一节讨论的 MLP(多层感知器),通常具有输入层和输出层,中间有几个隐藏层,而 RBFNs 只有一层隐藏层。另一个关键区别是,RBFNs 的输入层并不是计算层,而仅仅是将数据传递到隐藏层,因此这种 ANN 非常快速。这些深度学习算法是前馈模型,因此它们实际上只经过两层计算:隐藏层和输出层。
将这些网络类比为我们在上一章讨论的 KNN(K 近邻)算法可能会有帮助,KNN 算法旨在根据数据点周围的其他数据点来预测它们的值。之所以这样类比,是因为 RBFNs 通过距离、半径或欧几里得距离来逼近值,并且它们会将数据聚集或分组为圆形或球形,以更好地理解复杂的多变量数据集,这类似于第一章中的 K-means 聚类算法的工作方式。这是一个非常灵活的算法,可以用于分类和回归问题,并且可以在监督和无监督的情况下使用。
SOMs
SOMs(自组织映射)由 Tuevo Hohonen 在 1980 年代提出,是另一种无监督竞争学习的 ANN 示例,其中算法将多变量数据集压缩成一个二维“地图”。每个节点将与其他节点竞争,以决定是否应该激活它,因此这本质上是一场大规模的竞争,通过这种方式它实现了自组织。不过,从结构上来看,SOMs 与大多数 ANN 非常不同。除了输入层之外,实际上只有一层或一个节点,称为 Kohonen 层。节点本身也不像传统的 ANN 那样连接。
SOM 的训练过程类似于我们大脑自我组织和映射输入的能力。当我们感知到某些输入时,大脑会将这些输入组织到特定区域,这些区域适合我们所看到、听到、感觉到、闻到或尝到的东西。SOM 也会将数据点聚类到特定的分组中。其过程通过学习/训练进行,算法将数据通过输入层和权重发送,随机选择输入数据点进行测试,直到根据节点与数据点之间的距离选择一个节点,然后更新该节点的权重。这个过程会反复进行,直到训练集完成,最优节点被选中。
SOMs 也属于同类聚类算法,例如 K-means 或我们在前面部分提到的 RBFN,因为它们在寻找数据集中未标记或未发现的关系和分组时非常有用。
CNNs
CNNs,有时被称为 ConvNets,具有多个层,主要用于监督学习应用场景,在这些场景中,它们检测物体、处理图像,并检测医学和卫星图像中的异常。这个人工神经网络(ANN)的工作方式是通过前馈神经网络,因此它从输入层开始,经过隐藏层,最终到达输出层来对图像进行分类。这种类型的 ANN 被称为分类型 ANN,因此它的最终目标是将图像归类到不同的类别中。然后,一旦图像被分类,它会根据共享的相似性对图像进行分组,从而最终执行物体识别,这种技术用于检测人脸、动物、植物或街头的标志。CNNs 可以用于面部识别、物体识别、自动驾驶汽车或通常所说的 AI 计算机视觉应用。
CNNs 中的四个重要层如下:
-
卷积层
-
修正线性单元(ReLU)层
-
池化层
-
全连接层
卷积层将图像转换为一个由 0 和 1 组成的像素值矩阵,然后将该矩阵进一步简化为一个从第一个矩阵衍生出的更小矩阵。ReLU 层有效地减少了你传递给 CNN 的图像的维度。即使是彩色图像,在最初分配为 0 和 1 时也会被转换为灰度图像。因此,在 ReLU 阶段,CNN 实际上会去除图像中的黑色像素,以便进一步缩小图像,使其对模型处理来说计算更简便。还有一个层通过另一种方式减少图像的维度:池化层。
当 ReLU 层减少图像本身的梯度时,池化层减少图像的特征,因此,如果我们将一张猫的图像传递给 CNN,池化层将识别出耳朵、眼睛、鼻子和胡须等特征。你可以将卷积、ReLU 和池化层看作是对输入到模型的每个图像的部分进行操作,并同时将这些步骤的输出作为输入传递给全连接层,后者实际上将图像传递通过神经网络进行分类。实质上,卷积、ReLU 和池化层的作用是为图像通过神经网络准备,从而得出结论。
RNNs
有一些操作是前馈神经网络无法很好完成的,包括处理基于时间的序列数据、需要对多个输入进行上下文处理(不仅仅是当前输入)的操作,以及需要从之前的输入中进行记忆的操作。正因为如此,RNN 的主要优势在于其内部记忆,使其能够执行并记住对会话型 AI(如苹果的 Siri)要求的强大操作。RNN 在处理序列数据方面表现优秀,并且非常注重上下文,以便在处理时间序列数据、DNA 和基因组数据、语音识别以及语音转文本等任务时发挥出色。与之前处理前馈功能的 CNN 示例相比,RNN 在循环中工作。
与其说运动从输入层经过隐藏层,最终到达输出层,不如说 RNN 在循环中来回传递,这就是它保持短期记忆的方式。这意味着数据首先通过输入层,然后在隐藏层中循环,最后传递到输出层。需要注意的是,RNN 只有短期记忆,这也是为什么需要 LSTM 网络的原因。更多内容将在下一节中介绍。
从本质上讲,RNN 实际上有两个输入。第一个是初始数据,它通过神经网络传递;第二个实际上是它在此过程中获取的信息和上下文。这就是它通过该框架有效地调整当前和先前输入的权重,从而在经过循环时进行修正的方式。这一过程即反向传播,它通过回顾上一节中的内容(深度学习简史),你会记得这是深度学习取得成功的一个重要进展。
可以将 RNN 想象成一个由神经网络组成的集合,这些神经网络通过反向传播不断被重新训练和优化,以提高准确性,这也是它被认为是一种监督学习算法的原因。由于它是如此强大和有效的深度学习算法,我们可以看到 RNN 被广泛应用于从图像字幕生成和理解,到时间序列预测,再到自然语言处理和机器翻译等各个领域。
LSTM
LSTM 本质上是具有更多记忆能力的 RNN。通常,它们的表现方式是通过 LSTM 网络,因为它们实际上将 RNN 层连接起来,这使得它们能够在较长时间的延迟或更长时间段内保持输入。就像计算机一样,LSTM 可以读写或删除它所拥有的记忆数据。因此,它能够学习哪些数据需要长时间保留。正如 RNN 不断调整其权重并优化性能一样,LSTM 也通过为要存储或删除的数据分配重要性来进行相同的操作,权重值就是它们的依据。
LSTM 模型模拟了我们通过 LSTM 单元随着时间丢弃不相关或琐碎信息的能力,这些单元能够让信息作为输入进入,完全被遗忘或排除,或者通过传递影响输出。这些分类被称为门控,它们使得 LSTM 能够通过反向传播进行学习。
GANs
GANs 是我们最喜欢的人工神经网络类型,因为它们本质上由两个神经网络组成,它们彼此对抗,因此得名,并朝着生成能通过现实世界数据的目标进行竞争。由于这种生成能力,GANs 被广泛用于图像、视频和语音生成。最初,它们因其生成和自我调节能力被用于无监督学习,但也可以用于有监督学习和强化学习。其工作原理是,其中一个神经网络被称为生成器,另一个被称为判别器,这两个网络在这个生成过程中进行竞争。
GANs 最早在 2014 年由 Ian J. Goodfellow、Jean Pouget-Abadie、Mehdi Mirza、Bing Xu、David Warde-Farley、Sherjil Ozair、Aaron Courville 和 Yoshua Bengio 发表的一篇突破性论文中提出,文中指出 GANs “同时训练两个模型:一个生成模型 G,它捕捉数据分布;一个判别模型 D,它估计一个样本来自训练数据而非 G 的概率。G 的训练过程是最大化 D 犯错的概率。”
引用
Goodfellow, I. J., Mirza, M., Xu, B., Ozair, S., Courville, A., & Bengio, Y. (2014). 生成对抗网络。arXiv。doi.org/10.48550/arXiv.1406.2661
我们可以把判别模型和生成模型看作同一枚硬币的两面。判别模型关注图像可能具有的特征,例如,寻找它当前正在学习的所有狗图像之间的关联。生成模型则从类别本身出发,扩展到该类别图像可能具有的潜在特征。如果我们以“太空小猫”这个类别为例,生成模型可能会查看它所接受的示例数据,并推断出,如果它创建一张图像,它应该涉及到太空和小猫。然后,判别模型会接收生成模型创建的图像,并根据其自身的学习确认,任何属于太空小猫类别的图像必须包含小猫和太空这两个特征。
另一种解释方式是,生成模型将标签映射到潜在特征,而判别模型则将特征映射到标签。我们对 GAN 最感兴趣的是,它们实际上能够通过或未能通过自己版本的图灵测试。如何判断是否通过了测试?如果 GAN 正确地将生成的图像识别为伪造图像,那么它通过了(或者说失败了?)自己的测试。这完全取决于你怎么看待通过与失败。如果它错误地将伪造/生成的图像标记为“真实”图像,那就意味着生成模型非常强大,因为它的判别器没有正确地进行区分。然而,因为这是一个双面硬币,这也意味着判别器需要加强,以便更加敏锐。这一点非常具有自我反思性。
GAN 运行过程的步骤首先从生成器神经网络开始,该网络接收数据并返回一张图像,然后将该图像与来自真实世界数据集的其他图像一起输入给判别器。接着,判别器会输出一个介于 0 到 1 之间的数值,该数值表示它对每个被判别图像的概率,0 代表伪造图像,1 代表真实的世界图像。GAN 还使用反向传播,因此每当判别器做出错误判断时,GAN 就会从之前的错误中学习,调整权重并优化自身的准确性。
DBN
DBN 也有多个层次,包括多个隐藏层,但同一层的节点之间并没有相互连接,尽管它们与其他层的节点是连接的。层与层之间是有关系的,但层内的节点之间没有关系。DBN 是所谓限制玻尔兹曼机(RBM)的无监督学习层,RBM 本身是另一种形式的人工神经网络。这些 RBM 层被串联在一起形成一个 DBN。正因为有这个链条,当数据通过每个 RBM 的输入层时,DBN 会从前一层学习并获得特征。你添加的 RBM 层越多,整个 DBN 的改善和训练效果也越好。此外,每个 RBM 都是单独训练的,直到所有 DBN 都训练完毕,整个 DBN 的训练才算完成。
DBN 被称为生成式人工神经网络(ANN),因为每个 RBM 都基于概率学习并获得数据点的潜在值。正因为它们具备这种生成能力,它们可以用于图像识别、捕捉运动数据或识别语音等任务。它们在计算上也非常节能,因为每个 RBM 集群都是独立操作的。与前馈型 ANN 中数据必须穿越所有层不同,数据仅在每个集群内部局部流动。
作为产品经理,你不需要深入了解每一个神经网络,因为如果你在构建一个包含深度学习(DL)组件的产品,你会有内部专家帮助你确定使用哪些神经网络。但了解一些常见的神经网络类型对你是有帮助的,这样你就不会对这些决策感到茫然。在接下来的部分中,我们将看到深度学习神经网络如何与其他新兴技术交叉,以便更好地理解深度学习的能力和影响。
新兴技术——辅助技术和相关技术
机器学习(ML)和深度学习(DL)在与自然语言处理(自然语言生成(NLG)以及自然语言理解(NLU))、语音识别、聊天机器人、虚拟代理和助手、决策管理、过程自动化、文本分析、生物识别、网络安全、内容创作、图像和情感识别以及营销自动化相关的应用中得到了广泛应用。特别是从产品经理的角度来看,记住 AI 将越来越多地融入到我们生活和工作方式中是非常重要的。如果你作为产品经理从事创新工作,参与未来产品的新用例和最小可行产品(MVP)的构思与创建,这一点尤为真实。
随着时间的推移,我们将看到人工智能继续通过内部自动化的过程以及通过采用基于 AI 的无代码/低代码外部产品和应用程序来增强我们的劳动力,这些产品和应用程序将提升各个岗位的工作职能、技能和能力。增强现实(AR)、虚拟现实(VR)和元宇宙也为我们提供了新的新兴领域,在这些领域中,机器学习将学习更多关于我们世界的信息,帮助我们了解自己,也帮助我们建立全新的世界。我们还将继续看到机器学习通过 AI 驱动的设备得到应用,例如自动驾驶的飞机、火车和汽车,以及生物识别技术、纳米技术和物联网设备,这些设备能够共享关于我们身体和家电的数据流,我们可以利用这些数据来优化我们的安全、健康和能源使用。
当然,除了机器学习(ML)和深度学习(DL)之外,还有其他形式的人工智能(AI),以及一些常常与我们在本章中讨论的技术一起使用的新兴辅助技术。例如,尽管波士顿动力公司推出的狗狗 Spot 伴随着创新和声誉,但我们最近惊讶地发现,它们实际上并没有使用机器学习来训练这些小家伙。但即便如此,Spot 也将很快看到操作系统的 AI 更新,帮助它进行物体识别以及对这些物体的语义上下文化处理。
一般来说,人工智能(AI),尤其是深度学习(DL),可能很快就会通过量子计算得到更新,因为 IBM 通过公开宣布其量子计算机发展的“路线图”,使其雄心壮志更为具体,其中包括到 2023 年建造一台包含 1000 个量子比特(qubits)的量子计算机的宏伟目标。目前,IBM 最大的一台量子计算机包含 65 个量子比特。
量子计算可以在以成本效益的方式处理数据存储和检索方面,特别是大数据方面,极大地帮助我们。因为许多深度学习项目可能需要数周的时间来训练,并且需要访问大量数据,量子计算的辅助发展有可能在深度学习领域带来突破,甚至使得算法在训练时需要的数据更少,同时也能更快速地处理更多的数据和计算能力。这还可能为我们提供更多机会,帮助我们理解模型如何得出某些结论,并帮助解决深度学习中可能最大的难题——可解释性。
可解释性 – 优化伦理、警告和责任
伦理和责任在处理客户数据和行为时起着基础性作用,而且因为你们中的大多数人将会构建帮助人类做决策的产品,最终总会有人问你,你的产品是如何得出结论的。批判性思维是人类推理的基石之一,如果你的产品是基于深度学习(DL)的,那么你的回答将无法真正让任何人的怀疑得到满足。我们由衷的建议是:不要创建一个可能会伤害他人、让你被起诉或对你的商业造成风险的产品。
如果你正在以某种方式使用机器学习(ML)或深度学习(DL),并且这种使用方式有可能对他人造成伤害,或者如果存在明显的偏见,影响到少数群体(无论是种族、性别还是文化方面),那么就应该回到构思阶段。这无论是直接伤害还是下游伤害,都应该引起重视。这是机器学习带给我们集体的一个普遍风险:即我们将社会偏见编码进人工智能中,而没有采取必要的预防措施,确保我们输入给算法的数据是真正无偏的。
构建这些人工神经网络(ANN)的工程师们无法真正理解其内部机制,也无法真正解释 ANN 是如何做出决策的。正如我们之前看到的,尽管是外行的简化解释,ANN 结构是建立在现有的机器学习(ML)算法基础上的,并进行了扩展,因此几乎不可能有任何人能够真正解释这些网络是如何得出某些结论的。
再次强调,这就是为什么深度学习算法常被称为黑箱的原因,因为它们抵制对其工作原理的深入分析。由于人工神经网络的性质和复杂性,深度学习本身具有天然的不透明性。请记住,人工神经网络实际上只是对影响每个神经元的权重做出微小的调整。它们基本上是利用数学和统计学进行优化的复杂模式发现器。它们在每个数据点上进行数百次优化,经过多次训练迭代。我们根本没有足够的思维能力或语言来解释这一过程。
你也不需要成为深度学习工程师才能真正理解你的产品如何影响他人。如果你作为产品经理,无法充分阐述深度学习是如何在你的产品中应用的,至少不能证明你的深度学习产品输出不会对他人造成伤害,那么这可能不是你想全力投入的产品。
深度学习仍然处于研究阶段,许多产品经理由于我们在本章前面讨论过的可解释性问题而对其应用感到犹豫。因此,我们建议产品经理在尝试深度学习时要小心谨慎。我们有很多机器学习(ML)造成伤害的例子,即使它们仅仅涉及基本的线性回归模型。没有对同行和客户的责任心,贸然推进如此复杂且充满潜力的深度学习技术,只会给世界带来更多混乱和伤害。
我们是否总是需要如此谨慎?不一定。如果深度学习应用在通过检测癌症拯救生命方面做得非常好,或者在机器人技术中应用效果更佳,我们有什么理由阻碍进步呢?在使用深度学习时,要批判性地考虑何时需要关注。如果你的系统运行有效,且因为深度学习而变得更好,并且没有因人工神经网络的不透明性产生任何问题或担忧,那么世界就是美好的。
准确性 – 优化成功的关键
对于深度学习来说,我们只能真正衡量它的性能。即使从性能的角度来看,许多深度学习项目也未能提供工程师们期望的结果,因此管理预期变得尤为重要。如果你是产品经理或企业家,考虑将深度学习纳入你的产品,要以科学和好奇心的精神进行。保持对预期的开放态度。
但请确保你为团队的成功奠定了基础。你 ANN 性能的一个重要部分也体现在你开始训练模型之前的数据准备上。将数据通过 ANN 处理是你管道中的最后一步。如果你没有好的验证,或者数据质量差,那么你是无法看到积极的结果的。然后,一旦你确信你拥有足够的且清洁的数据,可以通过 ANN 处理,就开始尝试实验吧。如果你寻求最佳性能,你将需要尝试几种不同的模型,或者将几种模型组合在一起,并比较它们的表现。
微调深度学习模型所需的时间也相当漫长。如果你习惯了其他形式的机器学习(ML),那么经历几天甚至几周的模型训练可能会让你大吃一惊。这主要是因为训练人工神经网络所需的数据量庞大;大多数情况下,你至少需要 10,000 个数据点,所有这些数据都需要通过多个节点层并由 ANN 处理。你的 ANN 大多数情况下也会是我们之前提到的几种类型 ANN 的集合体。这个链条因此变得相当长。
理解人工神经网络(ANN)的本质本身就很神秘,因为人工神经元层次的复杂性。我们看不见确定性的特性。即使你做了一切“正确”的事,得到一个良好的表现,你也不真正知道为什么。你只知道它有效。相同的情况也会出现在某些事情出错或者你看到表现不佳时。你再次不知道为什么。也许是 ANN 本身出了问题,或者是你使用的方法有问题,亦或是环境发生了变化。回到更好表现的过程也是一个迭代的过程。然后,一切又回到原点。
记住,这些是新兴的技术算法。我们大家可能需要一些时间去适应新技术,并真正理解它们的力量。或者也不必!深度学习的部分失望其实在于预期的调整。有些深度学习算法能够让惊人的事情发生,并展现出极具前景的表现,但其他一些算法却可能轻易地失败。这不是一剂神奇的灵药。它只是一个强大的工具,需要由拥有知识、智慧和经验的人以正确的方式使用。考虑到我们一起讨论的大部分 ANN 都来自 80 年代、90 年代和 2000 年代初,那其实并没有多少时间。
所以,如果你在构建、管理或构思深度学习(DL)产品时,一定要小心谨慎。如果有疑虑,还有其他更易于解释的模型可供选择,我们已经在第一章中讨论过。宁愿安全一些,也不要事后后悔。如果你有充足的时间、耐心、兴奋和好奇心,并且有一个安全、娱乐性质的深度学习应用想法,那么你可能已经处于一个很好的位置,去探索这个激情,并创造出一些世界能够善用的东西。
总结
在这一章中,我们有机会深入了解深度学习(DL),并理解一些影响这一机器学习子领域的主要社会和历史因素。我们还得以了解一些在深度学习驱动的产品中最常用的人工神经网络(ANN),以便更加熟悉我们在构建深度学习时可能会遇到的实际模型。最后,我们通过探讨一些与深度学习协作的新兴技术,并深入讨论深度学习中最重要的概念:可解释性和准确性,结束了本章内容。
深度学习的人工神经网络(ANN)非常强大,表现出色,但如果你需要解释它们,你将遇到比使用更传统的机器学习模型时更多的问题。我们已经用书中的前三章时间来熟悉人工智能产品管理的更技术性方面。现在我们有了这个基础,我们可以花时间将所有这些技术进行情境化。
在下一章中,我们将探索市场上我们看到的一些主要 AI 产品领域,并且讨论一些对商业化贡献最大的伦理问题和成功因素。
参考文献
-
一些多元观察分类与分析方法:
books.google.com/
-
K-最近邻算法:分类与回归明星
www.historyofdatascience.com/k-nearest-neighbors-algorithm-classification-and-regression-star/
-
决策树
www.cse.unr.edu/~bebis/CS479/PaperPresentations/DecisionTrees.pdf
-
支持向量机:最流行的机器学习算法
cml.rhul.ac.uk/svm.html
-
逻辑回归 [
uc-r.github.io/logistic_regression#:~:text=Logistic%20regression%20(aka%20logit%20regression,more%20predictor%20variables%20(X)
](https://uc-r.github.io/logistic_regression#:~:text=Logistic%20regression%20(aka%20logit%20regression,more%20predictor%20variables%20(X)) -
贝叶斯分类器 [
www.sciencedirect.com/topics/computer-science/bayes-classifier#:~:text=Na%C3%AFve%20Bayes%20classifier%20(also%20known,use%20Na%C3%AFve%20Bayes%20since%201960s
](https://www.sciencedirect.com/topics/computer-science/bayes-classifier#:~:text=Na%C3%AFve%20Bayes%20classifier%20(also%20known,use%20Na%C3%AFve%20Bayes%20since%201960s) -
加尔顿、皮尔逊与豌豆:统计学教师的线性回归简史
www.tandfonline.com/doi/full/10.1080/10691898.2001.11910537
-
IBM 承诺到 2023 年推出 1000 量子比特量子计算机——这一里程碑
www.science.org/content/article/ibm-promises-1000-qubit-quantum-computer-milestone-2023
-
波士顿动力公司表示,Spot 机器狗的人工智能进展即将到来
venturebeat.com/ai/boston-dynamics-says-ai-advances-for-spot-the-robo-dog-are-coming/
-
卷积神经网络教程
www.simplilearn.com/tutorials/deep-learning-tutorial/convolutional-neural-network
-
生成对抗网络
arxiv.org/abs/1406.2661
-
自组织映射
sci2s.ugr.es/keel/pdf/algorithm/articulo/1990-Kohonen-PIEEE.pdf
-
多变量函数插值与自适应网络
sci2s.ugr.es/keel/pdf/algorithm/articulo/1988-Broomhead-CS.pdf
-
通过反向传播误差学习表示
www.iro.umontreal.ca/~vincentp/ift3395/lectures/backprop_old.pdf
-
变分问题的数值解法
www.sciencedirect.com/science/article/pii/0022247X62900045
-
感知机:一种感知与识别的自动机
blogs.umass.edu/brain-wars/files/2016/03/rosenblatt-1957.pdf
-
神经活动中固有思想的逻辑演算
www.cs.cmu.edu/~./epxing/Class/10715/reading/McCulloch.and.Pitts.pdf
-
人工智能教育
aiindex.stanford.edu/wp-content/uploads/2021/03/2021-AI-Index-Report-_Chapter-4
第四章:商业化 AI 产品
现在我们正处于人工智能(AI)融合的时代,我们可以看到许多人工智能的应用案例在各行各业中迅速扩展。在我们管理 AI 产品的工作中,我们无疑依赖 AI 顾问和博士级别的顾问来帮助我们进行建模和组织数据策略,以支持全面的 AI 运营。然而,随着 AI 浪潮的兴起,它正在渗透到各种公司和应用案例中,我们看到对通过高级学位取得的突破性成果的依赖逐渐减少。现在最重要的是熟悉即使是简单且可靠的模型的使用。专门化有其时机和地点。数据科学和人工智能是庞大的总括性术语,但根据我作为产品经理的经验,我认为我们迫切需要能够理解应用案例及其与商业视角关系的数据和 AI 通才。
在 AI 突破的时代,我们并没有像现在这样广泛的应用案例,因为数据不像现在这么丰富。如今,数据充足,我们看到了一种深刻的转变。焦点不再是研究和发现最前沿的算法来选择,而是转向获得足够的人才来使用那些经过验证的模型和算法。我们特别喜欢这种转变,因为它体现了 AI 民主化的概念,即人工智能正变得更加易于为研究和 MAANG 公司之外的更多群体所使用。
作为产品经理,你对此的哲学观点实际上取决于你问谁。有些产品经理认为,创造最佳产品的方法是从 AI 的角度进行突破性研究。另一些产品经理则认为,你可以通过使用那些已经变得普及或已经存在很长时间的模型,如回归模型,完成大量工作。
产品经理的目标是帮助实现一种不仅是商业上的成功,而且也是工业上的胜利的产品。那么,什么是工业上的胜利呢?如果我们能影响你推出一个真正能够为世界带来新的、必要的、实用的东西的产品,我们就达到了写这本书的核心目标。我们也会将其视为一种胜利。接下来,让我们来探索一些成功的 AI 产品管理案例,看看这种成功如何影响到商业的各个领域,包括预期的和意外的。
在本章中,我们将通过不同的商业模式和产品类型的视角,查看一些 AI 公司示例,包括企业对企业(B2B)和企业对消费者(B2C)的示例。我们还将审视那些在未饱和和服务不足的市场(蓝海)以及饱和和竞争激烈的市场(红海)中蓬勃发展的公司。本章的目的是突出展示一些在 AI 产品市场上取得成功的关键领域。
本章将涵盖以下主题:
-
专业人士 – 做得好的 B2B 产品示例
-
艺术家 – 做得好的 B2C 产品示例
-
先行者 – 蓝海产品的示例
-
反叛者 – 红海产品的示例
-
最伟大的 – 差异化颠覆性和主导战略产品的示例
专业人士 – 做得好的 B2B 产品示例
专业人士是分类产品的一个好起点。AI 首先会向那些能够盈利并允许研究和优化的用例靠拢。因为 B2B 产品是为其他企业制造并使用的,它们的用例完全面向商业世界。这影响了从市场推广到购买、销售、使用和谈判的方方面面。因此,许多 B2B 产品强调它们能够为客户在多个层面上满足的商业影响。这是学习 AI 潜在有益应用的一个好方法。
随着 AI 公司数量的增加,面临的挑战之一是它们需要数据来进行训练。具体来说,随着数据和 AI 产品的扩展,面临的一个伦理挑战是如何在提供大量数据的同时,不泄露能识别个人身份的信息,也就是私人个人信息(PPI)。总部位于英国的 AI 公司 Hazy 正是为客户提供这一能力:通过所谓的合成数据,能够推导出洞察、理解信号并共享数据。合成数据是模仿真实世界场景的数据,但它是在虚拟世界中创建的,所模仿的是与真实世界数据集的统计相似性。由于数据密集型深度学习模型的特性,合成数据在训练神经网络时更受青睐,因此 Hazy 有着光明的未来。该公司凭借其 300 万美元的资金做出了许多成就,并在短时间内吸引了大量标志性客户。
成功的 B2B 公司本质上在于其能够为所支持的企业创造成功,尽管我们身处大数据、机器学习和深度学习的数据丰富时代,但机器学习和深度学习仍然需要大量的数据进行学习和定期重新训练。Hazy 在解决企业在数据可用性方面的痛点上做得非常出色,这一点在其客户群的忠诚度中得到了体现。Hazy 保持这种忠诚度的另一种方式是通过教育其客户了解传统匿名化或掩盖现实世界数据的方式的伦理和法律后果。
另一个在 B2B 市场上推动成功的 AI 公司是总部位于加利福尼亚的游戏公司 GGWP。虽然他们不开发自己的游戏,但他们使用 AI 减少游戏文化中的毒性,并为游戏公司提供一个仪表盘,让他们能够看到用户在审查方面的表现。随着游戏公司越来越重视其游戏社区的安全和健康,他们将会依赖像 GGWP 这样的公司来确保所有用户的安全。审查一直是社交媒体公司和游戏公司讨论的话题,找到一家公司在这一领域取得成功,实在令人欣慰。
GGWP 也是一个积极的例子,提醒我们在特定领域利用 AI 代替人工工人的重要性。雇佣人工版主的最大问题,首先是他们在日常工作中承受的情感压力。扫描有害或暴力语言并不适合胆小的人,而且在持续不断地发现恶心或仇恨内容时,甚至最坚强的人也会感到沮丧。在伦理上使用 AI 来帮助我们解决那些我们不愿意承担的任务,是有很大道理的。
专业人士似乎最适合这一群体。在 B2B 世界中销售给其他企业时,大多数企业都有一套标准的操作程序,大家都比较愿意遵循。这包括从销售策略到预算或工作陈述的批准,再到通过领导层、采购部门及所有相关团队的合同审批等各个环节。因为大多数 B2B 产品关注的是成本节约、生产力或收入生成,参与其中的各方之间的互动更为结构化。专业精神的核心是能力和诚信,无论在任何时刻遇到什么情况,B2B 市场可以从很多角度看作是运转良好的机器。就像它们所代表的产品一样,这些公司本身也在寻找优化生产力、创造收入、降低销售周期和市场互动中的成本的方法。
艺术家——正确完成 B2C 产品的例子
艺术家们在这里向我们展示了如何利用人工智能,以一种能够为潜在数十亿未满足需求的客户提供表达方式的方式。B2C(商业对消费者)指的是那些预期将被个人消费者而非其他企业购买和使用的产品。对于 B2C 产品,通常会有一种感觉,认为你是在寻求满足许多个人的需求和口味。然而,经过进一步思考,B2C 公司实际上是在努力满足数百万人的一些共同需求。越是投入足够的精力去设想解决方案,并理解那些能够帮助如此多人解决的未满足需求,这些公司就越能够做好满足这些需求的准备。
毫无疑问,我们最喜欢的人工智能驱动的消费应用是 TikTok。这家中国巨头使用三种人工智能技术(dev.to/mage_ai/how-does-tiktok-use-machine-learning-5b7i
)来优化用户体验:
-
计算机视觉技术追踪视频中的图像
-
自然语言处理技术通过声音和音频记录进行学习
-
从字幕的元数据中提取信息,以便最佳地传递用户最感兴趣的内容
这个例子最重要的一点是它是一个社交媒体平台,所以我们仍然能看到在吸引人的内容和上瘾行为之间的内在冲突。根据我们自己的消费习惯,这仍然是他们面临的问题区域。我们相当确定,我们与应用上十亿个同行分享了这个担忧。就 B2C 产品而言,我们很难找到一个更好或更成功的例子。
现在,让我们将注意力转向另一个令人上瘾的应用程序。这次它也许是一个更健康的上瘾——对知识的渴望!总部位于宾夕法尼亚的 Duolingo 通过深度学习的方式,帮助人们以更高效、更专门化的方式学习语言。这个游戏化、个性化的应用程序吸引了超过 3 亿月活跃用户,并提供超过 30 种语言。Duolingo 的主要理念是,它会和你一起学习,并基于它认为你即将忘记的单词,向你提供重复的练习。这种重复模仿了我们自然学习的方式,而应用中的游戏化积分系统则给予你继续每天学习 15 分钟所需的情感鼓励。
作为附加信息,Duolingo 一开始并不是一家人工智能公司。它成立于 2009 年,起初开始尝试个性化和 A/B 测试时,迅速意识到应该开始使用机器学习进行测试。在本书后面,我们将讨论如何将人工智能功能加入到现有的非人工智能产品中。Duolingo 为我们提供了一个成功的例子,说明了如何做到这一点。
我们决定称这个团队为艺术家,因为艺术捕捉了时代精神以及来自社会集体的不同能量。这与市场隐形之手的概念非常契合。产品市场契合度的概念也是模糊不清的。市场想要的就是它想要的,而我们每个人都直接或间接地构成了市场,创造真正艺术的公司能够在市场所在的地方与之对接。难怪人们对学习语言感兴趣。世界日益全球化。全球就业市场支持那些能够远程或本地工作的全球人才,因此,有人可能因为好奇而搬迁或学习一门语言的想法,似乎在过去的 10 到 15 年中有所增加。
人们普遍希望自我表达,尤其是在分享 COVID-19 大流行带来的集体撤退时,这一想法支持了一个全球社交媒体应用程序的构想,帮助你几乎不费力地创造内容。TikTok 和 Duolingo 以一种方式捕捉到了集体的需求,为数百万人的生活带来了宽慰与轻松。
B2C 应用程序的业务是挖掘大众集体需求的。消费者不同于与其他企业合作的客户。没有一个庞大的潜在“看门人”群体阻碍找到有能力且愿意购买的销售对象。当将产品销售给消费者时,你只需要赢得一个人的认同。你会被诱惑去做所有人的事。从某种意义上说,我们想象选择和优先排序功能会很困难。将产品迎合潜在的数百万种观点是不可持续的。但抓住一种情感需求,激发并吸引数百万观众,会像钟声一样响亮,每个听到其回响的人都会感受到它的光辉。真是太艺术了。
先驱者——蓝海产品的例子
对于先驱者,我们希望专注于那些为其产品寻找新类别或新用例的公司。这些公司正在寻找新的途径为他们所提供的产品创造需求,并且这些公司通过多种方式为自己创造需求。这就被称为蓝海:一个仍在形成中的竞争格局,尚未看到太多竞争(至少目前如此),并且必须为自身需求进行宣传。在红海市场中探索相对简单,因为已经有了许多通道可以走。已有一个蓬勃发展的生态系统供人们学习和导航。但先驱者必须为这一知识而努力。
部分原因在于,这些公司本身需要进行足够的研发,才有足够的理由去追求他们正在帮助建设的行业。蓝海也把很多责任推给了行业中的早期玩家,要求他们创造思想领导力和宣传,首先让潜在的竞争者、投资者和客户保持好奇心。
Bearing.ai 是一家特别引起我们注意的初创公司。在新冠疫情加剧了已经紧张的供应链危机问题之后,我们真的很喜欢一个深度学习平台的想法,这个平台不仅要简化供应链路线,还要解决海洋燃油消耗的问题。我们依然觉得,我们竟然如此依赖于将商品物理运输如此长距离的方式,以及劳动力成本和原材料供应的可用性推动了我们建立的这种高度低效的全球贸易系统。我们希望,有一天,我们可以创造更高效的本地化系统来管理全球消费,但在此期间,有 Bearing 在。
Bearing 作为一个蓝海产品的典范在哪些方面做得很好?真的没有太多竞争。搜索深度学习海运路线优化产品,Google 几乎没有结果,这就是蓝海市场的核心。你不必与竞争对手争夺客户。蓝海的固有挑战在于你必须创造需求,证明你的产品存在的合理性。你必须实质性地为为何要经营以及为何世界需要你的产品提供一个引人注目的故事。这是一个棘手的游戏,但如果你做得好,你可以自由选择客户。目前,Bearing 对一小部分客户进行封闭式测试。这是蓝海的另一个优势:你可以营造出独家性。只有特定的特别人才能了解这个新的激动人心的冒险。
我们已经讨论了使用深度学习模型的道德及其解释性问题。这在某种程度上或多或少地取决于产品的成功案例。对于 Bearing 来说,深度学习模型正在优化最佳路线,对于公司及其客户来说,模型的准确性比其解释性更重要。如果有效,那就有效。在这里,我们看到更少依赖于解释模型如何得出某些结论,因为他们的客户更关心路线是否合理且确实更高效,而不太关心内部机制如何得出某些结论。如果是约会网站或物业科技公司优化租户成本,情况可能就不同了。
说到可解释的人工智能,我们的第二个蓝海例子是 Fiddler.ai。我们很高兴看到关于机器学习可解释性的话语已经达到了如此高潮,以至于我们看到了许多公司出现,他们与你合作,帮助创造所需的透明度和信任,确保我们继续以负责任和伦理的方式融入人工智能。做这件事的公司并不多,而 Fiddler 让你能够在每个生命周期阶段都能遵守法规并将模型集成到你的产品中。Fiddler 在自我辩护方面做得很出色:他们提出了可能影响每一个正在创建机器学习模型使用环境的公司的真实风险。他们还非常擅长传播他们的产品。从世界经济论坛到《福布斯》,再到 CB Insights 和 Gartner,他们得到了大量的优质媒体报道,并利用这些报道在他们所处的蓝海中为自己争取强有力的支持。
当我们想到先驱者时,我们会想到那些带着好奇心进入未知领域,并因他们的勇气而获得回报的人。蓝海尤其难以航行,因为你是在为一种产品创造需求,实际上是在创造一个市场。为了在这种市场的不确定性中生存下去所需的信念和愿景,是很少有人能够长期保持的。传播、实验和使命的建设使得先驱者从人群中脱颖而出。首个开辟的道路具有固有的美德,所有后续的道路都要感谢你为其奠定了基础。
先锋公司所做的传播工作也适用于竞争环境。当你处于蓝海时,竞争对手是你的朋友,因为他们证明了你的产品和解决方案的存在。你的竞争对手越多,你作为企业的信誉就越高,你也越能帮助创建一个由少数关键玩家组成的支持性生态系统。在很多方面,先驱者们正在向各个方向扩展并覆盖新的领域。
反叛者——红海产品的例子
红海是已经变得不适合生存的市场,市场中充满了成熟且完善的竞争环境。在这种环境下,许多路径已经被形成,你必须选择一条来生存并服务。你依然有机会创造新的东西,可以采取许多策略来击败竞争对手并进行专业化,但你面临的挑战是是否能凭直觉看到下一步该走向哪里。由于竞争对手的多样性和繁荣,部分挑战在于你很难确定自己真正想走的方向,或者哪些竞争者真的在分走你的市场份额。
Lacework,一家总部位于加利福尼亚的云安全公司,根据 Crunchbase 获得了总计 19 亿美元的资金支持。在竞争激烈的竞争环境中,网络安全行业非常激烈。各家公司相互竞争,新兴的创业公司不断涌现,行业巨头收购最有前景的新秀,这是一个经常变化的领域。Lacework 通过拥有自己的研究实验室(www.lacework.com/labs/
)来测试和应对新的威胁和攻击,出色地利用新兴的机器学习应用案例。这使他们能够保持竞争力,并灵活地赢得了投资者的信心。他们现在正在进行第四轮融资,并且没有停下来的迹象。
Lacework 在提到 AI 的道德标准和实践时,给我们提供了另一个重要的观点,即致力于模型优化和多样化训练数据的研究。拥有实验室不仅使他们能够在其产品的各个领域持续更新 AI 应用程序,而且还使他们在处理对客户最紧迫的网络安全问题时,始终保持着责任感。这在特别是在激烈的市场中,为他们的客户群体建立了很多信任,这也是他们主要的成功因素之一。
我们在竞争激烈的市场中看到另一个典型案例,即位于加利福尼亚的机器翻译公司 Lilt。本地化和翻译行业也经历了内部竞争,这是一个充满翻译服务和技术提供商的市场,而 Lilt 结合了这两者。从人工智能的角度来看,Lilt 的特别之处在于,根据他们的首席执行官 Spence Green 的说法,它是*“世界上第一个也是唯一一个交互式、自学习的神经机器翻译系统”*。其创始人们在 Google Translate 工作时,基于对机器翻译不足的认识,创建了 Lilt,并且他们的努力得到了回报。该公司现在正在进行其第三轮融资,并且迄今已获得了超过 9000 万美元的资金支持。
当我们想到叛逆者时,我们想到的是勇气。在竞争激烈的市场中竞争需要极大的勇气。面对如此多的竞争者,你很容易分心并感到疲惫不堪。每个竞争者都代表着你可以发展的一个方向。如果你足够专注,其他机会可能会变得难以捉摸,试图满足所有人的公司往往会因为缺乏聚焦而遭受困扰。产品经理和领导层需要共同努力,确保产品有清晰的愿景,并且公司能够作为一个团队团结在这个愿景背后。对我们来说,叛逆者是无畏的,探索这种恐惧有助于理解那些成功的红海公司。也许这种无畏来自于一家公司在市场中不断面对众多对手时培养出的勇气。最终,你会专注于细节,并获得激光聚焦的视野。
GOAT – 差异化的颠覆性和主导战略产品的例子
现在,我们将关注主要的市场战略,并查看每种战略的有史以来最伟大的(GOAT)例子。市场战略决定了你的市场推广团队的努力方向。你是要去吸引那些选择太多还是选择太少的客户?你会创造一个比竞争对手更有效的产品,还是一个更差的产品?这些问题在制定商业计划时看起来很显而易见,但当公司开始运营并获得一些客户后,这些决策可能不会像公司成立初期那样明确。
我们从创业世界中学到的最重要的一个教训就是,要学会提出那些看似已经深深融入公司使命和精神中的问题,这些问题看起来很显然。我们在过去的经验中曾经不情愿地提过这些问题,但现在不再这样了。公司如果受到足够的诱惑,可以改变它们的战略,但每一次改变都会给公司带来潜在的风险。市场战略决定了从如何构建产品到如何销售产品的方方面面。如果对市场战略的这些方面缺乏清晰的认识,可能会导致产品的构建不合适。如果在产品的沟通和销售上缺乏清晰度,可能会导致获得不适合公司的客户。
以下是来自 Wes Bush 的书《产品驱动增长》中的图表,展示了公司在增长战略中可以使用的四个战略领域:
https://github.com/OpenDocCN/freelearn-dl-pt7-zh/raw/master/docs/ai-prod-mgr-hb/img/B18935_04_01.jpg
图 4.1 – 四个战略领域
这张图展示了战略象限,划分了市场进入战略的各个领域,并突出了离散差异化、主导性和颠覆性战略之间的关键区域。每个公司都需要决定它的市场进入战略,因为这将影响它如何销售、如何营销其产品,以及它将使用何种语言来接触目标客户。
在接下来的部分中,我们将聚焦于差异化战略、颠覆性战略和主导战略,并为每种战略选择一个使用 AI 推动这些增长战略的例子。
主导战略
在主导战略中,你的目标是吸引各类客户:既有寻找优质产品的客户,也有希望支付更少的客户。这会整体提高你的市场份额,这也是为什么这种战略被称为主导战略,因为它采用的是“赢家通吃”的心态。我们以快时尚为例,这是我们见过的最具竞争力的市场之一。如果你是快时尚零售商,拥有更便宜的产品并不仅仅是重要的,你还必须有支持高效交付该产品的运营。以 Netflix 为例,在其巅峰时期是个很好的例子,但如今我们很难找到比 SHEIN 更合适的例子。这个中国品牌通过利用 AI 更好地预测新趋势并预测市场上某些产品的需求,来展现其主导战略,并将这些数据与供应链相结合,确保能够及时响应需求变化,令客户满意。这影响了从营销活动到应用内体验,再到产品评价的方方面面。证据也非常明显。
以前,西班牙快时尚公司 Zara 的最快周转时间为 3 周,用于创作和交付一季的新系列。而 SHEIN 将这一时间缩短到了全新的行业最佳——3 天。这是真正值得钦佩的 AI 和机器学习应用。
主导战略是通过以更低的成本、更好地完成任务来削弱他们竞争市场的战略。这是有效的,因为它在两个方面都最大化了回报。它既能获得那些希望任务完成得更好、又希望支付更少的客户。这意味着你赢得了相当大的一部分市场份额。当这种战略执行得当时,采用这种战略的公司基本上可以轻松赚钱。
颠覆性战略
采用颠覆性战略,你仍然是在以更低的价格销售产品,但它所提供的也相应减少。谁会想要这样的东西呢?那些被过度服务并被各种选择轰炸的人,他们实际上只需要比他们所面临的竞争选择更简单的工具。我们没有看到比 Canva 更好的例子了。你可以使用 Canva 编辑照片,创建从社交媒体帖子到简历的任何东西,而且执行这些操作的工具非常用户友好且简单。
这家澳大利亚创意平台利用 AI 为客户提供他们所需的更多模板和内容。虽然它提供的功能不如Adobe 的 Photoshop 或 Microsoft Office 套件那么全面,但它确实提供了用户所特定需要的内容,并且使用起来既免费又便宜。它迅速成长为独角兽公司,因其精准满足了客户的需求。
颠覆性战略最有趣的地方在于,它能够通过向潜在客户展示不同的视角来影响他们。颠覆改变了市场中现有权力结构的范式,一个新的风向标人物出现,激励竞争对手和客户尝试新的方式,来要求和使用产品。这种范式的变化为整个市场带来了新颖性和专业化的礼物。也许工作做得更糟,但这对一群新兴的潜在客户是有益的。也许这个新群体是其他竞争者从未考虑过的目标客户。
差异化战略
在差异化战略中,你可能会销售一种在某个细分市场上具有专业化优势的优质产品,但你也会因此收取更高的价格,以体现这种专业化。我所举的差异化战略例子来自一个与我有密切关系的公司:我曾合作过的一家英国基于机器学习的房地产科技公司,名为 Beekin。Beekin 并不是一个价格便宜的房地产科技平台,但当时它提供了其他房地产科技公司无法提供的下一代平台。我们构建了一个原生机器学习平台,能够从市场评估到预测未来行为,提供最优租赁价格。我们的客户没有太多其他竞争工具可选,因为他们的替代方案是那些拥有过时规则引擎的房地产科技巨头,而房地产科技行业正被 AI 迅速颠覆。
差异化战略在能够最好地传达其产品优势的环境中蓬勃发展。由于价格标签也较高,因此必须有一个令人信服的理由,说明为什么有人会在市场中选择差异化产品。那些与竞争者有显著不同的独特产品,在这种市场战略中表现突出。在 Beekin 的例子中,几乎没有其他竞争者将机器学习作为其产品的基础,它能够帮助很多人完成他们的工作任务。这就是差异化产品的最大优势:满足细分市场并推动行业发展。差异化的需求推动并促进了行业的成熟。一旦出现了更多有特殊且迫切需求的客户,差异化产品就会出现,向其竞争对手展示如何开始专注于某一领域,并迎合客户的需求。
让我们花点时间为迄今为止看到的所有例子鼓掌。将一个可行的、有效的产品与商业模型、产品战略和忠诚的客户群体对齐所需的工作和奉献精神,绝对是一项巨大的成就,成功值得大声庆祝和赞扬。我们从他人的成功中学到了很多,并且在为本章选择合适的示例时,感到非常有趣。
可解释性是产品经理关注的一个重要领域。你能够轻松解释你的人工智能产品,如何得出某些结论,如何理解其工作原理,这在与公众或敏感话题打交道时变得非常重要,或者当你拥有高端或企业客户,可能在后期面临风险时,这一点尤为重要。我们并不想说服你成为怎样的产品经理;相反,我们希望为你提供多种选择,供你考虑。
无论你是依赖人工智能领域最聪明的人才,还是刚从训练营毕业的机器学习实习生的帮助,都要知道,简单的模型也能做出很多事情。追求算法的完美与依赖那些被广泛使用的简单工具同样值得钦佩。这在很大程度上是一个偏好和使用场景的问题。
本章的目的是突出近年来人工智能产品的一些有前景的发展,提供多种视角,展示如何在不同的商业模型中利用人工智能。这并不是要模仿其他公司,而是要理解人工智能的哲学、行为、伦理和实践如何从一种商业模型转变到另一种商业模型。对我们来说,这是在部门层面上管理产品的关键。作为一名产品经理,你的任务是确保产品的商业成功,理解人工智能如何与您的商业模型相关联,对于风险管理至关重要。
总结
在本章中,我们介绍了一些近年来做得正确的、有前景的人工智能示例,目的是从同行的成功和应用案例中寻找灵感。作为产品经理,理解你的市场战略、商业模型以及所服务的市场至关重要。我们已经深处人工智能普及的时代。许多企业正在将人工智能应用于其产品和业务中,我们希望你享受这些示例,同时继续了解管理人工智能产品的细节。
在下一章,我们将戴上未来主义者的帽子,了解人工智能领域中即将出现的一些新兴趋势。我们相信,所有的产品经理都应该具备一些未来主义的素质。了解当前和近期事物的发展状况可以为评估现有战略提供一个快照。然而,在技术领域,事物发展得非常迅速。在商业领域,预测和未来目标也可能每周发生变化。
如果我们想要影响领导力、资源和时间,推动我们的 AI 产品向能够激励客户和批评者的领域扩展,我们必须安全地应对未来的潜力。让我们来看看,AI 趋势的预测是什么。
参考文献
- AI 帮助 Duolingo 个性化语言 学习:
www.wired.com/brandlab/2018/12/ai-helps-duolingo-personalize-language-learning/#:~:text=The%20learning%20behind%20the%20lingo,data%20and%20make%20intelligent%20predictions
)
- Hazy Company 信息:
www.cbinsights.com/company/anon-ai
)
- GGWP Company 信息:
www.crunchbase.com/organization/ggwp-65c2
)
- Lacework 实验室:
www.lacework.com/labs/
)
- TikTok 如何使用机器 学习?:
dev.to/mage_ai/how-does-tiktok-use-machine-learning-5b7i
)
- Canva:
www.lifeatcanva.com/en
)
- Lilt Company 信息:
www.crunchbase.com/organization/lilt
第五章:人工智能转型及其对产品管理的影响
当我展望未来,想象人工智能产品将带来的变化时,我感到巨大的启发和乐观情绪,关于人工智能帮助我们应对一些人类面临的重大挑战的能力。我主持了一项每月一次的活动,与女性人工智能从业者进行对话,名为WAITalks。在这些每月的对话中,我提出的许多问题都是重复性的问题,主要围绕着演讲者是如何进入这个领域的、他们最兴奋的人工智能方面是什么,以及他们希望其他人了解他们所在领域的人工智能的内容。从研究到企业,再到创业领域,不同的女性从事人工智能工作,她们回答这些相同问题时展现了许多美丽与洞察。
我们 2022 年 3 月的一位演讲嘉宾曾在 Meta 从事人工智能政策工作。由于她的工作涉及伦理学,我们花了大量时间讨论人工智能带来的风险和固有问题。在谈了一段时间这些问题之后,我想知道,像她这样的人在展望人工智能的未来时会期待什么。我们常常听到人工智能的承诺,总是很高兴了解不同人群对人工智能将如何帮助我们的看法。她的回答让我震惊。她说,由于她的工作过多地关注人工智能所带来的法律问题、风险和偏见,容易让她对人工智能及其对全球人类的影响持悲观态度。但她并没有这样想。她表示,她比以往任何时候都更相信人工智能将在帮助我们解决人类将面临的最大问题方面起到基础性作用,从癌症到气候变化,再到困扰我们并让我们彼此分裂的社会偏见。
在这一章节中,我们将讨论几波人工智能的转型浪潮,并探讨创意构思、构建最小可行产品(MVPs),以及如何利用人工智能推动公共利益和商业成功。首先,我们将看看人工智能将如何革新我们的经济体系,以及我们如何与金钱和价值相关联。这里将是宏观的概述。接着,我们将探讨商业层面,看看人工智能如何推动 MVP 的增长。这将深入探讨人工智能在商品和服务层面将带来哪些整合。人工智能在治理中的扩展将是我们第三部分的主题,特别是公众公民数据与政府如何选择使用其公民数据之间的交集。我们的第四部分将探讨人工智能在医疗保健中的应用,最后,第五部分将提供一些见解,讨论人工智能如何为全人类的福祉及全球基本需求的满足做出贡献。
我们将深入探讨这些宏观趋势,向有意创建自己产品的产品经理提供见解,或者向那些希望在当前代表的产品套件内扩展的人员提供机会。我们还将从那些不一定在管理产品、平台或产品套件的产品经理的角度来看待这些宏观趋势,而是从管理其业务领域或利益相关者团队的产品经理的角度来看。产品经理有很多不同的表现形式,以下章节将为所有希望关注未来、并扩展人工智能在自己组织中的应用的产品经理提供道路和灵感。每一位产品经理都能在其业务、产品路线图以及随着组织发展而提出的创意中产生影响。
记住,作为一名产品人,你是变革的推动者。无论你处于什么层级,你都拥有巨大的影响力。你负责监督你的产品的商业成功与增长,你有巨大的能力激励你的业务发展并拥抱未来的技术。明智地使用你的影响力,并保持敏锐的嗅觉,随时了解利用你影响力的新方式。
在本章中,我们将讨论以下主题:
-
金钱与价值——人工智能如何革新我们的经济体系
-
商品与服务——商业化最简可行产品(MVP)的增长
-
政府与自治——人工智能如何塑造我们的边界与自由
-
疾病与健康——人工智能和纳米技术在医疗保健中的益处
-
基本需求——人工智能促进公益
金钱与价值——人工智能如何革新我们的经济体系
人工智能(AI)在金融科技和我们的整体经济体系中并不陌生。我们已经看到,加密货币的兴起与金融行业运作方式的变化是同步发展的。智能合约特别在加密货币和区块链的普及中起到了巨大的推动作用。这本书并不是关于加密货币的,但它确实标志着金融行业和经济体系在根本上的运作方式发生了变化。
人工智能(AI)和机器学习(ML)是优化的优秀工具,优化利润几乎是 AI/ML 最有说服力的应用场景之一。金融行业长期以来一直在利用量化分析师或quants。量化分析师为金融和风险建模问题做统计和数学建模,在很多情况下,对于那些有兴趣从事21 世纪最性感的职业(即数据科学)的人来说,甚至在 2012 年《哈佛商业评论》这个术语被广泛传播之前,这已经是一个有利可图的职业。
在人工智能的推动下,建模和风险最小化的速度得到了极大的提升。考虑到金融行业本身是以人为主的,人工智能的引入与人类工作岗位之间产生了竞争。我们以交易为例,探讨算法交易的使用。这是指能够编写一套指令,考虑不同变量,例如交易量、价格和时间等。与人工交易员相比,人工智能或算法可以更快地优化某些股票的购买,并从成功的历史行为中学习。深度学习在这里也可以发挥作用,其性能输出可以作为输入,进一步训练算法交易平台,这意味着这些复杂的系统可以开始识别模式,并以几乎无限的精度发现机会,远超人类交易员。
当然,人工智能在金融领域的其他应用案例也发挥了重要作用。例如,欺诈检测、会计优化、客户评论处理以及风险评估等,都是已经经历人工智能变革的金融服务领域。展望未来,我们还可以看到大量的投资专门用于人工智能的扩展。经济合作与发展组织(OECD)发布的一份 2021 年报告预测,到 2024 年,全球在人工智能上的支出将超过 1100 亿美元。2020 年,这一数字大约是预测金额的一半,鉴于 COVID-19 大流行的影响,人工智能的应用趋势也得到了加速。
尽管我们通常会担心深度学习模型的黑箱性质,但我们需要指出,在像交易这样的绩效驱动型环境中,这并不是那么重要。评估偏差,并确保算法不会自主做出影响不同群体的决策,始终是重要的,而且我们已经有政府机构在审查金融交易的公平性和市场监管。这些政府机构本身也在拥抱人工智能——旨在提升监管活动、监控和合规性,使其更加高效、迅速。
人工智能/机器学习的应用仍然存在局限性,当前的建模仍需要大量人力输入。美国证券交易委员会(SEC) 经济与风险分析部门(DERA)代理主任兼代理首席经济学家 Scott W. Bauguess 最近在一场演讲中让我们松了一口气,他说:“虽然机器学习的重大进展已经并将继续提高我们监控市场可能不当行为的能力,但现在就把人工智能视为我们的下一个市场监管者仍为时过早。科学尚未达到这一点。今天使用的最先进的机器学习技术能以前所未有的方式模仿人类行为,但机器进行更高层次推理仍是一个难以捉摸的 希望” (www.sec.gov/news/speech/bauguess-big-data-ai
)。
从金融交易到股票交换,再到金融活动的监管,我们在这一部分已经看到了一些人工智能如何影响整个行业的例子。我们希望以更具哲学性的视角来结束,探讨人工智能的采用对价值、财富和金钱这一概念的影响,尤其是从产品的角度来看。如果你在金融科技领域工作并支持金融产品,你不仅会关心这将为客户带来什么价值,同时你也需要关注可能影响产品商业化的风险。本节中的金融例子提醒我们,在构思用例和产品时,首要任务是提供价值。
无论你是在 Web3 和区块链技术、传统银行,还是在金融产品监管领域工作,你都在寻求利用人工智能/机器学习,让你的产品帮助某个人改善某个结果。帮助的形式各异。在你进行创意构思,并寻求提供市场所需产品时,请考虑那些帮助某人以更快、更简便或更高效的方式得出结论的产品。也许这能让你的客户更有盈利能力,或是降低他们的成本。也许这能帮助你的客户预测未来的不确定性。也许它能为客户提供一个扩展世代财富并实现财务独立的途径。也许你的产品是通过个性化方式,利用人工智能/机器学习最好地理解客户。这其中也有巨大的价值。
如果你在思考如何最好地利用 AI/ML 为你的产品创造价值,那么就要从如何最好地为终端用户和你的企业带来收入和价值的角度来考虑。我们发现倒推思维(reverse thinking)是一个不错的方式,即先设想产品最终将为用户提供什么样的结果,然后从这个结果出发,反向设计一个符合最终结果的解决方案。另一个好方法是在头脑风暴阶段使用发散性思维(divergent thinking)。无论你的产品是预测、优化,还是为客户个性化体验,都可以尝试想象其他场景和使用案例,看看你的产品可能在其中如何发挥作用。现在是进行实验性思维的时候,试图通过这种方式最能影响客户,让他们最明显地感受到 AI/ML 的价值。
一旦你有了一些好主意,就可以开始测试了。你可以构建 MVP 来测试这些想法的有效性,并通过这种方式传递价值,并与目标市场的集体利益对齐,从而带来商业成功。我们将在接下来的部分中详细探讨这一点。
商品和服务——商业 MVP 的增长
现在开始有趣的部分!AI/ML 的一大福音是看到我们人类在这方面可以展现多么富有创造力。在上一部分中,我们希望从金融和商业开始,因为这正是资本主义自由市场的核心——最终每个人都在赚钱,产品管理再次是一个本质上具有商业性质的角色。让我们稍微离开这一点,简要探讨一下 AI 商业化的世界。我们所说的意思是,各种 AI 应用案例正出现在各个行业和领域中。选择的余地很大,我们毫不怀疑,有人会在这个过程中乐此不疲地写一本书,讲述你如何在各种商业行业中使用 AI/ML 的创造性和有趣的新方法,但在这里,我们只会使用一些我们认为特别鼓舞人心的、有潜力的早期 MVP 示例。
与本章主题相符,我们鼓励所有产品经理跟上人工智能/机器学习(AI/ML)产品的有前景发展,因为我们所处的这一阶段的 AI 应用正是关于启发的。这是企业家的黄金时代,而这一点在创业世界中尤为显著。各个年龄段的技术人员都会珍惜今天能够生活在大数据和 AI 的时代这一机会。正如我们之前提到的,AI 的早期阶段主要集中在研究上,我们当时数据匮乏。现在我们拥有了大量的数据,并且对我们可以利用的模型和语言有了相当好的理解,我们可以实际应用它,做出人类最擅长的事情——创造!
我有幸成为 2021 年“女性在 AI 加速器”(WaiACCELERATE)项目的一部分,在看到所有候选人参加该项目以及申请从创意到构建 MVP 的过程后,我深受这些初创创意的启发。从优化建筑材料到扫描互联网上的假新闻,再到机器人技术,以及 AI 助力为女性、BIPOC(黑人、土著人和有色人种)以及其他边缘化群体发声,AI 的应用似乎没有上限。
本章早些时候,我们简要讨论了个性化和创意的主题。有一家公司利用强化学习更好地了解其客户口味,这是一家伦敦的啤酒公司,名为IntelligentX,它正在酿造世界上第一款由 AI 酿造的啤酒。或者也许你对食物更感兴趣;IBM 的 Chef Watson 已经能够仅凭你冰箱里的食材为你创造食谱。我们相信它们可以用你冰箱里的腌菜汁、蛋黄酱和剩余的中餐食物,激发出一顿美味的盛宴。
说到另一种食谱,AI 现在正在被用来与一家名为 Symrise 的公司合作创造香水。虽然这是一个稍有偏离的主题,但将个性化的主题延伸,我们还看到了视觉 AI 初创公司的兴起,这些公司会根据你拍摄的照片为你寻找购物商品,例如 CamFindApp。假设你想要极致的个性化——为此,有 Replika,它能触及我们关系中最深层次的部分,是一个“关心”的 AI 伙伴和朋友。
现在,让我们转到一个我们认为独具人类特色的话题——AI 创作艺术的想法。这是一个值得深思的哲学话题。我们是否能把某样东西当作艺术,尽管它并不是来自艺术家那颗受折磨的心灵?我们认为,未来我们将越来越发现,确实我们可以:
“日落记忆
来自 Poetry Potty 的作品
穿着衣服的那个人
她身披毁灭
作为女性
它每天都在加重
困惑
这是无法否认的
前面的诗歌是通过神经网络在一个文学杂志上创作的,由一台名为 CuratedAI 的机器编写 (curatedai.com/poetry/she-wears-destruction/
)。请花一点时间思考这个问题。如果你不知道它是由谁写的,你会怀疑它的艺术性吗?最终这重要吗?抛开哲学辩论不谈,我们如果不提到 GPT-3,那就太不应该了。GPT-3 是我们目前拥有的最强大的语言模型,它由 OpenAI 在 2020 年发布,OpenAI 最近发布了 ChatGPT,并且正在积极研发 GPT-3 的下一代——GPT-4。ChatGPT 本身已经成为最新的热点,推动了其庞大功能的初创公司网络的出现。OpenAI 当前的估值为 290 亿美元,ChatGPT 功能正在被加入到微软的 Bing 搜索引擎中,启动了与谷歌的搜索引擎大战。
我们可能会看到新的语言模型出现,赋能更多创意领域的人工智能应用,如诗歌和写作。另一个值得注意的点是人工智能有效地说服你的能力。这些强大的语言模型为我们技术人员、产品经理和消费者提供的,是与一台不再像机器的机器互动的能力。随着人工智能应用变得更加社交,这些新语言模型和能力的使用会变得更加普及。人工智能模型生成长篇文本的能力是巨大的。随着语言模型的不断进步,它们将改变我们与各种技术互动的方式,因为它们让我们与技术的互动变得更加容易。如果人们可以选择使用自然语言并与一台机器以自己的母语进行有效对话,他们会欣然接受。
总结一下艺术,或许你想创造的是音乐。现在有很多音乐应用使用人工智能来生成新音乐,比如 SOUNDRAW、Jukebox 和 Boomy,或者是歌词,如 Audoir。又或者,我们可以探索人工智能如何改变我们优化电影排期、推广电影、预测电影成功、编辑电影甚至制作电影的方式。未来几乎没有哪个创意行业能够不受人工智能的影响,这也突出了找到人工智能与人类艺术家共存的方式的重要性。我们是否会看到人工智能艺术如此普及,以至于人类被排除在外?还是人类艺术家会开始将人工智能融入自己创作的艺术中?消费者是否会反弹,从而更重视人类创作的艺术,并且为其支付更多?时间会告诉我们答案。
所有这些产品的起点都是一个创意,旨在创造一种能够将生活的丰富性带给消费者的产品,这些产品团队从这些开创性的想法出发,构建了最简可行产品(MVP)。MVP 应当迅速推向市场,这样你就可以开始收集用户反馈,了解他们的反应和使用情况,从而进一步迭代产品。在本节中的许多例子中,这些公司构建了 MVP 并进行了测试,发现他们的目标市场表现出了极大的兴趣和好奇心,以至于现在每个前述领域都有了许多竞争产品。构建一个可以快速测试和改进的 MVP,不仅有助于你的商业发展,还能创造一个更大的市场,吸引更多的竞争者。
构建一个最简可行产品(MVP)是一个工具,可以为你提供一个早期信号,告诉你是否有正确的创意、市场和目标客户群。这有助于你迅速且成功地平衡客户需求与商业成功。我们也可以称之为产品市场契合度。然而,当这一概念应用到政府部门时,会发生什么变化呢?我们将在接下来的章节中探讨这个问题。
政府与自治——人工智能如何塑造我们的边界与自由
这并非全是乐趣和游戏。数据和人工智能的巨大可获得性同时让我们面临专制主义和压迫的风险,也带来了全球范围内应对民主威胁的集体赋权。目前,我们在基于共享社会价值体系的基础上,正面临着权力和保护的巨大矛盾,这些矛盾以非常不同的方式得到体现。在本节中,我们将探讨人工智能如何在政府职能中被运用,以及这对我们每个人作为消费者和制造者意味着什么。
政府将日益需要集中精力保护本国生态系统并应对气候变化带来的后果,在此过程中,也需要进行一定程度的投资。私营部门的能力是有限的,我们希望政府能利用其影响力为公民谋福利。让我们以选举为例,至少在美国,近几届总统选举中此议题多次成为头条新闻。像微软这样的公司正在开发电子投票系统,如 ElectionGuard,作为其“捍卫民主计划”的一部分,旨在为未来提供安全、可靠和可验证的投票过程。
AI 在政策制定中也扮演着重要角色。AI 和大数据可以在多个阶段发挥作用,推动立法过程的顺利进行。我们看到许多 AI 可以在立法和政策层面上发挥作用的案例。AI 可以帮助发现和识别选民最关心的话题,生成细化层次的分析和预测,提供支持调查结果的数据,实施和反馈特定政策的表现,以及最终评估某些政策的有效性,这些都是 AI 可以带来巨大益处的方式。如果政府选择与私营部门合作,或者投资开发 AI 应用来处理政策制定问题,我们很可能会看到民主过程的扩展。
在更广泛的社会层面,我们可以看到一些可能会延续到未来的人工智能新应用。AI 在政府层面能够帮助缓解偏见问题,特别是在政策影响不同群体交集的情况下。像普华永道(PwC)这样的公司正通过其偏见分析工具(Bias Analyzer)来实现这一目标。使用 AI 的伦理困境之一就是算法中的偏见问题,最近由麻省理工学院媒体实验室的研究员 Joy Buolamwini 在 Netflix 纪录片《Coded Bias》中使这一话题广为人知。Joy 通过建立自己的组织(实际上也是她自己的运动)——算法公正联盟(Algorithmic Justice League),进一步推动了这一倡导,继续为算法偏见发声。我们也开始看到像 Pipeline Equity 这样的公司,它们倡导跨群体的薪酬透明度和平等,旨在减少薪酬差距,并为组织提供有力的商业证据,说明为何他们应该投资于薪酬平等。
迄今为止,政府机构在讨论人工智能时,AI 无疑是个“巨大隐忧”。特别是,自动化武器和大规模监控的使用因其可理解的原因而最具争议。人们希望感到安全,但他们也不希望自己的隐私被滥用。我有幸在 2020 年参加的一个虚拟会议上,与美国陆军人工智能工作组的首席 AI 伦理官、美国军事学院英语与哲学副主任戴夫·巴恩斯(Colonel Dave Barnes)教授交流。在那次对话中最大的启示是,所有国家都在努力摸索如何最负责任、最有效地使用 AI,并理解其潜在的危害和风险。
各国政府在设定限制和理解人工智能应用的全部能力方面仍有许多工作要做,我们看到越来越多关于如何限制人工智能在国防领域负面外部性影响的讨论。关于自主武器,美国国防部的人工智能原则如下:负责任、公正、可追溯、可靠和可治理。空军中将杰克·沙纳汉(Jack Shanahan),联合人工智能中心(Joint Artificial Intelligence Center)主任,或许最能表达这种观点:“随着我们建立未来的人工智能准备力量,战争的复杂性和速度将发生变化。我们有责任为美国人民和我们的军人采纳符合我们国家自由与开放社会价值观的人工智能伦理原则。”如果社会被控制和压迫,那么它就不再自由或开放。
大规模监控也可以说同理。人工智能可以被用来赋予政府压迫和控制公民的力量,也可以用来保护公民的安全。大规模监控正在渗透到私人领域,许多私人公司选择使用面部识别技术,这种技术很难选择退出,即使是去电影院或酒吧等简单场合。最近的全球人工智能监控(AIGS)指数显示,全球范围内人工智能监控的使用呈上升趋势。
以下是史蒂文·费尔德斯坦(Steven Feldstein)所著《人工智能监控的全球扩展》中的一段摘录 (carnegieendowment.org/files/WP-Feldstein-AISurveillance_final1.pdf
):
“该指数显示,51%的先进民主国家部署了人工智能监控系统。相比之下,37%的封闭专制国家、41%的选举专制/竞争性专制国家和 41%的选举民主/不自由民主国家部署了人工智能监控技术。自由民主政府正在积极使用人工智能工具来警戒边界、逮捕潜在犯罪分子、监控公民的不良行为,并从人群中识别出可疑的恐怖分子。这并不一定意味着民主国家非法使用这些技术。决定政府是否会将这些技术用于压迫性目的的最重要因素是其治理质量——是否存在侵犯人权的既定模式?是否有强有力的法治传统和独立的问责机制?这应该能为生活在民主国家的公民提供一些保障。”
这对产品经理意味着什么呢?首先,如果你处于权威技术领域,无论你的政治立场如何,生意都在蓬勃发展!更重要的是,这意味着我们作为产品经理有责任支持并创造我们相信的产品。我们在构建这些产品中的参与和贡献具有巨大的影响,具体取决于受众以及你是否有政府或军事方面的雄心。你应该批判性地思考你带到市场上的产品,看看如何将公共利益与个人成功结合起来。这些政府示例也经历了从构建最小可行产品(MVP)到发布并获取反馈的过程。唯一的区别是,这些产品正在应用于影响公共市民的领域,我们认为,在潜在影响如此巨大的情况下,负责任地使用和开发这些产品是最难做到的。
疾病与健康——人工智能和纳米技术在医疗健康领域的益处
人工智能在医疗和健康产业的应用继续取得巨大成功。药物发现和开发公司,如 CytoReason、DeepCure 和 BullFrog AI,帮助客户发现并分析新的分子化合物,创造出针对一些最紧迫疾病的创新药物,缩短新药的上市时间,并协助专利申请过程。像 Standigm 这样的公司使得人工智能工作流程能够在高度可定制的靶点识别和前期发现过程中发挥作用。在人工智能出现之前,发现新药、进行临床试验并将药物推向市场的过程可能需要超过 10 年的时间。
我们还看到个性化和预测正在通过人工智能应用于个人护理领域,尤其令人兴奋的是,考虑到我们全球范围内的医生短缺问题。试想,如果有一个个人健康仪表板,你可以定期检查你的生命体征,通过纳米技术和个人数据流的分析,了解自己的健康状况,这岂不是太好了?像 Biofourmis 这样的公司正在投资这一领域,并通过其 FDA 批准的 Biovitals Analytics Engine(biofourmis.com/
)为患者和医生提供早期发现疾病和潜在健康问题的能力。我们可以轻松想象一个场景,即公司开始构建类似的仪表板,为特定疾病患者或特定人群量身定制。
必要性是发明的母亲,残疾也是人工智能在医疗领域已服务一段时间的重要领域。通过机器人技术、计算机视觉、语音助手、音频辅助、语音转文字和智能家居技术的结合,我们已经在并将继续在多个领域应用人工智能,帮助那些有视力、听力、嗅觉、味觉、触觉、行动、心理健康、理解、沟通和学习障碍的个体。
一家名为 Parrots 的公司开发了一款名为 Polly 的医疗辅助人工智能,正在帮助患有神经系统疾病的人。Polly 通过 360 度视野帮助用户更好地看到周围的世界,帮助他们在家中或外出时导航,利用眼动追踪技术进行实时预测,预见需求,并帮助用户与周围的人沟通需求、思想和愿望。本质上,这是一套整合的产品,专为某一特定场景提供全面解决方案。Wheelmap 是一款众包导航应用程序,帮助您找到无障碍的轮椅通道,通过用户社区反馈不断丰富其知识库。Biped 是一家生产智能背带的公司,开发了一款像背包一样穿戴的产品,帮助盲人和视力障碍者在导航世界时避免潜在的碰撞风险。
心理健康和自杀预防也是我们看到人工智能应用投资巨大的一些领域。我与我的数据科学项目同事合作,在 2020 年创建了我梦想中的产品。这是一款以心理健康为核心的对话式人工智能,它会了解你、与您设定目标并记录您的情绪。我们希望利用人工智能作为实时日记和自我反思仪表盘,您可以选择将这些数据和仪表盘与治疗师共享,如果您选择与治疗师合作的话。
在构思和最小可行产品(MVP)的过程中,我们进行了调研,发现了其他以自己的方式应对心理健康和自杀预防问题的公司。像 ResolveX 这样的公司利用人工智能与自杀热线合作,消除人工和行政任务,以便工作人员可以将注意力集中在电话另一端的求助者身上。Woebot 则开发了一个基于认知行为疗法技术的聊天机器人,帮助那些正在与抑郁症和焦虑症作斗争的人。
在医疗保健领域,我们看到类似的使命驱动元素,涵盖了创意、MVP 和发布周期,但“为所有人做好事”仍然是主要焦点,因为,正如常见的情况一样,如果产品没有经过充分测试,或者使用这些产品的后续影响没有被研究,它们可能会对用户和客户产生重大影响。虽然始终需要将正确的想法和工作的版本发布出去,供用户测试,但在医疗保健案例中,确保各个方面都得到充分考虑至关重要,因为你涉及到的是人们的健康与安全。
基本需求 – AI 为善
我第一次加入数据科学和 AI/ML 社区时,深刻感受到了它的合作性。我之前的职业是在销售和客户管理领域,因此我对竞争的激烈程度理所当然。让我感到惊讶的是这个社区的善意。你可以参与许多开源项目,可以在 Kaggle 上发布你的项目并参加竞赛,几乎可以在 Stack Overflow 上找到解决问题的无限方案。我通过联系别人,获得了很多成功的机会,他们分享了自己在 AI 领域的见解。最让我感触深刻的是,当我联系潜在的讲者来主持小组讨论或工作坊时,大家的回应非常积极,愿意教导他人。这让这个领域更加引人入胜,因为如果你确实想专注于某个特定的 AI 解决方案,你可以在旅途中找到许多朋友来支持你并加入你的事业。
你可能会看到AI 为善这个术语,它通常被那些希望利用 AI 推动社会或人道主义事业的组织使用。许多组织与其他公司、学校、政府和非政府组织合作,共同致力于某些事业。AI4Good.org与联合国可持续发展目标合作,开展了智能城市、劳动力多样性、AI 伦理学和“为乌克兰的经济学家”项目。联合国本身也拥有国际电信联盟(ITU),这是一个专注于信息和通信技术的专业机构,拥有自己的 AI 为善平台,为志愿者提供服务并支持他们的社区。此外,还有更多类似 Omdena、DataKind 和 Teamcore 的生态系统,致力于协同解决人道主义问题。微软、H2O.ai、谷歌和 IBM 也有自己的 AI 为善项目。
人工智能帮助我们摆脱自我束缚是一个巨大的行业,许多公司将人道主义融入到商业模式中,利用结合了热情与创业精神的力量,将有益于社会的产品推向市场。像 Peat 这样的公司能够通过其产品 Plantix,帮助处于不稳定地区的农民更好地提高产量。诸如 Lokai 与 Facebook 合作创建的临时水资源慈善项目等临时合作也越来越多。可持续的食品分配和城市农业项目正在由人工智能推动,像 Square Roots 和 Bowery Farming 这样的公司“梦想着一个农业能为人类和地球贡献更多而非 索取的世界。”
将影响人们获取基本需求的产品推向市场,是我们看到的人工智能产品中最伟大的表现之一,我们希望在这里提醒你,关于创意阶段,发散性思维的重要性。对于 AI for Good(良善人工智能)而言,我们才刚刚触及人工智能能够做的事情的表面,我们建议进入这个领域的产品经理们,将大部分精力放在创意阶段。练习使用发散性思维,聚焦你希望通过人工智能实现的最终目标,并将其作为你创意阶段的指导。构建 MVP(最小可行产品)会涉及自己的考量,而你已经在为大众的利益打造这个产品,并将其与创造商业成功的方式相结合,因此,你可以在创意阶段慢慢琢磨。
这绝不是人工智能未来的详尽清单,但我相信它足够具有代表性,可以为人工智能产品管理者提供一些关于通过人工智能塑造我们世界的几个主要领域的见解。说实话,我可以一直讲下去。我的目标是为读者——这些技术人员和建设者,提供一个关于未来的视窗,帮助他们更好地理解如何在不同行业中运用人工智能。产品管理的战略性要求宏观思维。我坚信思想的相互联系。一种行业中的应用案例可以在另一行业中激发新的创意。技术的优雅在于那些能够以新颖、更快速、更便捷、更有效的方式应用技术的人。
我对建立产品经理职业的兴趣,最大驱动力来自于宏观战略层面的思考。我并不想成为一名创业者。相反,我宁愿将筹资、推介和管理工作留给更具创业精神的人。我最希望做的是打造能帮助他人的产品,并且我深信,技术能够让我们最有效地实现这一目标。
总结
本章节结束了第一部分。我们从 AI 的介绍及其支持所需的基础设施开始,深入探讨了模型维护及机器学习和深度学习的细节,展示了 AI 产品的应用和商业模型示例,并最后展望了 AI 的未来发展。第二部分将进一步扩展 AI 原生产品的内容,重点讲解理解、构思、创建和产品化 AI 所需的要素。我们还将探讨 AI 产品的定制化以及如何优化性能,同时分析产品经理在管理 AI 原生产品过程中可能遇到的一些常见陷阱和成功经验。
在下一章中,我们将探讨在构建 AI 原生产品时需要关注的关键领域。我们将深入讨论如何从零开始管理一款产品,关注 AI 相关的特定考虑因素,以及产品经理在开始构思、构建 MVP(最简可行产品)和最终推出 AI 产品时需要注意的事项。本章主要面向那些有创业精神,特别是希望使用 AI 满足市场需求并推出产品的读者。
人工智能常被视为第四次工业革命的重要组成部分,但当我们考虑到人工智能将影响到我们世界和商业的多个方面时,就很容易理解为什么我们总是回到这些术语的重力。我们知道,我们将继续看到更多关于如何利用人工智能的创新思路,这正是使得这一人工智能实施时期如此激动人心的原因。
其他资源
如果你在美国并且面临自我伤害的风险,请查阅以下资源:
-
危机文本热线:发送CRISIS到 741741 获取免费的、保密的危机咨询
-
国家自杀预防生命线:1-800-273-8255
-
Trevor 项目:1-866-488-7386
对于美国以外的用户,请查阅以下资源:
国际自杀预防协会列出了按国家分类的自杀热线。你可以通过访问他们的网站找到这些热线 (findahelpline.com/i/iasp
)。此外,查看 Befrienders Worldwide (www.befrienders.org/need-to-talk
)。
参考文献
- 大数据、机器学习和人工智能在评估风险中的作用:监管视角:
www.sec.gov/news/speech/bauguess-big-data-ai
)
- 人工智能、机器学习与大数据在金融中的应用:
www.oecd.org/finance/financial-markets/Artificial-intelligence-machine-learning-big-data-in-finance.pdf
)
- 数据科学家:21 世纪最性感的职业:
hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century
)
- Bowery Farming:
boweryfarming.com
)
-
Square Roots:
www.squarerootsgrow.com/
-
Plantix:
plantix.net/en/
)
- Peat:
peat.technology/en/
)
- IBM AI for Good sponsorship focuses on AI in service of the planet:
www.ibm.com/blogs/journey-to-ai/2021/11/ibm-ai-for-good-sponsorship-focuses-on-ai-in-service-of-the-planet/
)
- Google AI FOR SOCIAL GOOD:
ai.google/social-good/
)
- H2O.ai AI 4 Good:
h2o.ai/company/ai-4-good/
)
- Microsoft AI for Good:
www.microsoft.com/en-us/ai/ai-for-good
)
-
Harvard University Teamcore:
teamcore.seas.harvard.edu/
-
Omdena:
omdena.com/
)
- DataKind:
www.datakind.org/
)
- AI for Good:
aiforgood.itu.int/about-ai-for-good/
)
- AI for Good:
ai4good.org/what-we-do/
)
- Woebot:
woebothealth.com/
)
- Resolvex:
resolvex.com/
)
-
Biped unveils an AI copilot for blind and visually impaired people at CES 2022:
-
www.designboom.com/technology/biped-ai-copilot-blind-visually-impaired-people-ces-2022-01-10-2022/
)
- Wheelmap.org:
wheelmap.org/?locale=en-us
)
- Parrots:
www.flyparrots.com/
)
- Biofourmis:
biofourmis.com/
)
- Standigm:
www.standigm.com/about/company
)
- Bullfrog AI:
bullfrogai.com/
)
- Deepcure AI:
deepcure.ai/technology/
)
- Cytoreason:
www.cytoreason.com/company/
)
- The Global Expansion of AI Surveillance:
carnegieendowment.org/files/WP-Feldstein-AISurveillance_final1.pdf
)
- DOD Adopts 5 Principles of Artificial Intelligence Ethics:
www.defense.gov/News/News-Stories/Article/Article/2094085/dod-adopts-5-principles-of-artificial-intelligence-ethics/
)
- Pipeline:
www.pipelineequity.com/how-it-works/
)
- Algorithmic Justice League:
www.ajl.org/
)
- Coded Bias Netflix:
www.netflix.com/title/81328723
)
- Bias Analyzer PWC:
www.pwc.com/us/en/services/consulting/cloud-digital/data-analytics/artificial-intelligence/bias-analyzer.html
)
- 新的网络威胁需要新的方式来保护民主:
blogs.microsoft.com/on-the-issues/2019/07/17/new-cyberthreats-require-new-ways-to-protect-democracy/
)
)
- AI 歌词与诗歌生成器:
www.audoir.com/
)
- Boomy:
boomy.com/
)
- OpenAI Jukebox:
openai.com/blog/jukebox/
)
- Soundraw:
soundraw.io/
)
- OpenAI 的新语言生成器 GPT-3 令人震惊地强大——却完全没有意识:
www.technologyreview.com/2020/07/20/1005454/openai-machine-learning-language-generator-gpt-3-nlp/
)
- CuratedAI Sunset Memory:
curatedai.com/poetry/she-wears-destruction/
)
- Replika:
replika.com/
)
- CamFind 应用:
camfindapp.com/
)
- 通过人工智能(AI)打破香水行业的新局面:IBM 研究与 Symrise 携手合作:
www.symrise.com/newsroom/article/breaking-new-fragrance-ground-with-artificial-intelligence-ai-ibm-research-and-symrise-are-workin/
)
)
- INTELLIGENTX:AI 啤酒:
weare10x.com/portfolio_page/intelligentx/
第二部分 – 构建 AI 原生产品
了解管理 AI 程序所需的技能是 AI 产品管理的前提。现在我们已经在第一部分中涵盖了基础知识,接下来我们可以继续将这些 AI 程序的输出应用于你所构建的 AI 原生产品,在第二部分中进行情境化分析。
本部分包括五个章节,涵盖了从一开始便使用 AI 构建新产品时所涉及的各个相关领域。我们将探讨创建 AI 原生产品的基础知识,如何将驱动该产品的 AI/ML 服务产品化,如何为不同群体定位该产品,构建时可以选择的 AI/ML 选项,以及这些与性能基准、成本和增长之间的关系。通过本部分的学习,我们将理解在推出 AI/ML 原生产品时需要考虑的战术和战略。
本部分包含以下章节:
-
第六章*, 理解 AI 原生产品*
-
第七章*, 将 ML 服务产品化*
-
第八章*, 面向垂直行业、客户和同行群体的定制化*
-
第九章*, 为您的产品设计宏观和微观 AI*
-
第十章*, 性能基准测试、增长黑客和成本*
第六章:理解 AI 原生产品
在本章中,我们将讨论为构建 AI 产品战略所需的关键组成部分。这一战略将为公司提供一个流程,帮助他们成功构建一个 AI 原生工具。在第二章中,我们简要介绍了新产品开发的各个阶段,而在本章中,我们将以此结构为基础,重点关注引入新 AI/ML 原生产品时最重要的几个阶段:构思、数据管理、研究、开发和部署。我们还将探讨 AI/ML 产品团队的主要成员,以及将赋能他们的技术栈。AI 原生产品从你的数据开始,并以数据结束,而你为支持团队而填补的角色对其成功至关重要。在构建 AI 原生工具时,要做好尽职调查,避免浪费公司财力和资源。一个错误的招聘或技术投资可能会在时间和资源上造成高昂的成本。
本章主要面向产品经理(PMs)、技术专家以及希望进入 AI 领域并本质上构建 AI 工具的创业者。在本章中,我们将涵盖以下几个部分:
-
AI 产品开发的阶段
-
AI/ML 产品梦之队
-
投资于你的技术栈(进一步扩展前述基础设施部分的概念)
-
产品化 AI 驱动的输出——AI 产品管理的不同之处
-
针对不同群体的定制——行业和客户分组的考量
-
销售 AI——产品管理作为销售的更高层次
在本章结束时,你将对每个阶段的 AI 产品开发生命周期中最重要的考量因素有一个清晰的理解,以及你产品团队的发展和将支持他们的技术栈。你还将能够思考传统产品管理与 AI 产品管理之间的一些差异,以及在为不同受众定制产品时的相关元素,并学会如何制定能够打动他们的信息。
AI 产品开发的阶段
无论你的组织是否足够强大,能够支持多个产品团队进行 AI 产品开发的各个阶段,还是足够精简,只有一个骨干团队能够贯穿每个阶段推进产品,你都需要意识到这些不同的阶段,以便在每个阶段定义成功。关于产品管理是什么或应该是什么,存在各种不同的观点。我们将在这里尽力总结这些阶段,并以最能概括 AI 产品开发核心方面的方式呈现。
无论如何,作为 AI 产品的 PM 或负责人,你需要考虑你的产品如何与以下小节中描述的各个阶段相关联,这样你就能确定你的产品目前处于哪个阶段,并知道需要做些什么来将其带到完全成熟的阶段。
阶段 1 – 构思
就像传统的软件产品生命周期一样,作为产品经理(PM),你会参与到构思阶段。你也可能会看到这个阶段被称为创新阶段或设计阶段。不管你怎么称呼,这个阶段是功能头脑风暴的阶段,作为 PM,你是影响产品方向的关键利益相关者。这个阶段也是你评估不同功能的成本/效益,同时确定哪些是产品不可妥协的部分。
传统软件开发与 AI 产品开发的一个主要区别是,在这一阶段,构思的重点非常重要,因为投资 AI 产品的成本巨大。因此,在进入产品开发生命周期的下一阶段之前,你要将精力高度集中在这个阶段。你不希望在产品开发的过程中,发现自己有了更好的 AI 应用想法,最终不得不重新开始,浪费几个月的工作、时间去整合特定的技术栈、存储以及高昂的人力成本。
理想情况下,构思阶段的工作会通过用户体验(UX)原型/线框图和调查问卷来呈现产品的外观,并收集你需要的需求,以便正确地定义最小可行产品(MVP)的范围。作为 PM,或许你角色中最重要的部分就是理解你正在解决的实际机会或问题。这对市场角度和机器学习(ML)角度都是适用的。
关于机器学习,你将使用 AI 来解决六种主要类型的问题:
-
异常检测
-
聚类/同行分组
-
分类
-
回归
-
推荐系统
-
排名
对你在市场中解决的关键问题(大问题)以及你基于六大能力要解决的机器学习问题有清晰的认识,将是你作为 PM 最重要的任务。其他一切都属于次要。
作为 PM,你需要把所有人召集到一起。你的用户体验设计师、数据架构师、数据工程师、数据分析师、数据科学家、机器学习工程师、后端/前端/全栈工程师以及领导团队将成为这个阶段的关键利益相关者,确保每个人的声音都能被听到。
到阶段结束时,你应该决定以下内容:
-
要拥有一个可工作的 MVP,你必须具备哪些结果/需求
-
这个 MVP 将如何交付
-
谁将使用这个 MVP
-
他们将如何使用这个 MVP
-
对你所解决的问题/机会有清晰的理解
阶段 2 – 数据管理
一旦你对自己要构建的东西和原因有了清晰的认识,你就要开始为产品的成功奠定基础。在本书中,我们提到了 AI、ML 和深度学习(DL)产品,但重要的是要记住,这些产品的原始俗称是:数据产品。从本质上讲,任何利用 AI/ML 的产品首先都是数据产品,任何数据产品如果没有大量高质量、干净的数据,是无法做得好的。组织和扩展支持所有数据所需的基础设施,是创意阶段之后的第一个实际步骤。你需要理解系统所需的要求、约束和术语,这些系统将支持数据收集和数据处理,使你的 AI 产品能够正常运行,因为你将会在做出相关决策时起到核心作用。
在这个阶段,你还需要定义在 AI/ML 模型中使用的最佳特征。我们在前面的章节中讨论了特征工程。作为回顾,特征工程的核心思想是,你需要在数据集中寻找主要用于训练模型的方面或特征。你可以将特征视为数据元素的单独列,这些数据元素在模型准备和训练中最为重要。你不希望将这部分交给数据科学家、工程师和架构师去决定。作为产品经理,你需要深入参与并了解将作为最终输入选入模型训练的各种特征,这些特征将构成你的产品。
一旦这些决定确定下来,接下来就是建立支持数据流的数据管道的阶段。掌握如何为良好的数据收集和准备、数据存储及数据管道实践设置组织和产品,将在此步骤中至关重要。这些数据实践将帮助你在内部用例和传统分析中利用数据,同时也将成为你的 AI 产品的真正基础。
第三阶段 – 研究与开发
所以,你已经有了计划,整理好了数据,并准备开始构建。在这个阶段,你正在研究和开发(R&D)实际的结构和内容,这些将构成你的 AI 产品。研发可以与实验相同。你不可能只围绕一个模型来构建产品,无论你的数据科学家或机器学习工程师有多么直觉和才华,他们也不太可能采用他们最初想到的第一个模型。我们在前面的章节中讨论了各种机器学习模型,并且提到过几次,大多数时候,产品中使用的是模型的集成。
在第一章的部署策略部分,我们介绍了A/B 测试的概念,这有时也称为分流测试。从本质上讲,这个过程在这里同样适用,因为在这个过程中会进行大量的 A/B 测试和评估,所以你需要了解 A/B 测试的基本知识以及数据分布、群体、置信区间和其他概率概念。A/B 测试是机器学习中常用的测试方法,如果你想深入了解与 AI/ML 产品相关的这个话题,我们推荐以下资源:mlops.community/the-what-why-and-how-of-a-b-testing-in-ml/#:~:text=An%20A%2FB%20test%2C%20also,guesswork
。
这一阶段也意味着,在为你的具体使用案例选择模型之前,需要进行相当数量的实验。如果你聘用了最有经验的数据科学家和机器学习工程师,并且看到他们在不同模型之间反复试探,似乎无法做出选择,并且希望进一步实验直到看到他们满意的性能,这是完全正常的。聘用一位有才华、知识渊博且经验丰富的员工,仅仅是 AI 产品的一个方面。
当然——他们具备专业技能,但他们并不是商业专家。他们是建模和创建符合商业专家为他们设定的使用案例的算法的专家。将研发阶段作为为你的数据科学家和机器学习工程师提供正确方向的机会,并与他们管理预期。你需要为这些新聘人员提供合适的工具、利益相关者和资源,以确保他们的成功。还有其他考虑因素。比如性能的概念。作为产品经理,可能是你,而非数据科学家,来决定什么样的性能水平或精度水平对你要服务的客户最为可接受。建立这些阈值和预期是你作为 AI 产品经理将与团队定期进行的工作。
第四阶段 – 部署
我们在这里使用“部署”作为涵盖研发阶段之后所有工作的总称。此时,你已经选择了一个模型或一组符合产品构思和 MVP 要求的模型,它得到了数据基础设施的支持,并且经过了充分的测试。现在,你准备好构建支持基础设施,确保这个模型及其输出能够集成到终端用户将体验的更大产品中。这就是部署阶段,你将在这里将数据科学家和机器学习工程师的工作与全栈开发者的工作结合起来,真正地将其集成到支持这些 AI/ML 输出的更大产品中。
你的产品可能有许多功能,其中只有一小部分是AI 功能,或者你的产品核心可能是机器学习。无论你的产品与 AI 的结合有多深,你都需要在更大的 UI/UX 背景下部署你在构建过程中投入时间的机器学习模型的结果。由于 AI/ML 代码和生产代码之间必须进行的整合,你可能也会经历自己的研发阶段以及部署阶段。选择合适的机器学习模型和技术是一个与选择如何展示和使用这些 ML 研发成果以及如何维护这些成果的过程完全不同的过程。
部署阶段的更广泛背景实际上是为了创造持续性并交付你的机器学习输出的实质内容。这也是你将在此阶段创建流程和结构的地方,围绕产品的持续维护和交付,这些内容在第二章中有详细阐述。
现在我们已经涵盖了 AI 产品开发生命周期的各个阶段,让我们将重点放在首先实现魔法的人员上:AI 产品团队。为一个新的 AI 产品组建新团队是一个复杂的任务,而且很难为你的产品所需的需求做出合适的招聘。每个产品和公司都有不同的需求,所以在本节中我们会尽量保持客观。
AI/ML 产品梦之队
在本节中,我们将花一些时间了解能帮助你的 AI 产品团队实现最大成功的各种角色。我们还将根据前面章节中提到的不同阶段对这些职能进行分组,以便了解这些角色何时发挥作用。请注意,并非所有这些角色在你的组织中都必需。每个组织都是不同的,需求也各不相同。建立你的 AI 团队时请根据实际情况判断。你可以在 AI 项目中引入其他利益相关者,但以下是你在 AI/ML 产品团队成长过程中,招聘过程中希望包括的主要利益相关者的相对完整的名单。
接下来,我们将列出一份可能适用于你理想中的 AI 梦之队的角色清单。我们按常见出现的顺序列出了这些角色。
AI 产品经理(AI PM)
在这里,我们开始着手创建一个梦之队。每个组织都是不同的。有些组织在构建最小可行产品(MVP)之前不会招聘 PM。其他组织可能会招聘创始PM。还有一些可能已经是成熟的组织,准备推出他们的第一个 AI 产品。无论你的组织处于何种阶段,你最终都会需要将支持 AI/ML 产品所需的所有活动集中到一个人身上。
产品本身就是一个活生生的生态系统,因此有一个可以响应并负责该生态系统各个部分需求的负责人将非常重要。由于我们自身的偏见,我们会将 AI 项目经理(PM)放在这个列表的开头。找到一个曾经与 AI/ML 产品合作过或专门从事这类产品的人,将是你确保产品能够成功搭建的尽职调查。我们认为在你开始招聘其他角色之前,雇佣此角色是理想的,以确保你的产品能够保持统一的愿景。在你开始实施产品之前,拥有一个 AI/ML 项目经理,意味着这个人已经了解了历史上的讨论和市场影响,能为你的产品提供最好的支持。
AI/ML/数据策略师
对于大多数公司来说,这将更多是一个咨询角色。理想情况下,这个人将帮助你获取人才,并帮助制定支持你 AI/ML 功能/团队整体的工作方法和流程。这可能是你在 AI/ML 旅程开始时雇佣的角色,帮助你做出关于招聘哪些人来担任 AI 项目或产品团队中的各个角色,应该包括哪些技术栈,以及如何在实验和部署方面设置某些工作流程等关键决策。
这个人可能是在产品开发的规划和初期阶段(前 6 到 8 个月)参与的人员,或者是在资源较为丰富的环境中作为项目经理(PM)长期留任的人员。理想情况下,这个人还应当精通 AI 伦理原则。如果你是初创公司,正在从零开始创建公司和产品,这个人可能是你的技术合伙人,能够充当你的技术决策者。这个角色也可以被称为数据架构师角色。
数据工程师
我们已经为 AI 产品/项目团队的运作设定了架构;现在,我们根据与 AI 策略师合作的蓝图,开始为我们的数据管道奠定基础,并雇佣数据工程师。如果你是从零开始设置一个 AI 产品,寻找一个能够支持团队选择数据工程理念的数据工程师将是至关重要的。
你会使用数据网格、数据构架、数据湖还是数据仓库?因为你是为一个原生 AI/ML 产品从一开始就建立这个功能,你需要雇佣一位有足够信心和经验的人,帮助你搭建一个适当的系统。迁移和更改你的数据架构可能是昂贵且耗时的。如果在一开始得到合适的帮助,它将为你节省潜在的麻烦,并为你提供一个可持续、可扩展的基础设施,帮助你有信心地成长。
数据分析师
对于许多公司来说,路径通常是先建立数据分析的基础,然后再通过机器学习扩展这些分析。传统的操作顺序是通过首先聘请优秀的数据分析师来让你的数据变得清晰并且可控,这些分析师能够快速发现数据中有趣和值得探索的部分。在这个角色中,你需要寻找一个能够快速分析大量数据并具有好奇心和探索精神的人。
这个人可能是你的专家查询制作人,与数据工程师合作,通过你们建立的工作流程将查询传递到 AI/ML 产品中。这些人还会改善你内部用于提升流程的分析,以及通过产品或平台的仪表盘 UI/UX 传递给客户的分析。
数据科学家
一旦你具备了生成和处理数据的能力,你就可以开始对这些数据进行实验,最终你会需要与擅长构建模型的专家合作。为了成为一名模型构建专家,你还必须精通机器学习(ML)算法、大数据、统计学和编程。大多数公司都使用 Python 进行编程,因此除非你服务于学术界,我们建议坚持使用 Python。这个角色不仅需要技术能力,还需要软技能,因为这是一个协作性强的角色,并且需要与领导层进行大量沟通。
到这个阶段,你将雇佣一位数据科学家来执行你早期设定的商业目标。此人应具备强大的商业头脑,必须能够理解自己工作的影响和目的。他们还应该具备技术和功能上的专长,能够实现最适合你组织、数据和产品的算法解决方案。这个角色本身难以填补,因为很难找到在所有这些领域都有能力和经验的人,尤其是在你处于初创企业或从零开始构建产品的早期阶段时。
机器学习工程师
到这个阶段,你已经牢牢掌握了你的战略、数据架构、客户/产品数据的能力,以及你将在产品中使用的模型。你的目标和目的已经得到了领导团队技术利益相关者的确认。采用累积性方法,到此时你可以外包执行这部分规划繁重的工作,来建立你的 AI/ML 产品或计划。机器学习工程师能够通过将数据科学家设计的模型和算法(编程)整合进产品的工作流程或代码库中,从而推动你的产品发展。
再次强调,由于这是一个支持 AI 原生产品的角色,这个角色将需要深入理解你的数据和算法,以观察结果如何。这个人可以预期会进行大量的试验和错误,以摸索出可接受的表现。你的 ML 工程师将使用经数据分析师验证过的数据,并将其与数据科学家在工作中选择的算法结合在一起。直到你真正将某些东西投入生产之前,一切都没有实际意义。将所有内容整合起来并最终部署支持所有先前功能的代码,是应用 ML 工程师的职责,他们将组成梦之队。根据你的组织结构,你可能需要在数据科学家和 ML 工程师之间做出选择。
前端/后端/全栈工程师
前述五个角色的各种表现形式在许多场景中都存在。你所在的组织可能不需要它们全部一次性到位。但有一点是肯定的:无论你如何处理前述的五个角色,你始终需要完整的工程团队来支持 AI/ML 工作,直到部署时为止。ML 工程师能够将 AI/ML 功能添加到你的代码库中,但你将需要完善的工程团队来支持从端到端的产品。你的前端、后端和全栈工程师将与 ML 工程师和数据科学家频繁合作,共同打造 AI/ML 原生产品。
组织这些团队,使他们紧密合作并建立深厚的信任关系将至关重要。大多数时候,任何 AI/ML 产品都会有大量的特性和需求,与产品的 AI/ML 部分无关。你将需要一个完善的工程团队来管理 sprint 中的任务和史诗,处理 AI/ML 职能之外的事务。这些人将帮助你构建一个可迭代的工作 MVP 产品,作为你继续产品管理旅程的一部分。在这个阶段之前,你没有一个可用的产品。
UX 设计师/研究员
你 MVP 的表现是你产品的起点。你不能在一个尚不存在的产品上进行迭代,而达成 MVP 级别则让你可以自信地起步。根据你的组织和理念,你可能在规划阶段就已经采纳了 UI/UX 的反馈。或许你早期就有产品设计师参与,或者你在进行市场调研时与 UX 研究员合作过。但一旦你有了一个可用的 MVP 产品,你就能够和用户(或 beta 用户)建立基准,感知他们如何从你的产品中获取价值。
UI/UX 的核心是如何最有效地为最终用户提供价值。减少用户的挫败感并激发愉悦时刻是这个职能的主要关注点。一位优秀的 UI/UX 设计师或研究员会指导你的产品在用户体验中出现的可视化变化。我们建议这个职能应该持续参与,这样你在进一步迭代产品时,能够从用户身上学到更多,使你的产品更符合用户以及他们的买家(通过买家间接影响)的需求。
客户成功
拥有合适的 UI/UX 设计和研究渠道来聆听用户的声音是很重要的,但最终,你的客户会希望你做出回应——不仅仅是通过产品本身。如果你在做 B2C 产品,可能不太需要一个庞大的客户成功团队,但如果你是在将 AI/ML 产品销售给其他企业,你肯定需要。客户成功团队的存在是为了确保你的客户正确使用你的产品,并从中获得预期的价值。
它们也是你数据和 AI/ML 功能反馈的重要来源。客户成功团队提供了 AI/ML 产品所需的反馈循环,帮助产品随着时间的推移不断构建和改进。它们在扩展产品功能、与产品团队合作以及挖掘潜在的新功能方面也非常有帮助,能为最终用户提供他们可能真正希望看到的功能。如果你是 AI/ML 产品经理,确保与你的客户成功团队保持温暖和开放的关系,因为他们是你在地面上最重要的知识来源。他们才是那些真正与客户对话的人!
市场营销/销售/市场推广团队
这是另一个可能从一开始直到整个产品开发过程中都将参与的职能。我们将销售和市场营销合并为市场推广(GTM),因为这本质上就是这个职能的工作。它向市场传播信息:你的潜在客户的整体格局。这是你将结合自己技能组合来优化产品语言或市场对你的产品的认知信息的地方。你将在 GTM 会议中讨论以下内容:
-
有关你产品的术语
-
如何在市场中定位你的产品
-
你将允许销售团队在产品演示中与潜在客户讨论多少专有技术和算法的“魔法”
-
你打算提供多少可解释性
-
你将如何传达你在产品上所做的技术决策
-
在竞争环境中,你将对外界遮掩多少关于产品的信息
在你构建和改进产品的过程中,你的 GTM 团队将会始终陪伴你,并且你们会定期讨论如何传达即将发布的新功能或版本。
对你的技术栈进行投资
理解能够为你提供最大灵活性的技术栈和编程语言,是开始技术栈之旅中最重要的部分。在这个阶段,你将与数据科学和数据工程团队紧密合作,创建合适的渠道,以可靠的方式将相关数据传递给你的模型,以便所有其他参与产品构建的利益相关者都能信任现有的基础设施。
管理机器学习实验本身就是一项艰巨的任务,我们已经看到 MLflow 和 Weights & Biases 等工具被用于管理版本和实验。你还可以使用诸如 Cloudera Data Science Workbench、Seldon、Dataiku、DataRobot、Domino、SageMaker 和 TensorFlow 等工具,为你的数据科学家提供一个工作站,用于构建、实验、部署和训练机器学习模型。
作为 PM,你需要不断考虑构建某个东西的价值与所需成本或努力之间的关系。这也是为什么你不能忽视你的技术栈。可能会有诱惑说,让 CTO 决定投资哪个技术栈,但如果这个技术栈直接参与到产品的构建中,那么这并不是那么容易外包的。赋能你的利益相关者会影响你 AI 产品的努力和成本,因此你需要确保自己参与到这些关键决策的制定中。
技术栈中最大的考量因素是关注如何正确设置基础设施,以应对随着业务增长而增加的数据规模。构建合适的技术栈来处理数据的清理、存储、安全、准备和监控,将成为支持你的 AI 项目或产品团队的基础。这与制定数据战略密切相关。在此基础上,你还需要为 AI 项目中的多个角色创建一个协作环境,以便他们参与其中。在分析师、数据科学家、机器学习工程师、广泛的工程团队以及你在构建 AI 团队过程中所包括的任何领导者和顾问之间,你需要为这些不同的成员创建沟通和协作的渠道。
与许多 AI 项目一样,你也将寻找自动化流程和工作流的方法。AI/ML 技术不断变化和改进,因此你会在将自动化应用于 AI 项目本身时取得巨大进展。利用你的才华横溢的员工的大脑力来做出更高层次的决策,并运用他们解决复杂问题的能力。任何可以自动化、刷新或标准化的内容都应该进行处理。这与敏捷和精益开发的原则相一致。重构并对代码进行优雅的改进应当主动进行,因此务必确保将这项任务负责任地规划到你的迭代中,并利用你的技术栈的优势,为团队的成功奠定基础。
拥有正确的流程、人才和技术栈来支持你的人工智能产品仅仅是一个开始。你将把所有必要的元素汇集在一起,创造出由人工智能驱动的输出。这些输出将以某种形式集成到你的产品中,成为客户能体验到的功能。下一节将讨论如何以最能让客户感知的方式,定位你的人工智能/机器学习项目和团队的输出。
将人工智能驱动的输出产品化——人工智能产品管理的不同之处
本节将探讨传统产品管理与人工智能/机器学习产品管理之间的差异。乍一看,人工智能/机器学习产品似乎与传统产品没有太大区别。我们仍然是在创造价值、使用、性能和功能的基础线,并尽可能优化这条基础线。这对于每个产品以及更广泛的产品管理实践都是适用的,这一点不会因为我们的产品使用了人工智能而改变。
在人工智能产品中,真正的差异化因素是你基本上是在将一种服务产品化。想一想这个问题。为了让人工智能发挥作用,它必须从你的(或你的客户的)数据中学习。不同的模型可能在不同类型的数据上表现更好。不同的数据集会要求你的模型使用不同的超参数。这就是人工智能/机器学习的本质。从某种程度上讲,这意味着你可能会遇到这样的情况:你构建和结构化产品的方式可能会因客户不同而发生根本性的变化,尤其是在初期,当你只有非常少的客户时。
这实际上意味着你要理解所有客户如何从你提供的人工智能/机器学习服务中获益,并建立一个标准化程序来重现这个过程,以便所有客户都能够体验到最大的利益。在将服务产品化时,一般的建议是首先找到一个细分市场或特定的客户群体。如果你能理解人工智能如何通过你的产品最有效地帮助你的客户,并能够专注于客户成功的价值,你就迈出了产品化的第一步。
主要的焦点将是如何最好地构建你的产品和内部流程,以便你不会在每个客户面前都从头开始。这一过程最初是探索性的。也许某些模型在一些客户的数据上比其他客户的表现更好。也许有些特定的用例,直到某个客户提出需求时才出现。产品化的基本理念是找到有价值的东西,并进行头脑风暴,了解你还能在哪些地方利用之前的项目、输出或流程,造福所有人。物尽其用,才不会浪费。如果你能为你的客户群体的利益回收某些东西,它将有助于你产品的成功和用户的集体喜爱。
将服务产品化是咨询行业中一个常见的概念,顾问们通常在一个项目结束后开始新的项目,并且常常需要与客户从几乎空白的状态开始重新建立合作关系。但考虑到我们的大脑是模式识别机器,最终我们会开始看到类似的需求或相似的应用场景。为特定类型的客户、行业、用户画像或用例创建可重复的流程,正是产品化的本质。这正是我们在 AI/ML 产品中所做的事情。这也是一种更好地预测客户为何以及如何找到你和你的产品的方式,帮助你知道如何分享成功案例和直接与他们相关的案例研究。产品化的过程还将极大地赋能你的营销、销售、客户成功以及更广泛的 GTM 团队。
正如我们在本节中所看到的,AI/ML 产品集成是关于在你的模型输出和这些输出所试图服务的用例或群体之间找到平衡。许多产品经理在构建 AI/ML 产品的过程中会发现,他们可能需要为某些特定群体定制产品。在接下来的章节中,我们将讨论在需要时,AI 定制化的必要性。
AI 定制化
通过产品化的过程,你可能会开始为你的产品创建分组或群体。你可能会发现某些模型最适合特定类型的客户,并围绕这一点建立结构。将你的产品划分为不同的用例,并以不同或最佳的方式与这些群体沟通,这一过程建立在产品化过程中获得的智慧之上。更进一步,你将自然而然地开始进行行业垂直化。
理解商业模型、行业垂直、以及特定客户群体的各种考量,将是你如何将产品推向市场的重要部分。例如,如果你支持的是 B2C 或消费者产品,你可能需要更多地投资于信息收集,通过获取更多终端用户的直接反馈来推动创意阶段。因为你将创造一个可能会被数百万用户体验的产品,你将需要深入了解这些终端用户的偏好和需求,以确保你的产品与客户的声音保持一致。像这样的产品还可以通过快速实验和迭代来受益,这样你可以在 AI/ML 模型尚未达到预期性能水平之前就将产品发布并开始收集反馈。
如果您支持的是 B2B 或面向企业的应用程序,您可能会花更多时间在该产品的构思和部署上,以便您能够集中精力吸引您希望赢得的特定客户群体。对于商业应用程序,您可能会创建一个非常复杂的产品,执行许多重叠的操作,但这些操作只面向一个非常小众的用户群体。您还可能会拥有一系列文档完善的工具,向客户提供类似的解决方案,因此与市场保持功能上的一致性可能对这类产品至关重要。
您的公司规模也会影响您作为 AI 产品经理在组织中的表现。例如,如果您的组织足够大,可能会有一个单独的产品经理负责之前提到的每个版本的产品周期。也可能有多个产品经理分别支持您 AI 产品的不同功能方面。也可能会有一个仅负责 AI 功能的产品经理,同时有一个更高层次的产品经理或产品总监负责整个产品套件。在较小的组织中,可能只有一个 AI 产品经理负责整个产品的所有生命周期阶段,或者持续进行构思以不断维护该产品。
公司规模之间的另一个区别在于数据本身。根据公司规模的不同,您拥有的数据的访问权限或质量可能会面临不同程度的困难。作为产品经理(PM),让这些数据可用并且处于可用状态可能比初创公司更具挑战性,并且会占用更多时间,因为需要访问被孤立的数据群组,而这些群组通常需要行政管理权限。即使获得这些数据,将它们整合在一起也可能很困难,这取决于每个数据孤岛的规定。相反,初创公司可能连足够的用户都难以积累,并且可能会遇到数据量的问题。数据的可用性和质量对于大大小小的公司来说都是著名的难题。
如果您有一个高度垂直化的产品,这也可能会影响您作为 AI 产品经理的工作表现。例如,拥有一个专为医疗健康、金融科技或教育设计的产品,可能需要一个具有这些不同领域知识和专业技能的产品经理。即使是同一个产品经理在这些领域中支持该产品,您也很可能会看到它是您产品的三个不同版本,因为这些特定领域的权重、阈值和性能指标很可能会大不相同。根据您所提供的产品类型,您甚至可能会看到一种高度专业化的情况,产品可能会根据每个客户的需求进行大幅定制!这对于那些必须根据客户数据进行定制的高度定制化的机器学习(ML)产品来说可能是如此。
最终,构建产品并将其针对特定受众进行调整的工作,都是为了创造一个能够销售的产品。我们需要了解我们的受众——产品的买家和用户,才能打造真正能够服务他们的产品。在接下来的部分中,我们将讨论销售的概念,以及从产品管理的角度来看,这意味着什么。
销售 AI——产品管理作为销售的更高境界
在 AI 产品管理中,你是在以多种方式进行销售。有传统意义上的销售方式,即:创建一个市场愿意购买的产品。这是任何传统 PM 角色中固有的部分。你对市场、产品和销售团队的理解是,你对所带来的解决方案充满信心,确信解决方案的表现,以及销售团队能够清晰传达你所构建解决方案的价值。接着是 AI 所带来的机会和挑战:有能力推销 AI 功能本身。
本书早些时候提到,AI/ML 项目在投入生产过程中面临的困难;这有多种原因,其中最主要的原因是无法向更广泛的组织销售 AI 的价值。对于任何希望从事 AI 产品工作的 PM 来说,这将极其重要,因为你必须培养这种直觉和能力,能够将你的产品销售给外部市场,以及向内部利益相关者和领导者推销。这种情况适用于你在大型组织或小型初创公司工作的情况。
在你的组织内部推销 AI 的工作,部分将直接与如何赋能你的团队相关。如果你想成功地推广你的 AI 产品,我们有以下建议:
-
确保在数据策略和数据架构方面达成一致。记住:AI 产品是数据产品,如果你在数据端没有良好的实践,你将不得不逆向工程你的数据管道,这可不好玩。部分内容还包括确保有一个可靠的数据策略,随着你的业务和产品的扩展,能够支持更多的用户和客户。
-
确保你不会过于专注于技术和技术栈,以至于忘记将这些技术的使用与其影响联系起来。提醒自己为什么要在你的产品中使用 AI。它为你的产品以及你的组织和客户提供了什么价值?没有感知到的价值,任何销售都不会成功。做销售的人明白,他们需要成功地传达产品的价值,才能让你掏钱包。如果你从事产品管理工作,也必须有同样的心态。这不仅对你的客户很重要,对你的领导团队同样如此。
-
确保你在拥抱实验。正如我们多次提到的:AI/ML 是一个高度迭代的过程。在没有先给你的实践者和模型足够的实验空间之前,你不能对他们和模型本身抱有过高的期望和结果。AI/ML 可能带来美丽而奇迹般的成果,但首先需要通过迭代不断引导。灵活性和好奇心在考虑各种 ML 模型时也将变得至关重要,这些模型将支持你的产品在扩展过程中不断前行。
与其他产品角色一样,AI 产品经理(AI PM)的角色也非常广泛,需要在多个领域具备知识和能力。了解 AI 产品的创建和构思过程,可以帮助你使用最前沿的技术满足市场需求。知道如何最好地支持这类产品的数据端,意味着你正在为 AI 团队的核心成员奠定成功的基础。让你的 AI 实践者有足够的空间和自主权去实验并向你和领导汇报他们的发现,可以在技术与领导之间建立正确的反馈循环,助力产品的蓬勃发展。最后,创建正确的部署技术栈和流程,确保最终用户能够以你最初设想的方式受益于你的产品,同时为你提供完美的平台,使你能够深入到产品迭代的日常工作中,直到产品的生命周期结束。
摘要
产品经理的工作永远做不完。总是有更多的声音、观点和考虑因素需要采纳。协调所有利益相关者、技术、领导层、市场分析、客户反馈以及对产品的热情并非易事。在这一章中,我们讲解了 AI 产品开发生命周期的各个阶段,以及组成你的 AI 产品梦想团队的不同角色。我们还探讨了能够帮助该团队构建产品的技术栈,以及帮助产品脱颖而出并与购买和使用产品的各类群体产生共鸣的重点领域。希望这一章能帮助你理解在打造 AI 原生产品时,最重要的因素是什么。
只要你为 AI 项目招聘了合适的人才,进行充分的尽职调查,找出适合的技术栈采纳策略,按照客户的行业需求结构化你的产品,并与领导层和更大的市场推广(GTM)团队合作,构建一个满足市场需求的产品,那么你就已经为成功打下了基础。你可能会比自己想象的做得更好。
参考文献
- 机器学习中的 A/B 测试的“什么、为什么与如何”:
mlops.community/the-what-why-and-how-of-a-b-testing-in-ml/#:~:text=An%20A%2FB%20test%2C%20also,guesswork
)
)
- Seldon:
www.seldon.io/
)
- Dataiku:
www.dataiku.com/
)
- DataRobot:
www.datarobot.com/
)
- Domino 数据实验室:
www.dominodatalab.com/
)
- Cloudera 数据科学工作台:
www.cloudera.com/products/data-science-and-engineering/data-science-workbench.html
)
- Weights and Biases:
wandb.ai/site
)
- ML Flow:
mlflow.org/
第七章:产品化 ML 服务
在第六章中,我们简要讨论了产品化的概念以及这对 AI 输出的意义,在《产品化 AI 驱动的输出 – AI 产品管理有何不同》一节中提到过。我们将在本章中进一步扩展这一概念,探讨在构建 AI 产品时可能遇到的挑战与困境。与其将 AI 产品视为传统的软件产品,不如将其视为一个你正在学习如何产品化的服务。这意味着能够创建一个你可以依赖的、稳定的工作流程,以像传统产品一样提供一致的结果。
我们将深入探讨产品管理原则,并将其与 AI/ML 服务的特性对齐。
到本章结束时,我们将了解以下主题:
-
理解 AI 与传统软件产品之间的差异
-
B2B 与 B2C – 产品化商业模型
-
一致性与 AIOps/MLOps – 依赖与信任
-
性能评估 – 测试、重训练和超参数调优
-
反馈循环 – 建立关系
理解 AI 与传统软件产品之间的差异
传统软件产品与 AI/ML 产品之间有许多不同之处。在以下小节中,我们将首先讨论它们的相似之处,然后指出它们之间的差异,从而帮助我们全面了解在进行 AI/ML 产品管理时应该期待什么。这将帮助我们建立一个基准,并与传统产品管理工作有所区别。当你是产品经理时,你通常需要保持对产品的直觉,理解它如何在构建、发布产品以及与工程团队合作的过程中不断发展和演变。
直觉的一部分将与如何营销和销售你的产品、你的产品能够预见的客户需求和问题,以及当你开始深入构建和营销 AI 产品时可能出现的潜在问题有关。许多产品经理可能没有意识到 AI/ML 产品对他们的要求,本节主要帮助产品经理在开始接触 AI/ML 产品的世界时建立这种直觉。
还需要注意的是,传统软件产品和 AI 产品正变得越来越难以区分。这是因为大多数软件公司已经开始将 AI/ML 集成到现有产品中,或者推出了原生的 AI 产品。覆盖多种产品的产品经理(PM)将希望深入了解 AI/ML,以便在自己的领域保持竞争力,无论他们是否打算深入 AI。如果想了解传统软件和 AI 产品之间的差异,重点不在于比较这两类截然不同的产品,而是要认识到这是一个宏观趋势,理解这两者的主要原因是预测所有产品如何随着 AI 的发展而演变。我们先来看看传统软件产品是如何与 AI 相似的。
它们有哪些相似之处?
传统软件产品和 AI 产品之间有许多相似之处,因为从根本上讲,AI 产品是内置了产品化 AI/ML 服务的传统软件产品。因此,我们在这里概述的相似性涉及敏捷产品开发以及数据。原生 AI 产品及其支持的 AI 流程输出遵循与大多数传统软件产品相同的构建过程。它们的构建也高度关注驱动它们的数据。这一点对于传统软件产品同样适用。
敏捷开发
在传统的软件开发中,你将遵循某种方法论来进行创意构思、跟踪工作进展,并保持与某种框架或计划的一致性。如今,大多数软件公司不再使用瀑布式方法,而是选择了敏捷、Scrum 或精益方法的某个版本。这意味着大多数软件公司都在采用迭代和实验性的方式来构建和发布产品。它们将宏观的商业目标转化为具体的任务,这些任务将在任何一个 sprint 结束时形成交付成果。一旦这些交付成果完成,它们会经过评估过程,确保通过测试满足不同的期望。
这种方法的核心是敏捷性。当你在一段时间内构建产品的功能时,你有时间对这些功能进行功能性和概念性的测试。这是一种经济的方式,通过花费时间、精力和资源在一个产品或功能上,看看它是如何被你的客户群体和更广泛市场接受的。正是这种敏捷性使得科技公司能够取得成功:它们能够在构建过程中做出更改和调整,如果发现产品或功能没有与用户群体产生共鸣。这一点无论产品是否支持 AI/ML 特性,都是成立的。
我们甚至可以进一步说,AI/ML 将这种敏捷性提升到了一个新的高度。由于 AI/ML 产品始终在以先前的版本为基础进行构建,它们不断地进化并适应新的性能、准确性或速度需求。你不能在真空中构建 AI 产品。随着时间的推移,AI 产品会经历多次转变,因此它们总处于更新或升级的状态,以满足其输出的期望。
数据
接下来是数据的相似性。即使某些软件产品并未大量处理你的个人数据,它们通常也被视为数据产品,因为它们在某种程度上利用并存储关于你或整个用户群的数据,以做出某些判断。传统的软件开发通常会有某种反馈循环,连接到数据库,或者建立在某种数据管道之上,将信息从 UI 传输到某种集中式(或去中心化)存储库中。
这意味着,软件工程师除了处理源代码外,还需要处理大量的数据。我们在本书中已经详细讨论了 AI/ML 产品的数据需求,但需要注意的是,大多数软件产品也是如此。软件产品始终在使用和考虑数据,无论它是否是“数据”产品或“AI/ML”产品。如果你正在推出新产品,从初始客户那里获取数据无论你是否在构建应用 AI 产品,都是必须的。现在我们已经了解了这两者的相似之处,让我们来看一下传统软件产品与 AI 之间的区别。
它们有什么不同?
尽管 AI 产品在很大程度上建立在传统软件开发的基础上,但作为 PM,你需要了解它们存在一些关键的区别。AI 能够推动传统软件产品的发展,你会在产品圈中听到这个被称为应用 AI。这意味着,AI 在非研究环境或实验室中的应用,用于技术产品的构建。简单来说,应用 AI 的概念就是将 AI/ML 付诸实践,测试和优化模型的准确性和精度,并通过反馈循环不断演化。
以下章节将讨论传统软件产品和 AI 产品之间的最大差异,主要围绕可扩展性、利润率和不确定性。
可扩展性
应用 AI 产品和传统软件产品之间的一个主要区别是在可扩展性方面。由于 AI 对训练数据的质量和偏差非常敏感,因此你很可能会遇到扩展这类产品的问题,因为你可能会遇到如此多的边缘情况,以至于你不得不重新开始设计,或者开始在用户群体中创建不同的群体。这导致了AI 论坛 (ai-forum.com/opinion/why-commercial-artificial-intelligence-products-do-not-scale/
) 所称的集体 AI 疲劳,这来源于直接从事 AI 开发的人员,也包括领导层和整个市场,所有问题都源于应用于商业用途时的可扩展性问题。
这个问题不仅仅在于 AI 在准确性上的挑战;实际上,你需要大量数据才能让高级机器学习和深度学习模型运作良好并提供良好性能,但你还需要这些模型足够强大,能够适应一个广泛的用户群体、不同的情境、环境和地区。在传统的软件产品中,你可能不需要这种精细度就能看到成功,但在应用 AI 产品中,你可能会有一种感觉,在一个理想的世界里,你可能需要为每个用户或使用案例制定一个高度个性化的模型。
这种感觉可能并不远离理想的现实。这也意味着 AI 特别敏感于边缘情况的概念,甚至定义边缘情况的阈值,可能比传统软件产品的阈值要低。虽然边缘情况会影响所有软件产品,但传统软件公司具有固有的优势,因为它们是迭代的,所以一旦构建并发布产品,你就可以将其销售给几乎所有客户,而不需要做太多定制化。
我们将在本章后续讨论商业模型的差异,但可扩展性问题是由你选择的商业模型双重影响的。例如,如果你是一家 B2B 公司,你的 AI 产品在与其他客户的比较中可能表现得截然不同,因为他们的训练数据差异可能太大。如果我们与 B2C 公司进行对比,你可能会在非常具有代表性和多样化的数据上训练模型,但然后,你的单个消费者与产品的互动方式可能会有很大的差异。
无论是训练数据的问题,还是最终用户与产品互动的方式,问题都是一样的:你必须考虑到来自外部影响对产品的各种视角和需求,这使得在保持一致的产品构建的同时,几乎不可能对模型进行扩展。即便是达成对产品性能可接受水平的共识,也可能是时间、成本和精力上的低效,更不用说实际达成你所需要的准确性,以便最终能获得一个足够一致的 MVP 产品来出售。
达到一个信任水平,使得你的首批客户能够看到产品的价值并持续使用它,将需要大量的初期工作,并且你不能保证这种密集的客户获取过程会像传统软件产品那样逐渐消失。对于应用人工智能产品来说,获取并留住客户的过程可能会保持在一个持续而艰难的节奏上,这进一步加剧了在一定程度上产品可扩展性的问题。然而,已有进展在于构建和发现不那么依赖于海量数据的模型优化方法。
根据AI 论坛(ai-forum.com/opinion/why-commercial-artificial-intelligence-products-do-not-scale/
)的说法:“收集数据可能很昂贵,需要注释和标签(如在医疗保健领域由临床医生完成)、清理和准备,这些过程可能占 AI 训练成本的 50%。需要获得数据所有者(例如患者)的同意,才能使用他们的私人数据,有时数据管理者需要额外的激励来分享数据。数据隐私和安全法律可能会对数据的共享、存储、访问和处理构成障碍。”
这强化了一个观点:与训练数据的质量和多样性相比,数据的数量本身对于可扩展 AI 产品的商业成功来说是次要的。数据不仅需要在你的数据样本中以统一的方式进行标准化,它还需要有足够的代表性数据点,涵盖用户的多样性——这个理念是:你的数据越多样化,它就越能够预测将来部署到更广泛公众中的一般用户的需求和使用方式。
获取清洁数据说起来容易,做起来难。大多数现实世界的数据集都存在数据清理问题。Tableau (www.tableau.com/learn/articles/what-is-data-cleaning#:~:text=tools%20and%20software-,What%20is%20data%20cleaning%3F,to%20be%20duplicated%20or%20mislabeled
) 提供了如何解决这一问题的极好总结:“数据清理是修复或删除数据集中错误、损坏、格式不正确、重复或不完整数据的过程。当合并多个数据源时,数据可能会被重复或标注错误。如果数据不正确,即使看起来正确,结果和算法也是不可靠的。没有一种绝对的方式可以规定数据清理过程中的确切步骤,因为这些过程会根据不同的数据集而有所不同。”
人工智能/机器学习产品对数据质量特别敏感,而这一问题在故意篡改或数据投毒的情况下更加严重,其中终端用户攻击 AI/ML 系统,故意操控其训练数据。
利润率
我们已经讨论过构建 AI 组织的成本,如果你在构建应用 AI 产品,你必须承担这些成本。这些成本是传统软件产品和应用 AI 产品之间的最大差异之一。由于这些成本可能非常高,它们会影响你的利润率。KeyBanc Capital Markets 2021 年对 354 家私人 SaaS 公司的调查发现,大多数公司的毛利润率为 80%,而在考虑到客户支持/成功时,毛利润率降至 68% 至 75% 之间 (onplan.co/blog/what-are-the-net-profit-margins-of-a-saas-company-startup/#:~:text=Based%20on%20a%20KeyBank%20Capital,between%2068%25%20and%2075%25
)。
这个数字在最佳情况下,即使公司运行得最好,对 AI 产品也会大幅下降。为了描绘出可能出现的问题,我们找到的最好例子来自哈佛商业评论 (hbr.org/2022/03/how-to-scale-ai-in-your-organization
),提到:“…某家金融公司因为其一个机器学习模型开始出现问题而在 10 分钟内损失了$20,000。由于无法查看根本问题,甚至无法确定哪个模型出现故障,公司别无选择只能停止使用。所有模型都被回滚到较早版本,严重降低了性能并抹去了数周的努力。” 想象一下,在如此短的时间内损失那么多钱,却仍然无法找出问题所在!
话虽如此,应用 AI 的某些方面比其他方面更具盈利性。根据福布斯 (www.forbes.com/sites/forbesfinancecouncil/2020/09/01/past-the-ai-hype-when-is-ai-actually-profitable/?sh=3fdab9b81fb4
),应用 AI 最快见效的领域是支持客户行为,这是有道理的,因为它直接影响销售并且是最高的收入驱动因素之一。这包括应用 AI 的使用案例,例如产品推荐、规模化定价算法或广告个性化/优化,这些都可以增加您网站的流量或帮助客户基于他们的特定消费和购买习惯、成本意识或品味偏好选择更多产品。
长期来看,应用 AI 的更中期回报是当 AI 被用来改进产品或在某种方式上提升用户体验。这可能看起来像是提升用户生产力的产品自动化。在本书的大部分内容中,我们一直在讨论这些应用的 AI,因为它们直接影响个别产品及其表现。作为产品经理,这很可能是您在应用 AI 时关注的主要领域,它在产品的表现和市场地位方面的最佳位置。由于这基本上提出了中期回报,并且由于大部分 AI 成本将会前期加载,您需要从收入和性能角度管理与您的工程、领导和面向客户的团队的期望。
最终,应用人工智能的最长期回报是在它影响公司声誉时产生的。这意味着人工智能的应用方式能够提升公司在信誉上的信任,特别是在与竞争对手和同行相比时。但获得这种人工智能的优势需要时间,并且它也揭示了人工智能的双刃剑本质。最终,你的竞争对手也会意识到这一点,并且会支付费用参与到你的领域中。这就是竞争的本质,作为产品经理,我们理解我们的产品会在市场上受到审视,这也是理所应当的。
尽管如此,这些盈利领域并不是完全隔离的。我们刚刚讨论的人工智能的短期优势也可以渗透到这一领域,特别是如果你的产品专注于市场营销、推荐系统或广告等领域。我们接下来讨论的人工智能的长期优势,也可以应用于将人工智能整合到你的产品中,前提是人工智能所能为你的产品带来的价值如此之大,以至于它影响了你在选定市场或垂直领域中的声誉地位。作为产品经理、技术专家或企业家,你将不得不应对人工智能所带来的成本以及它的优势,并制定一个计划,决定如何开始利用应用人工智能。
在你刚开始的时候,最好的做法之一是首先理解人工智能能够为你的产品和公司整体带来的好处,然后草拟你自己的计划版本并向领导层进行展示。传达人工智能的有效性以及你对它如何影响盈利能力的理解,将帮助你在自己组织中赢得信誉,同时也为你的利益相关者提供一个途径,让他们理解挑战与机会,并最终为计划做出贡献。
一旦你有了这个计划,你可以开始跟踪人工智能应用在各个领域的相对盈利能力,并且在你的组织内部拥有支持者/倡导者,帮助保持人工智能的可见度。如果你们都能就人工智能支出的具体需求和利润阈值容忍度达成一致,那么在你继续进行应用人工智能的过程中,导航人工智能的道路将变得更加容易,因为这将迫使你在数据、经济回报和激动人心的因素上进行人工智能的投资。并且它将让你的财务团队保持满意。
不确定性
最后一个大的区别是概念上的。人工智能给产品管理工作引入了大量的不确定性。在传统软件产品中,产品的确定性特征是硬编码的。算法仍然存在,但它们不会随着时间的推移而改进或学习。它们是静态的。而在人工智能产品中,这些特性则更加灵活。开发者和用户必须明确或直觉地达成一致,设定一个期望的性能水平。如果这个性能水平因为模型训练不足而没有达到,那么模型就需要更多的训练。如果无论投入多少训练,性能依然没有提升,你可能到最后连产品都没有!在传统软件中,这种不确定性得到了缓解,因为你的性能目标不像在构建人工智能产品时那样是一个不断变化的靶子。
在机器学习(ML)领域,你不可避免地会遇到一定程度的误差,因为,正如我们所知,任何模型都不可能完美。你始终需要更多的数据来获得更好的性能。与领导层、客户和工程团队共同合作,你将会了解准确度的门槛应该在哪里。每个产品和每个使用案例的门槛都会不同。基于某个特定训练数据集的一个模型的输出可能某一天会非常好,但如果你多样化训练集并重新训练,那么很可能你无法得到预期的结果。精确重现并测试这些产品是非常困难的,因此在管理测试、部署和维护版本时保持实验心态是至关重要的。你也很难知道你的模型会因你选择的模型类型、训练数据,还是你选择的特征而有更大的改进。
你也不知道需要多少时间、多少资源和多少数据,这使得你很难像以往处理传统软件产品那样去实际规划你的路线图并保持对时间的感知。如果你曾经是产品经理,这句话可能会让你 raised 眉毛。是的,确实如此:人工智能产品的预测更为困难!找到合适的平衡可能需要几天、几周或几个月。对于人工智能产品,直到你深入到构建过程中的细节,才开始真正理解你工作范围的复杂性。这对你的领导团队构成了巨大的挑战,因为他们可能更关心你需要多长时间的具体答案。人工智能引入了许多不确定性因素需要跟踪,这也是为什么找到一个理解这一点并支持你的领导团队如此重要,因为这段旅程充满了怀疑。
总的来说,AI 已经成为不可或缺的一部分,并且随着我们进入 2030 年代,AI 将成为一个主题。随着公司以新的创新方式应用 AI,AI 的承诺和机遇不断增长。我们猜想,随着这个十年的继续,我们将看到更多受启发的公司通过采纳 AI 而获益的方式。如今投资和构建 AI 原生产品的公司,如果能生存下来,将为未来几十年的成功奠定基础。关键在于生存。
我们在这里提出 AI 产品与传统软件产品之间的差异,因为我们希望所有有意愿和投资来创建 AI 产品的人都能取得成功。如果在构建新产品时能预见潜在的障碍,你就能更好地准备团队克服这些障碍。产品经理始终要负责管理产品利益相关者,将问题映射到解决方案中,深入分析他们的数据分析和见解,进行沟通,并决定产品性能的验收标准,以及产品的责任、可解释性和道德问题。无论你是否支持 AI 产品,这些领域都需要培养,这也是作为产品经理的传道工作的一部分。
现在我们已经讨论了传统软件产品与 AI 产品之间的一些相似之处和不同之处,让我们将注意力转向如何根据它们的商业模型来定位和构建 AI/ML 产品。为 B2B 商业模型创建产品与为 B2C 商业模型创建产品是不同的。让我们在以下部分探讨其中的一些差异。
B2B 与 B2C——产品化的商业模型
当涉及到构建和推出产品时,B2B 和 B2C 商业模型之间最大的差异之一是领域知识和实验的程度。在本节中,我们将专注于这两个领域,因为它们对于 AI/ML 产品在这两种商业模型中的产品化过程有着最大的影响。如果我们深入探讨 AI/ML 产品更像服务的概念,那么这两种商业模型的期望最终结果将有所不同,因为它们服务于不同类型的客户和不同的整体需求。
对于 B2B 产品来说,这些产品需要展示高度的领域知识,并专注于此。由于 B2B 产品通常为已被证明有效的业务领域提供服务,它们必须经常证明自己在这一领域拥有专业知识,并且对其进行了足够深入的研究,以便能够满足需求。对于 B2C 产品,我们看到更多的是实验性质的焦点,因为这些产品不是利用已经存在的业务需求,而是寻找可能尚未被客户群体意识到的更广泛需求。这需要高度的实验性。在接下来的部分,我们将进一步深入探讨这些想法。
领域知识 – 理解市场需求
首先,在 B2B 产品中,领域知识至关重要。这是因为使用场景非常具体,产品本身解决的是针对某些行业和领域的特定商业问题。为了使产品经理(PM)在 B2B 领域有效,他们需要与客户的需求、工作流程和主要痛点紧密相连,因为他们的产品解决的是非常特定的使用场景。这并不是说这个领域的 PM 必须来自他们所服务的特定行业,但他们确实需要投入大量时间去与用户群体建立共鸣,才能有效地开展工作。
这个费时的过程可能包括许多方面:进行客户访谈、跟进行业趋势、了解竞争格局以及他们的竞争对手为自己的客户提供的好处和功能,都是建立产品在竞争领域中可信度的一部分。这也是理解你的产品将服务的各种用户类型的初步工作。如果你是这个领域的 PM,花时间建立清晰的买家和用户画像,并确保你掌握他们的个体需求、问题和“待完成的任务”,这将为你铺设成功的道路。
B2B 客户的期望值很高,因为这个领域通常充斥着大量竞争产品可供选择。在许多情况下,这些客户正在经历多轮的征求建议书(RFP)和深入的概念验证(PoC)过程,以确保他们为自己的使用场景购买到合适的产品。对于 AI/ML 产品而言,这些 PoC 可能会给你的公司带来高昂的成本,因为你需要从客户那里获取足够大的样本,利用这些数据来训练你的模型,并在其性能达到可接受水平时,向他们展示产品及其功能,以便能够向潜在客户展示。
这意味着这些产品往往有许多关注者,而每一双眼睛可能会带来自己的期望和对你产品的异议,因此,在构建 B2B 产品时,你需要真正意识到多方视角。这也意味着,在构建过程中,你需要规划发布日程,考虑到每次发布可能会包括影响客户个人工作流程的功能,因此你必须时刻注意发布到生产环境的频率以及功能的负载情况。
然后,这些领域知识逐渐积累,直到你作为 PM 以及你所在的更广泛组织成为该领域的思想领袖。由于这个行业圈子很小,一旦一个产品和它的领导团队引起关注,它的影响就会在业内传播。建立内部和外部的信誉与获得的行业专业知识水平成正比。
这一点进一步强化了 AI/ML B2B 产品的期望非常高。你的用户和买家会对支撑你 AI 产品的技术栈、性能和准确性进行严格审查,并希望看到产品可解释性以及为什么你的产品有效的证据。这一切将与你的客户测试和试用其他 AI/ML 解决方案以进行比较的过程同步进行。这也意味着你必须在发布时非常有意图,确保在将产品推向生产时不会出现任何性能延迟,同时完全意识到其他企业依赖于你的产品。
在客户旅程的每个阶段,期望都需要被管理。B2B 产品存在于一个庞大的生态系统中,使用某一产品的公司可能会将该产品的输出传递给其他工作流或自己的客户。这就要求 B2B 公司更加注重维护其公司和产品的声誉,增加市场营销透明度,并且要求 AI/ML 产品团队避免使用黑箱算法,销售能够证明其决策依据的产品。B2B 公司的客户拥有巨大的杠杆作用,因为风险无处不在,B2B 产品也从那些希望看到产品达到一定性能水平的参与客户中受益。
实验 – 发现你集体的需求
对于 B2C 产品,由于不那么专注于你所服务的领域,你所服务的市场压力相对较轻,但这也带来了另一种压力:构建一个能够吸引更广泛受众的产品。扩大受众范围使得其他领域也变得更加突出。作为在 B2C 环境中工作的 PM,你会更加实验性地接近你的产品和所服务的市场,通过跟踪用户如何使用你的产品来获得对客户最有价值的洞察。你可以进行焦点小组讨论、培养 beta 测试者,或通过产品内调查采访客户,但由于你无法像 B2B 产品那样进行客户访谈,你只能通过客户在产品中的行为来了解他们对你产品的看法。
这种商业模式还将所有的用户和买家角色集中在一起,因为通常使用你产品的人也是购买它的人。理解客户基础的主要驱动因素、愿望、希望和梦想变得非常模糊,因为你试图捕捉的是适用于所有用户的潜在需求、痛点和愉悦时刻。这使得产品经理与最终用户之间的共情变得更加复杂。因为大多数用户不会签订像 B2B 产品那样的长期合同,维持消费者的吸引力变得至关重要,因为他们可以随时离开。这对产品、领导层和开发团队施加了压力,要求他们不断为客户提供留存的理由,让消费者选择他们。
由于 B2C 产品对构建者实施了全局视角,这意味着产品经理必须非常精明地分析他们的数据和指标。投资于理解客户生命周期价值和客户获取成本,并跟踪这些指标,是在 B2C 环境中保持盈利和可持续发展的重要部分。B2C 为产品经理提供了一个轻松的途径,将 AI/ML 应用于客户的获取和保持,因为他们与终端用户的接触点非常少。消费品领域的产品经理还需要专注于消费者的群体特征和个性特征,以更好地理解应该构建什么。如果你发现你的产品最吸引的是某一地理区域、性别、世代或子类别的人群,你可能会在未来的功能和发布规划中考虑他们的需求。
我们已经多次提到,AI/ML 产品本质上是实验性的,因为你希望以能显著影响产品的方式利用 AI/ML,这样才能让它值得投入大量的资金。对于 B2C 产品来说,这一点尤为重要,因为你不仅是构建和使用 AI 来提供能为消费者省钱或让他们愉悦的东西,还要利用产品产生的数据来决定如何调整产品方向。B2C 产品经理依赖数据和分析来定期做出关于产品的全球性决策。虽然这种情况大部分在改变,但传统上,在 B2B 领域,你的营销工作主要面向买家,因为他们是最终的决策者。这与 B2C 领域形成了鲜明对比,因为你的营销工作直接与可以从数据中推导和推测出的集体信息挂钩。
实验在一定程度上是有趣的,但归根结底,它必须交付结果。对 AI/ML 消费产品来说,最大的压力就是要表现出色,维持庞大的用户基础,并让消费者保持满意。这意味着消费者希望使用一款能按承诺执行的应用,且该应用在视觉上具有吸引力。由于消费者不像 B2B 客户那样关注使用产品的下游风险,他们不太关心为什么它能工作,只关心它是否能工作。这就意味着在 B2C 领域,可解释性的问题被最小化,黑盒或深度学习算法的使用不那么受到审查。
B2B 和 B2C 商业模式各自面临着不同的挑战,但归根结底,两个商业模式的从业者都必须足够了解他们的客户,以便创造真正能为客户带来价值的产品。一旦你为客户创造了有价值的东西,就进入了一个新的阶段。下一个阶段是关于如何稳定地交付这个价值,不仅要赢得客户,还要在长远来看保持客户。在接下来的章节中,我们将深入探讨如何借助ML 操作(MLOps)或AI 操作(AIOps)来持续交付价值。书中将交替使用这两个术语。
一致性与 AIOps/MLOps —— 依赖与信任
在内部产品团队以及客户群体之间维持信任、依赖和一致性,就像是承诺进行某种特定仪式。将清洗数据的获取、跟踪基础设施中的数据流、追踪模型训练、版本和实验、设定部署计划、监控推送到生产环境的流水线等工作都规范化,都是确保对 AI/ML 流水线的进出进行有效管理的必要工作。这种规范化的过程就是 MLOps 或 AIOps 所指的内容。在本节中,我们将探讨 AIOps/MLOps 的好处,以及它们如何帮助你保持一致性。
如果你正在管理一个 ML 流水线,你需要学习如何依赖 MLOps 团队,并为你的团队设定成功的基础。你不想像我们在本章利润率部分看到的那样,在 10 分钟内损失 $20,000,却不知道问题出在哪里。至少,你应该对问题的根源有一些了解。MLOps 可以帮助创建和管理 ML 流水线,扩展这些流水线,并大规模地传输敏感数据。最终,损害客户对你产品的依赖和信任的风险是巨大的。MLOps 对你业务的最大贡献就是保持所需的一致性,构建一个持久的 AI/ML 产品。
本章已经详细讨论了产品化及其在不同 AI 产品管理情境中的表现,但实际上 MLOps 才是功能性产品化发生的地方。将一个服务拆解成更小的部分,并将这些部分进行管理和标准化,使其成为可重复和规范的模块,这就是“产品化”的工作,而在这个过程中,MLOps 实际上是我们真正用来产品化 AI/ML 的工具。为了构建客户对你产品的期望一致性和可信度,MLOps 的惯例需要融入到你的流程中。你永远不知道何时需要回到模型的某个特定版本,或者重新关注一个具有正确因素组合的实验。MLOps 为你的团队创建了所需的组织和专注,使其能够掌控如此多样化的实验。
现在我们已经介绍了一些创建 MLOps 组织以帮助跟踪 AI/ML 管道的好处,接下来让我们探索如何在该管道基础上进行构建,并评估所使用模型的状态。在接下来的部分,我们将重申一些关于测试、重新训练和超参数调优的概念,以确保你的 AI/ML 管道能够定期刷新并优化性能。
性能评估——测试、重新训练和超参数调优
MLOps 帮助我们强调了重新训练和超参数调优模型的重要性,以提高模型的表现。如果没有一个完善的 AI/ML 管道来验证、训练并定期重新训练模型,你将难以掌握产品的表现。你的 MLOps 团队实际上由数据科学家、机器学习(ML)和深度学习(DL)工程师组成,他们的任务是调整模型构建的超参数,测试这些模型,并在需要时重新训练它们。这需要与管理用于测试的数据以及产品界面的代码库相结合。
除了测试和验证模型、清理和探索数据之外,MLOps 团队成员通常还会进行软件测试,如代码测试、单元测试和集成测试。在许多情况下,你的 AI 产品实际上会成为传统的软件产品,这些产品在更大的生态系统中融入了 AI/ML 功能,并与传统软件开发保持一致。这意味着,在很多情况下,MLOps 会确保你的更大产品在 AI/ML 交付物和输出的同时,功能上也能正常运行。
MLOps 另一个重要领域是减少数据漂移和系统降级风险的概念。我们在本书的早期章节中讨论过几种不同类型的漂移,但我们想在这里重申,这是一个可能悄然发生的风险。模型降级可能由多种原因引起。也许训练数据和生产数据之间的假设存在差异。也许数据本身发生了变化。也许你的训练数据中有一些未被察觉的偏见。无论是什么原因,MLOps 对生产中的模型进行持续监控,将是你发现这些细微变化和 AI/ML 输出变化的最佳防线,从而最大限度地减少 ML 管道中各种问题带来的风险。
在本书的第一章和第二章中,我们讨论了持续维护的概念,包括持续集成(CI)、持续部署(CD)和持续测试(CT)。这些 MLOps 的基本领域与 DevOps 相似,后者是传统软件开发中的常见做法。主要区别在于,在 MLOps 中,CI 不仅仅是测试和验证代码——它还涉及验证和测试模型、数据架构以及数据样本本身。另一个区别是,CD 不仅仅是部署软件包,而是培养一个自动化的 ML 管道部署过程,该过程经过优化,可部署模型预测服务,或者在出现问题时自动回滚到早期版本。最后,CT 不仅仅是测试软件包本身,而是重新训练并测试那些正在积极依赖的模型。
在本节中,我们建立了如何管理 AI/ML 管道的一致性理念,并强调了保持高标准的 AI/ML 管道性能的重要性。这不应被视为锦上添花,而是必须具备的。AI/ML 模型的性能和质量可能会因多种原因受到影响,因此,持续审查性能的这一做法旨在确保你的产品性能不会以牺牲你与开发者和客户建立的信任为代价。在接下来的章节中,我们将讨论保持强大关系的重要性,无论是内部还是外部。
反馈循环 – 关系建立
持续监控并强化一个复杂系统(如 AI/ML 流水线)的合法性,最终目的是建立持久的关系。这些关系包括你公司与客户之间、开发团队与销售团队之间、MLOps 团队与领导团队之间,所有这些关系都是通过构建和推向市场你的 AI/ML 原生产品的工作中建立的。在 AI/ML 产品中,反馈循环至关重要。培养与这些产品构建者及其服务的客户之间的强大关系是产品经理(PM)的根本工作。产品化是将一项服务、过程、技能或理念转化并找到一种方式呈现给更广泛市场的过程。要成功完成这一工作,需要很多层次的努力,但从最基本的层面来看,这项工作其实就是一个精心设计的反馈循环。
本章中我们并没有多讨论营销,但它同样是维持反馈循环的重要部分。找到合适的措辞来描述你的产品并触及你的目标受众(也称为产品语言契合)将是产品化的重要组成部分。你需要创建营销材料、广告和销售话术,这些都将传达你用 AI/ML 构建的产品对客户和最终用户的价值。通过各种营销和销售渠道传播这些产品资料,将大大有助于与客户对产品期望达成一致。
正如我们在本节前面所见,无论是商业用户还是消费者,客户都会带着期望而来,而 AI/ML 的产品经理任务就是要接受这些期望并交付出符合这些期望的产品。理解 AI/ML 的风险与前景,以及它与传统软件开发的对比与区别,理解你的商业模型中的挑战和机会,将这些内容转化为可重复、可复制的内部任务,并展示你产品在性能上的一致性,使其符合客户期望,这就是产品化 AI 原生产品的工作。当你拥有一群忠实的客户,他们不会轻易放弃你的产品时,你就知道自己已经成功完成了这项工作。
总结
产品化的过程涉及将一个概念、一个服务或一项技术转化为适合吸引目标客户的商业产品。正如我们在本章中所看到的,这项工作不仅仅是让你的产品顺利上线,并为潜在客户创建一个“神奇”地能够找到的着陆页。产品化要求深入理解你所处的商业模式以及你正在为之构建的最终受众。记住,AI 产品可以被看作是正在嵌入传统软件产品中的 AI/ML 服务。这意味着,AI 产品产品化的另一个重要部分是将 AI/ML 服务标准化和仪式化,以便内部运营团队和将依赖你产品的客户能够重复操作并预测结果。
如果你能理解你的市场,构建内部结构以确保 AI/ML 流水线的输出保持一致,并通过你的市场营销努力以及产品的持续表现来传达这种一致性,那么你就成功地实现了产品化。但产品化可能还不够。根据你所服务的市场的具体情况,你可能需要进一步定制你的产品,以适应特定的使用案例、行业、客户群体和其他同行群体。因为 AI/ML 模型的性能非常依赖于训练数据,所以可能会有一些数据集在不同模型下的表现不同。进一步的专业化可能是必要的。如果你发现这一点适用于你的产品和市场,请继续阅读第八章,在那一章我们将深入探讨定制化的概念。
参考资料
-
超越 AI 热潮:AI 何时才能真正盈利?:
www.forbes.com/sites/forbesfinancecouncil/2020/09/01/past-the-ai-hype-when-is-ai-actually-profitable/?sh=3fdab9b81fb4
-
如何在组织中扩展 AI:
hbr.org/2022/03/how-to-scale-ai-in-your-organization
-
SaaS 公司/初创企业的净利润率是多少?:
onplan.co/blog/what-are-the-net-profit-margins-of-a-saas-company-startup/#:~:text=Based%20on%20a%20KeyBank%20Capital,between%2068%25%20and%2075%25
-
数据清理指南:定义、益处、组成部分及如何清理您的数据:
www.tableau.com/learn/articles/what-is-data-cleaning#:~:text=tools%20and%20software-,What%20is%20data%20cleaning%3F,to%20be%20duplicated%20or%20mislabeled
-
为什么商业人工智能产品无法扩展:
ai-forum.com/opinion/why-commercial-artificial-intelligence-products-do-not-scale/
第八章:针对垂直行业、客户和同行群体的定制化
在这一章节中,我们将了解产品如何在垂直行业、客户和客户同行群体之间演化和细分。分析的目的是帮助你理解产品管理如何在为特定群体定向人工智能(AI)产品时发挥作用,最终,AI 为这些群体带来了什么价值。AI和机器学习(ML)是强大的工具,但它们有着普遍的力量,需要在特定应用场景中加以应用,才能使其价值得到完全体现。在很多方面,产品经理(PM)的工作就是让这种价值尽可能显而易见,从客户到开发人员。
PM 的角色涉及的内容非常多,本质上是多面的。你需要参与产品设计、组织产品演进过程中的工作流、分析客户反馈、将反馈纳入到公司整体业务目标中、研究新的方法和改进、制定符合公司战略的大产品策略,并最终在各级别之间与所有利益相关者、开发人员和领导者进行沟通。这需要对你的产品及其成功有充分的理解、亲密感和承诺!
当你将 PM(产品经理)的角色融入到 AI PM 时,还有一些额外的领域需要考虑。你需要了解在机器学习(ML)算法和数据模型方面的选择,并理解 AI 如何在你的接受标准和关键指标上起到推动作用。你还需要理解数据隐私和 AI 伦理,以确保你不会构建出可能对客户或未来业务造成危害的产品。
最重要的是,AI PM(人工智能产品经理)的角色需要具备一定的数据流利度和素养。你需要对如何使用数据、如何将数据应用于具体的使用场景有一定的直觉,并且了解一些统计学和数据模型本身的知识,这对确保你能在作为 AI PM 时有足够的理解并且充满信心至关重要。这一领域在许多方面是开始 AI PM 职业生涯的前提条件。作为 AI PM,你将与数据紧密合作。批判性思维和复杂问题解决能力对于构建一个能够最好地与 AI 产品的具体应用场景对接的成功产品是必要的。随着章节的展开,我们将探讨 AI 应用中最常见的使用场景、领域、垂直行业和同行群体。
本章将涵盖的主题如下:
-
理解领域空间及如何优化 AI 在这些领域中的应用
-
对高饱和度 AI 产品的各种垂直行业的流利度
-
理解用户行为分析
-
优化 AI 产品的价值指标
-
通过思想领导力和咨询,向同行学习
域 – 将 AI 定向到特定领域
在讨论 域 时,实际上有两个主要领域你需要投入大量时间来建立可信度。第一个领域是 理解 AI 概念,我们已经在本书中详细讨论过。第二个领域是 理解 AI 如何帮助特定领域取得成功。鉴于本书的这一部分主要集中在构建 AI 本土化产品上,我们将专注于 AI 产品经理如何在设立新产品时实现这一目标。
根据你所处的行业,你需要足够了解自己的市场,理解谁是你的直接和间接竞争对手。根据你所在的领域,这可能会比较直接,也可能并不简单。Gartner 提供了一个非常有用的工具,叫做 魔力象限。魔力象限的四个领域如下:
-
领导者:市场中那些已经建立的、有着较高可靠性和普及性的参与者。它们展示了最完整的愿景和最高的执行能力。
-
挑战者:新兴企业,它们正在威胁现有领导者在市场中的主导地位。虽然它们的愿景完整度还未达到领导者的水平,但它们在执行力上足以竞争。
-
远见者:这一类人有很多远见,但他们的执行能力有限,因此他们与领导者竞争,但无法像领导者那样快速或全面地执行。
-
小众玩家:这一类人能够专注于有限的用例,并且为这一小群体提供非常好的服务。他们不会扩展自己的产品组合以实现更高的愿景,也不会积极寻求执行以获得更大的市场份额。他们对自己的小众市场感到满足。
作为一名 AI 产品经理,在你的领域中构建一款新颖的 AI 产品时,你需要了解你所选择的领域或市场中的四种竞争者。这四个象限本身是基于愿景的完整性构建的* x 轴,和基于执行能力的 y *轴。由于本书中无法分享相关图示,我们建议你在评估自己组织在市场中的位置时,参考 Gartner 的魔力象限,并且查看你的最大竞争者的位置。你能够准确判断自己在这些分界线上的位置,将为你推出新 AI 产品做最充分的准备,特别是现在很多 AI 产品仍处于早期阶段。
在构建 AI 本土化产品时,最初需要花大量精力进行构思和定位你的产品,因为它是如此新颖,且进入了一个新市场。在接下来的章节中,我们将专注于如何将产品正确地定位到市场上,理解你的产品设计如何真正服务于这个市场,以及如何制定最适合你市场的 AI 产品战略。
了解你的市场
对于任何特定领域,领导者展示了基于最完整愿景执行的 proven 记录。这些公司可以向你展示什么是有效的,当前市场上的主要参与者主要解决了哪些需求。这对你而言非常有价值,能帮助你了解目标市场究竟希望从服务它们的公司那里获得什么。领导者还能够向他们的领域展示如何可持续地执行领域内的痛点,因为他们已经存在了很长时间,同行的产品经理可以从他们发布的产品以及更大市场对这些产品多年来的反馈中学习。领导者为你在进入新领域时进行研究提供了坚实的基础。
尽管位于象限中的挑战者展示的愿景较为不完整,但他们能够很好地满足市场需求,从而从领导者手中夺取了一部分市场份额。这一动态对于你思考自己产品时非常有帮助。如果挑战者能够从领导者那里夺取市场份额,意味着有潜在的断层可以挖掘。这些断层是领导者未能充分满足市场需求的领域,而最成功的挑战者能够在这些断层中找到机会。
在这一点上,领导者和挑战者可能已经或尚未为他们的产品加入 AI 功能,但理解这两大类群体将帮助你看到在构思或考虑构建产品时,可能会出现的一些潜在机会,以应对领域内一些常见问题或持续存在的薄弱环节。
小众玩家在其愿景的完整性或执行能力上并没有过度表现,但正是这种特点赋予了他们超能力,因为小众玩家能够展示边缘案例可能出现的地方。这可能帮助你在构建和设计产品时,潜在地识别出一些已有成功案例的功能或使用场景。这些边缘案例可能是如此小众,以至于挑战者和领导者自己都认为它们对现有产品套件的建设并不具备战略意义,但对于新兴产品而言,这些知识可能是有价值的。了解你所在领域内存在哪些小众市场,将帮助你发现当前尚未被充分开发或服务的潜在增长领域。
在最后一个类别中,我们有远见者。这些是拥有强大愿景的玩家,通常会有一套完整的产品体系,并且很可能会涉及他们整个领域。远见者能够展示出你所选择的领域中,产品能够实现的可能性,并且很可能包含一些你领域中最前沿的功能。作为 AI 产品经理,你会发现大多数直接竞争者都在这一类,因为 AI 功能在大多数领域的普及仍然较慢,我们敢打赌这些玩家中大多数已经开始试验 AI 功能。
如果你在你的领域开始从事 AI 工作,并且有幸从一开始就参与产品战略,了解你领域内的前沿人物将是一个很好的起点。今天的前瞻者可能是明天的领导者,因此,你需要尽早熟悉这个领域中的重要人物。
你可以自己进行市场调研,但无论如何,你都需要对构成你领域的市场情况有一些了解,这样你才能尽可能全面地理解你的竞争对手、他们试图解决的问题以及你领域内的客户。与营销团队合作或建立对竞争格局的全面理解是构建 AI 原生产品的一个至关重要的环节。为了构建有价值的产品,你必须打造一个解决你通过 AI 想要解决的最深刻客户痛点的产品。
除了痛点本身,你的产品还将开始收集客户数据。这意味着你不仅仅是在构建一个解决客户问题的产品;你还在通过从客户收集的数据来改进产品的功能。我们将在 UEBA 部分进一步讨论这一点,但现在,请记住,理解要收集多少以及收集哪种类型的客户数据,除了如何使用这些客户数据外,将是你在进行市场调研时需要完成的工作的一部分,以便全面理解你希望服务的市场。
再次强调,这将是你在构思产品设计和战略初期阶段的先决条件。
理解你的产品设计将如何服务于你的市场
在你感觉理解了领域、主要参与者、他们如何利用 AI 以及你希望解决的主要客户痛点之后,你就准备好开始构思你的产品了。这将伴随着一系列的活动。在进行所有线框图设计、构建产品战略的第一版以及制定路线图之前,你需要非常清楚为什么要用 AI 来解决这个市场的问题。如果你在没有明确理解为什么需要 AI 来解决这个问题的情况下构建 AI 产品,这将很容易浪费你辛苦筹集来的资金。
是的,市场上有一波热潮,许多初创公司仅仅因为融资而拥抱 AI,但单凭这一点不足以支撑你在负责任地构建一个能够在市场上表现良好的 AI 产品的各个阶段。在你开始打造一个能用 AI 解决所有客户问题的精彩产品之前,你需要解决一个根本性的问题——为什么选择 AI?
一旦你清楚了解为什么使用 AI 来解决客户的问题,你就拥有了构建营销信息的基础。因为我们正处于 AI 产品的关键时刻,推出具有 AI 功能的产品就足以让你处于需要在你的领域内推广 AI 的地位。当然,一些行业和领域已经出现了许多 AI 功能,正如我们在下一节中将要讨论的,但总体来说,你可能是最早的一批,因此“为什么是 AI”这个问题会不断出现在你的客户、竞争对手(他们坚持自己的产品更优秀)或你内部的设计和开发团队中。
在你开始构思时,你需要将这个答案以及客户的主要问题始终放在脑海中,这样你才能保持以客户为中心,专注于你的信息传达。在你构建初始版本的产品时,始终要问 AI 是如何帮助你解决客户最令人沮丧和最关键的需求的。作为 PM,你是公司内一个充满活力的推动力。这意味着,你设计和构建一个适用于所有人的解决方案的工作,也是在激励你的领导团队。保持专注于为什么是 AI,以及你服务的客户的主要问题,意味着你也在帮助你的领导团队保持专注。
将你的领导团队、市场推广(GTM)营销/商务开发/销售团队以及开发团队与客户和你带来的 AI 解决方案保持一致,意味着你在帮助整个利益相关方团队专注于你的主要目标,那就是构建一个最佳满足市场需求的 AI 产品。这看起来是一个显而易见的观点,但正如许多 PM 所知道的那样,一旦你开始处理日常的产品构建和演进工作,随着各个迭代的推进,失去对主要目标的关注比看起来要容易得多。AI PM 需要具备许多专业技能,因此当你深入设计、选择 AI 算法等工作时,保持这一焦点尤为重要。
构建你的 AI 产品策略
一旦你完成了设计一个解决客户和市场主要痛点的产品,并且希望通过 AI 来解决这些问题,你就可以开始制定整体的产品战略了。显然,你的产品 MVP(最小可行产品)会从某个地方开始,但之后,需要有一个目标,指引你的产品愿景不断发展。记得 Gartner 魔力象限中的“愿景完整性”是其中的一个 x 轴吗?之所以如此,是因为一个可触及的市场具有多样化的需求,且这些需求的复杂度各不相同。你的产品 MVP 只会解决其中的一小部分需求。你的领导层和公司目标很可能并不是解决市场上所有的需求,但你需要与领导团队合作,定义你打算为整个市场做什么,因为这将直接影响到你的产品战略。
记住,建立产品战略是 PM 的责任,但制定公司目标则是领导层的职责,因此,从很多方面来看,你可以将领导团队视为为你提供关键输出(公司目标)的人,帮助你建立一个与公司业务目标对齐的强大产品战略、愿景和路线图。一旦你能将这些总体的公司目标转化为产品愿景、战略和路线图,你就能够与开发团队沟通,开始实际构建产品的工作,这将导致一个所有相关方都能自豪的 MVP,满足公司通过产品进入市场所需的最小解决方案。
为了制定一个能够与市场共同成长的产品战略和愿景,你需要观察市场是如何变化的,并尽可能全面地了解市场的未来走向。每天都会有大量关于特定行业和领域趋势的文章发布。作为一名 AI PM,你更需要保持对这些文章的关注,以便清晰了解你的市场是如何变化和发展的。许多你的内部利益相关者,以及客户,将会向你寻求关于公司或产品组合如何随着市场的变化而发展的思路领导和沟通。保持对这些市场趋势的关注,特别是它们与 AI 战略的对齐情况,对于你在这个充满变化和不可预测的世界中,负责任地不断完善你的产品战略是至关重要的。
现在,特定领域的竞争者可以有数百家甚至上千家。尤其是现在,许多初创公司可以首先爆发并远程工作,我们看到越来越多的公司进入几乎所有领域。作为 AI 产品经理,能够以客户能够理解的技术语言或术语向他们传达你公司的产品,并展示为什么你的产品通过 AI 是最佳选择,将是你的挑战和机会。
虽然我们将在本章继续讨论一些常见的应用案例,但在完成这一部分之前,我们确实想强调一个重要的观点:AI 是极其可定制的。其基本构建块是数据,而你选择如何利用这些数据,实际上决定了 AI 所拥有的力量。如果你是一个充满热情、才华横溢的 AI 产品经理,并且你热衷于通过你正在帮助构建的创新产品解决客户的重大问题,那么你可以构建一些高度可定制的产品,来满足客户的具体需求。
这就是下一个十年将展示给我们的内容,随着我们展望在特定领域中完美应用 AI 的新方式。如果目前还没有一个完美的解决方案,看看你能否自己构思出来。如果你能够成功实现,你所在的领域将会奖励你思想领导力的自豪感、不断增长的客户名单,以及你能够在这片荒野中锻造出一些值得纪念的东西的知识。许多人仍然将应用 AI 视为“荒野西部”,因为我们许多技术人员知道,到 2030 年,我们将回顾一些令人惊叹的 AI 突破和应用案例,而这些我们现在甚至还没想到过。保持这种好奇心和创造力的精神,在这样一个新兴领域中非常重要。
对于许多 AI 产品经理来说,你可能已经在你的领域中建立了一定的熟悉度和信誉。通过为你的公司、组织或行业带来一些新颖的东西,你有可能在你选择的领域中树立起声誉。AI 为此提供了一种途径,但再次强调,你首先必须有一个清晰的答案,明确为什么要使用 AI,而不仅仅是市场营销的花言巧语,这样你才能在竞争中脱颖而出。确保你理解市场需求,了解你的产品将如何具体解决这些需求,并构建和传达一个产品战略,将这些内容整合成一个前进的方向,将是确保 AI 在你选择的领域正确定位的绝佳方式。
这一点是无关领域的,无论你处于哪个领域。某些领域在 AI 采用方面会更为先进,这将使得作为 AI 产品经理的你在工作中既会遇到更多的困难,也会有更多的机会,因为 AI 的每个发展阶段都有其独特的挑战和机会,但无论如何,过程是相同的。如果你所在的领域在 AI 采用方面更为先进,你会更关心竞争对手在解决特定需求时使用了哪些 AI 功能,并决定是否在产品战略中采纳这些方向。如果你所在的领域相对落后,你则需要从其他行业寻找 AI 采用的灵感,并且在市场上用自己的产品制造更引人注目的效果。
无论如何,当你能够将所学应用到能够为你的领域提供当前缺失的东西时,你将能够成功打入市场。作为 AI 产品经理,你不需要成为 AI 各个领域的专家,但你需要对你的市场、AI 能力、战略和算法有足够的了解,以便最好地服务于你所试图应用 AI 的具体场景。
一旦你能看到这一领域的进展,你就需要确保市场收到你产品到达的消息。无论是通过你的客户、会议和贸易展览、广告、营销信息,还是你自己进行的宣传工作,你的目标是确保你的领域看到你,因为你已经准备好传播关于你所在领域中的问题的信息,并且为什么你的 AI 产品最适合解决这些问题!
现在我们已经花了一些时间来了解如何将产品定位到市场,以及构建一个能够服务于你所吸引客户的 AI 战略的考虑因素,我们可以看看 AI 的一些最受欢迎的垂直领域。每个垂直领域都会有一系列我们反复看到的热门应用案例,这些案例能够揭示出 AI 在某些垂直领域所能带来的巨大益处。
垂直领域——对四个领域(金融科技、医疗健康、消费品和网络安全)的考察
在前一部分中,我们讨论了如何理解 AI 在你所选择的领域中的定位。在本节中,我们将着眼于四个特定的垂直领域——即 金融科技、医疗健康、消费品 和 网络安全——这些领域已经看到 AI 采用的增加,旨在通过这些例子展示 AI 发展的主要趋势。了解这些垂直领域如何以及为何采用 AI,可以为我们提供有前景的例子,帮助我们在其他领域应用 AI。让我们一起探索 AI 在这四个垂直领域的应用。
金融科技
或许最迅速且最具实质性影响的 AI 转型发生在金融科技领域,这也不足为奇。将 AI 应用于特定的使用场景,如果操作得当,能够带来可观的节省或创造收入。根据 UnivDatos Market Insights 的最新报告,“金融科技领域的 AI 市场预计将以约 30%的稳定增长率增长,这得益于对欺诈检测、虚拟助手以及便捷交易和快速即时查询解决方案的日益需求。”
让我们来看看一些在金融科技领域具有吸引力的 AI 应用案例,这些案例促成了 AI 的快速普及。
聊天机器人
聊天机器人或对话式 AI利用自然语言处理(NLP)来处理更多的客户服务工作,方法是通过所谓的情感分析。NLP 由两个组件组成——自然语言生成和自然语言理解(分别为NLG和NLU)——这些语言模型被用来找出最终用户所询问内容的模式,从而帮助构建集中式知识库、常见问题页面,或者帮助公司更好地了解客户及其需求。在机器学习(ML)和深度学习处理数据点的同时,在 NLP 中,数据点就是单词本身,优化的重点是这些单词的排列和组合。
金融科技领域的玩家能够利用聊天机器人来优化其他方面的工作,例如通过金融科技应用收集客户反馈、流程自动化和减少等待时间。聊天机器人还非常适合捕捉代际情绪,例如不想接听电话,这种需求在年轻一代中越来越受到重视,因为他们更倾向于通过数字方式与品牌互动。例如,美国银行的 Erica 聊天机器人已经吸引了 100 万用户,并计划增加其 AI 功能,因为 Erica 在用户中的可及性非常高。在金融科技以外,聊天机器人也常用于呼叫中心和客户服务部门。
欺诈检测
这一点尤其重要,特别是因为许多金融机构在账户发生欺诈活动时面临风险。因此,AI 在金融科技领域的一大主要应用就是更高效地发现欺诈行为。在这一应用中,AI 被用于账户的异常检测,当发现某项活动超出了现有客户行为模式时,银行和其他金融机构可以更快速地收到警报。这也被用来识别洗钱和其他非法活动。
欺诈检测作为一个使用案例,并不像构建聊天机器人那样简单,因为可能有多个层次的人工智能工具共同协作来实现这一目标。它更可能是多个因素的结合。首先,一些版本的持续数据挖掘正在发挥作用,以发现客户数据中是否存在显而易见、易于检测的模式。其次,可能还有基于规则的系统,用于在扫描数据并寻找异常时进行挖掘。除此之外,可能还使用无监督的机器学习模型,寻找数据挖掘之外的模式,并将活动分组为簇,供后续分析,此外,通常还会使用神经网络来从已建立的可疑模式中学习,这些模式最终被证明是欺诈行为。
由于现在网络安全领域的复杂程度,欺诈可能来自多个来源。欺诈可能来自客户本人、冒充客户的人、对立的机器人攻击、网络钓鱼攻击以及其他诈骗行为。金融科技机构需要通过多层次的人工智能帮助,找到应对这些潜在网络犯罪的方法。建立这样的深入操作虽然昂贵,但与每年金融科技因欺诈损失的 5100 万美元相比,这样的成本微不足道。关于欺诈检测,它还具有时间性的特点,因此金融科技通常在寻找已发生的欺诈、发生中的欺诈以及在欺诈发生之前发现并阻止它。
算法交易与预测分析
人工智能在快速交易速度和提高准确性方面非常有帮助,这对于与高频交易(HFT)等竞争至关重要。机器学习模型被用来更快速地预测市场动向,帮助算法做出投标、预测一天中最佳的交易时机,并利用历史数据进行预测模型,了解价格何时可能上涨。除了主要动机是为客户做出更好的、更有利的交易外,另一个推动这一人工智能应用案例普及的重要因素是,算法交易还帮助减少情绪化或心理压力大的交易员的错误,从而限制交易波动性。
尽管算法交易依赖一组指令来执行决策,并且有很多解决方案正是做这件事,但支撑其背后的技术是基于预测分析。金融科技公司能够处理大量数据,并且它们如此致力于改善自己的机器学习模型,以至于即使是精度或准确度的小幅提升,也可能节省数百万美元的收入或最大化利润。无论是一个寻求转化潜在客户的初创公司,还是一个根据信用评分提供贷款的银行,金融科技都在利用预测分析,不断从新的和历史的数据中学习,以驱动大多数决策,从而知道一个潜在客户的交易在长期来看对他们的价值有多大。
医疗保健
我们时常听到大多数医院和医疗网络都面临着人员短缺的问题,医疗保健也是一个理所当然的领域,热情拥抱 AI 的能力和帮助。除了人员短缺问题,人工智能还帮助解决了完美的最大障碍之一:人为错误。由于对人员的需求增加,以及许多医疗活动都涉及生死攸关的紧急情况,人工智能在医疗领域中已经成为对抗一些最重要问题的有力竞争者。我们已经看到人工智能以各种有益的方式应用,从图像识别和诊断到药物发现。
成像与诊断
有监督和无监督的机器学习模型被用来识别、分组和定位医学图像,以便更好地理解,例如,图像中哪些细胞可能是癌变且危险的。此外,由于医疗记录的数字化,存在大量需要分析和学习的数据。以 MRI、CT 扫描、心电图和超声波图像为形式的海量数据可以被批量分析。人工智能能够帮助理解这些现有的图像,并从随着人们继续进行医疗活动而生成的新图形和图像中学习。它获得的样本越多,越能有效检测出异常。随着时间的推移,我们应该会看到模型进一步优化,最终大多数诊断将来自于 AI 辅助的医生。
由于大量数据被分析,并且这些模型的应用场景极为专业化,算法正在不断精细化,以提高准确性和速度。这意味着像IBM Watson Health这样的人工智能应用越来越多地参与到帮助患者进行诊断的过程当中。当我们考虑到诊断和治疗应用的崛起时,这一点尤其成立。现在的相机已经能够非常精准地捕捉到人眼无法察觉的小瑕疵和异常情况,因此,随着医生和患者继续使用这些应用辅助他们共同前行,并且随着数据的进一步收集和集中化,我们预计在未来将会看到更为准确的诊断结果。
药物发现与研究
药物发现与研究历来被认为是耗时且耗能的过程。过去可能需要数年甚至数十年的过程,今天借助人工智能可以大大加快速度。我们都见证了人工智能在应对 COVID-19 疫情中的应用,加速了疫苗的研发。根据国家医学图书馆的资料,“人工智能在识别疾病聚集、监控病例、预测未来疫情爆发、死亡风险、COVID-19 诊断、资源分配进行的疾病管理、培训促进、记录维护以及对 疾病趋势的模式识别”方面取得了成功应用。
莫德纳公司的首席数据与人工智能官为我们提供了在药物发现与研究阶段应用人工智能的最佳见解。他详细描述了在药物发现的多个领域使用算法的过程,强调了这一过程有无数个步骤,推出一款市场产品的过程极其复杂,途中有许多机会。即使在一个特定的应用场景中,也很少只使用一种人工智能算法。通常是,“对于这个问题的部分,我们需要使用这个算法,而对于那个部分,我们则需要使用另一个算法。”
网络安全
网络犯罪不断增加,网络安全也因此成为我们最常看到的人工智能/机器学习应用领域之一,这主要是因为网络犯罪分子的持续存在和日益复杂的手段。网络安全的性质在不断变化,这意味着随着时间的推移,企业需要与潜在的对手保持同步。我们似乎每天都会听到新的数据泄露事件,或许最令人担忧的部分是那些你没有听说过的攻击事件。
在接下来的部分,我们将讨论两个在网络安全中常见的应用场景:异常检测和用户与实体行为 分析(UEBA)。
异常检测和用户与实体行为分析
发现模式和这些模式中的变化是异常检测的核心。在网络安全中,建立基准并偏离该基准是异常检测用例的关键。一旦出现异常并且系统需要采取行动时,我们就可以朝着解决问题的方向前进。通常,网络攻击来自内部网络,并且有巧妙的方式来隐藏其痕迹,但通过用于异常检测的先进模式识别技术,AI 系统能够发现某个行为者/用户的行为不符合正常用户的模式。
当我们讨论了各种垂直领域的用例后,你可能会看到自己的一些模式在技术应用方面开始浮现。这些概括性的用例之一体现在 UEBA 中,它在很多方面是我们讨论过的许多用例的潜在基础。作为一名 AI 产品经理,如果你能理解 UEBA 的威力,并知道如何在你的产品及其以外的领域应用它,将会非常有帮助,尤其是在你进入逐步构建更强大功能的运营阶段时。
你可以将 UEBA 视为一个由每日汇总所有用户的行为和由这些行为生成的随之而来的数据所构成的洞察网络。一旦所有这些数据集中并分析后,它能够通过为你提供一个基准,不仅是单个用户的基准,而且是所有用户的基准,来为你提供深刻的洞察。这使得发现异常或新模式变得更容易,无论变化是什么,因为你可以建立触发器或行动,当发生需要关注的事情时,提醒用户或内部员工。
现如今,公司需要比以往更加警觉,但许多公司没有足够的员工或预算来真正应对这种潜在风险,这也是安全漏洞不断发生的原因之一。这也是网络安全迅速采纳人工智能的一个重要原因:它正好适合这种需求。当用例常常缺乏资金和人员时,人工智能就有机会被采纳并发挥真正的作用。
价值指标 – 评估各垂直领域和同行群体的表现
无论你的人工智能产品在哪个领域、垂直领域或同行群体中,你都需要建立一种方式来通过价值(商业)指标、关键绩效指标(KPI)和目标与关键成果(OKR)的组合来传达产品的成功,同时还可能需要一些技术指标,以便在向技术观众传达产品的有效性和成功时使用。正如任何事情一样,如果我们不能建立基准并看到自己从该基准中成长,我们就无法知道我们的表现是否在改善(如果有改善,是改善了多少),除非我们进行跟踪。
在接下来的部分中,我们将探讨各种我们开始收集的关于产品效果的度量标准。对于 AI 产品,决定你将跟踪哪些指标、如何讨论它们、以及你将为哪些受众定制特定指标,将是你产品战略和营销的重要部分。
目标与关键结果
当你为你的 AI 产品定义成功时,你需要从技术和业务层面设置一些 OKR(目标与关键结果),以便跟踪你的 AI 产品如何朝着你希望看到的表现发展。OKR 在产品管理中被广泛使用,用来跟踪向更高层次商业目标的进展。你可以从选择两个或三个目标开始,并为每个目标设置三到五个关键结果。
这样做的目的是为了展示哪些直接结果正在影响你产品可能需要完成的更大商业目标。假设你正在支持一个 AI 网络安全产品。一个例子可能是,你希望通过一系列关键结果来减少你产品所实现的欺诈检测算法的假阴性数量,从而朝着这个目标前进。
你需要将这些 OKR 设置为季度目标,并经常参考它们,因为这些将是你在每次发布过程中最关注的重点。新 OKR 的建立将出现在你的产品规划会议中,并会受到你规划的功能、客户、客户成功与市场反馈以及领导层不断变化的目标的影响,从而确保你的产品目标能够与你已经建立的反馈循环相对接,确保你正在构建对你的领域和市场有价值的产品。
关键绩效指标
KPI 通常是更广泛使用的,而且随着时间的推移,随着新的重要指标的发现,KPI 也往往会增长。一些最常见的 KPI 与衡量客户或员工满意度、衡量时间或准确性、计算购买成本效益或投资回报率、或制定与公司目标对齐的度量标准有关。KPI 还有不同的类别,从战略性到运营性,再到功能性,这意味着它们可能影响整个公司的业务,或者是与公司各个部门特定时间段的运营高层指标相关。
如果你在商业领域工作了一段时间,你可能在许多不同的背景下听说过 KPI(关键绩效指标)或价值度量,但在本节中,我们将特别介绍一些常见的 KPI,它们可能会在你决定如何最好地跟踪和传达你的 AI 产品的成功时对你有所帮助。
无论你是在业务中独立运行 AI 程序,还是作为 AI 产品功能的一部分运行 AI 程序,以下 KPI 将帮助维护你的 AI 基础设施的健康和进展。了解以下指标将有助于传达 AI 活动的成功,这是AI 运维 (AIOps)的常见部分。
-
平均检测时间 (MTTD):计算产品识别潜在问题的平均时间。你需要展示这一指标随着时间的推移在减少。
-
平均响应时间 (MTTA):计算确认问题并确定解决者的平均时间。你需要展示这一指标随着时间的推移在减少。
-
平均修复时间 (MTTR):计算解决问题所需的平均时间。你需要展示这一指标随着时间的推移在减少。
-
平均故障间隔时间 (MTBF):计算故障之间的平均时间,以了解 AI 程序在理想状态下的工作时间。你需要展示这一指标随着时间的推移在增长。
-
故障单与事件比率:认识到一个事件可能会产生多个故障单,因此这一指标旨在最小化因单一问题而由客户创建的故障单或日志数量。你需要展示这一指标随着时间的推移在减少。
-
服务可用性:AI 程序正常运行的时间。你需要展示这一指标随着时间的推移在增长。
-
自动化与手动解决比率:本质上是标记响应是手动还是自动的,以便你的机器学习程序能够优化未来的策略并从过去的修复中学习。你需要展示这一指标随着时间的推移在增长。
-
用户报告与自动检测比率:这是客户报告问题与产品自身检测问题的比率。你需要展示这一指标随着时间的推移在减少。
技术指标
以下列表包含了一些常用的技术 KPI,用于传达机器学习模型的准确性:
-
分类准确率 (精度或特异性,召回率或敏感性,F1 分数):有许多公式尝试推导模型正确的频率,可能是通过真阳性与假阳性率、真阴性与假阴性率,或两者的某种组合(即 F1 分数)。
-
均方根误差 (RMSE):回归模型的平均误差率的平方根
-
平均绝对误差 (MAE):误差的平均值
还有很多其他指标你可能想要跟踪。也许你会有与你的数据源的数量、可用性相关的指标分类,或者你可能想以某种方式量化或评估你的 AI/ML 组织的实力或韧性,或者有与产品营销输出或模型可用性相关的指标。也许你会有超越用户的采纳指标,以了解某些团队是如何在内部使用你的产品的。定义商业目标是一个高度选择性和定制化的活动,首先应当服务于你企业的最高理想:最好的服务客户和市场。
思想领导力——从同行小组中学习
在本章开始时,我们讨论了在你的领域内建立基础并尽可能多地理解领域内具体痛点的理念,目的是打造一款能在未来多年服务该领域的 AI 产品。构建一款运作良好、符合客户需求并采用现代技术的产品,是建立起必要的信誉的快速方式,从而将思想领导力传播到你的领域。
你可能选择在你的领域担任领导角色,以便在行业内定位为领导者。在所有知识中心、白皮书和产品简报层出不穷的情况下,很多公司选择承担行业思想领袖的角色,原因有很多。也许是为了营销、吸引潜在客户、荣誉,或只是因为他们慷慨分享他们的知识和成功。
选择你希望在公司决策和重大障碍方面保持多大程度的开放与透明,将由你和你的领导团队来决定。你是选择成为你所在领域其他同行的榜样吗?还是选择保持沉默,守护你的算法秘密、脏衣服和成功故事,不为人知?公司间不断相互学习,而作为行业中的真正思想领袖,可能会带来财务和设计上的成本,如果你不小心泄露了太多信息的话。就像所有具有风险的心灵冒险一样,有时候我们需要开放自己,去接受伴随透明度而来的各种馈赠。
正如我们多次提到的,当前这一阶段的应用 AI 产品仍然处于初期阶段。我们尚未了解未来的应用场景,这些场景将帮助公司实现最大的增长和成功。创新精神和技术进步通过榜样来滋养。每一个应用场景和实践例子都有能力激励我们去发现新的应用场景。AI 的新颖性带来了一种对可能性充满兴奋感的氛围。
特别是在如今许多人对 AI 是否能并且应该解决我们所有重大问题感到忧虑的时候,也许正是公司、产品经理、技术人员和企业家应当展现出这种合作精神。AI 产品将科学、数据、技术和人文结合起来,已经展现出了巨大的潜力。如果你选择分享在你的经验中直接或间接出现的案例,那么随之而来的收获不仅会惠及你或你的组织,而是会造福我们所有人。
摘要
本章的内容重点是市场、定位和 AI/ML 产品的常见应用案例。我们已经能够看到 AI 如何针对特定领域和市场进行优化,以及 AI 如何在多个高度饱和 AI 产品的垂直行业中广泛应用。通过这些应用案例,我们能够看到公司如何利用 AI 充分挖掘他们所拥有的数据。作为 AI/ML 产品经理,你不会在一个封闭的环境中构建你的 AI 原生产品。你将定期研究你的市场和竞争对手,确保你所提供的 AI 应用案例能够真正将你与其他人区分开来。
在第九章中,我们将通过深入了解 AI 技术的全貌和具体功能,进一步探讨 AI 产品的应用案例。我们将有机会看到各种类型的 AI 如何协同构建,并看到成功实现这一目标的产品实例。我们还将讨论一些常见的挑战,这些挑战曾影响产品的成功,并且分析在事情失败时的一些共同因素。
参考文献
-
AI 与 COVID-19 疫苗:Moderna 的 Dave Johnson
sloanreview.mit.edu/audio/ai-and-the-covid-19-vaccine-modernas-dave-johnson/
-
人工智能在应对 COVID-19 中的作用
www.ncbi.nlm.nih.gov/pmc/articles/PMC7692869/
-
Merative
www.ibm.com/watson-health
-
金融科技高管揭示 欺诈的真正成本
www.pymnts.com/money-mobility/2022/fintech-execs-expose-the-real-costs-of-fraud/
-
现在有一百万人在使用 Erica——美国银行的 AI 驱动 聊天机器人
netfinance.wbresearch.com/blog/bank-of-america-ai-powered-chatbot-strategy
-
金融科技市场中的人工智能(AI)预计到 2028 年将呈现稳定增长,因为金融机构对流程自动化的需求不断增加 |年均增长率:~30%| UnivDatos 市场 洞察
www.yahoo.com/now/artificial-intelligence-ai-fintech-market-143000099.html?guce_referrer=aHR0cHM6Ly93d3cuZ29vZ2xlLmNvbS8&guce_referrer_sig=AQAAAIa4n2Vt4bMuwrpKI6BWtwyr6Xa0kjjl1XMLqnCLcCuxa3ti_1t5pj3wNNZAbYRvBVpa1mzptsnLfeiFKUu_CoyFEiDihfPPoRh1vPY0d44aGe-t-YuEiR2YAgB_1mqn3O-ofRU1l6vh5EJus9ddy6RKgR-hlQq2U5_Fo7rlAsf9&guccounter=2#:~:text=Advertisement-,The%20AI%20in%20Fintech%20Market%20is%20expected%20to%20grow%20at,quick%20and%20instant%20query%20solutions
-
Gartner 魔力 象限
www.gartner.co.uk/en/methodologies/magic-quadrants-research
第九章:宏观与微观 AI 在您的产品中的应用
AI 这一术语通常作为一个总括性术语,用来表示机器——无论是物理机器还是虚拟机器——模仿人类思考、工作、说话、表达或理解的方式。这是一个非常庞大的概念,用一个术语很难概括。它不仅涵盖了模型和应用场景的多样性,还涉及到这些模型和应用场景的实现方式。本章将作为一个方便的回顾,帮助您了解产品可以吸收的各种类型的 AI,在您开始探索如何利用 AI 的各种方式时,以及一些最成功的示例和产品经理在构建 AI 产品时可能遇到的常见错误。
需要注意的是,AI 的应用经历了多次迭代,并且在未来的十年中还将继续发展,但我们很难低估这一技术浪潮对于产品经理和企业的意义。这是一次重要的创新浪潮,且没有任何退潮的迹象。清晰地了解前方的选项将有助于打造能够为市场提供自明价值的产品。
虽然我们已经讨论了与各种机器学习(ML)和深度学习(DL)模型的复杂性和互动类型,但本章将涵盖人工智能(AI)这一更广泛范畴,为您提供一个宏观的综合示例,帮助您理解 AI 的本质以及它如何为产品创造者和用户带来最大价值。在宏观 AI – 基础与框架部分,我们将了解 AI 如何以一种高层次的方式帮助产品更加高效地运行,并随着时间的推移不断演进。在微观 AI – 功能层面部分,我们将介绍 AI 在功能层面的一些常见、可接触的应用。接着,我们将通过成功与挑战部分指出一些应用 AI 的案例,展示前两部分的概念。
任何产品经理(PM)都知道,正如我们在第八章中讨论的,要理解他们的产品成功所需的要素,不仅需要自身的领域知识,还需要了解他们所在领域的竞争对手为市场提供的产品。我们希望本章能弥补的第三个部分是,帮助您理解 AI 采用的基本面貌,以便您可以将这一基础知识调整到自己的领域,从而在产品的设计、推广和性能上找到成功的道路。正是在领域知识和 AI 基础理解之间,存在着一道分界线。我们希望赋予您能力,使您能够以一种可接触且令人兴奋的方式,将这些通用概念应用到您的特定领域。
为了实现我们在此设定的目标,本章将涵盖以下主题:
-
宏观 AI – 基础与框架
-
微观 AI – 功能层面
-
成功案例 – 激发灵感的示例
-
挑战 – 常见的陷阱
宏观 AI – 基础与框架
到目前为止,我们在前几章中讨论了很多关于机器学习(ML)和深度学习(DL)模型的内容。这是有意为之,因为大多数时候,当我们通过各种产品看到人工智能的广告时,这就是背后使用的技术——在大多数情况下,都是机器学习或深度学习算法在驱动我们讨论的产品。但正如你在前几章中看到的,人工智能是一个非常宽泛的术语,它实际上意味着不仅仅是使用了机器学习或深度学习模型。
在人工智能中,有许多重要的领域并不涉及机器学习或深度学习。我们虽然简单提到过其他领域,但并未深入探讨它们对人工智能格局的影响和贡献。从实际角度来看,专注于机器学习和深度学习是有意义的,因为这为人工智能技术人员、企业家和产品经理提供了最佳机会,将他们的人工智能产品推向投资者和用户,但这也在我们更广泛的人工智能选择中留下了空白。同样,理解随着人工智能在未来几年和几十年内的普及与发展,人工智能领域可能会出现新的领域,这些领域可能会比机器学习或深度学习表现得更好,许多业内的声音也表达了这种观点。
目前,以下是人工智能各个分类的宏观概览。由于本书的大部分内容集中在机器学习和深度学习上,我们希望提供一个全面的视角,涵盖当前所有的人工智能领域。随着本节内容的推进,我们将逐一讨论每个人工智能领域,帮助你拓宽对构建人工智能产品时的其他选择的理解:
https://github.com/OpenDocCN/freelearn-dl-pt7-zh/raw/master/docs/ai-prod-mgr-hb/img/B18935_9_01.jpg
图 9.1 – 人工智能的分类
所以,让我们深入探讨人工智能的这些不同领域,并提供一个全面的概述,讲解每个领域的内容、它们为产品和用户提供的价值,以及它们如何影响更广泛的市场!我们将在本节结束时讨论人工智能未来可能会出现的新领域,预览人工智能的未来发展,然后再进入下一节的微型人工智能 - 特性 层级部分,讨论这些领域在更实际的层面上的应用与实施。
机器学习(ML)
机器学习(ML)是一个通用概念,它为我们提供了基本的思维和组织能力,使机器能够以类似人类的方式处理数据并进行推理。你可以将其看作是机器模仿人类思考、理解和工作的方式。它主导了市场,并且作为一种伞形术语,涵盖了我们所说的传统机器学习模型,以及它们的专业化领域,如计算机视觉、自然语言处理(NLP)和深度学习(DL),这些都可以视为机器学习的进一步子集。
我们已经在本书的第二章和第三章中讨论了机器学习中使用的具体模型和算法,因此在这里我们不会详细讨论这些内容,但可以简要地说,这里是机器学习中不同类型学习的主要分类。为了提醒你,这些学习类型包括监督学习、无监督学习、强化学习和深度学习(神经网络)。所有这些学习类型都可以以通用的方式应用,无论是结合在一起还是单独使用,都可以组成一个机器学习网络,形成所谓的集成建模。
一般来说,你会经常看到术语AI的使用,这是因为现在市场上存在的困惑和模糊性。在许多情况下,公司选择使用它,是因为他们的受众可能已经能够理解更具体的内容,或者是因为他们不想让你知道他们实际在产品中采用了哪些方法。这种情况将会开始发生变化,但目前来看,这可能是由于 AI 在市场采纳中仍然较新,最终用户仍不清楚该如何称呼这些基础技术。随着 AI 的广泛应用,我们也会开始看到更多关于产品使用何种 AI 的清晰描述。
即使是机器学习(ML)也许都是一个过于宽泛的描述。我们甚至可能看到AI或ML这个术语完全消失,取而代之的是对技术的更准确描述。如果你不确定什么算是机器学习,什么不是,拆解这些术语本身可能会比较方便。机器学习假设机器或模型是通过从过去的示例中进行训练来学习的。这种基于过去的学习和适应,并不是一种明确编程的行为。让我们进一步探讨机器学习的各种学习方法。
在监督学习中,我们人类给机器提供了一些线索,告诉它们数据点的含义。简单来说,我们给数据打上标签,让机器能够理解。但是,进行模式识别和优化以预测未来值——假设是这样——并不是我们告诉机器去做的事情。在无监督学习中,我们并没有给机器任何关于数据含义的指示,也没有告诉它们预测是否正确。因此,在无监督学习中,机器不仅是得出自己的结论,而是根据我们完全没有提供的输入,自己组装看到的模式。它们正在学习并根据自己发现的模式得出洞察。在强化学习中,我们做的是两者的结合,因此当机器表现良好时,我们会提供一个作弊代码,让它们能够再次重现这种良好表现,从而加强它们的学习。最后,在神经网络中,我们让机器的隐藏层去推导意义;它完全依赖于自己的能力。
需要记住的机器学习的最后一个重要方面是,数据是影响其成功的主要输入。与接下来提到的其他人工智能领域不同,机器学习依赖于其输入数据的数量和质量来决定其成功与性能。虽然现在有一些创新正在努力将机器学习发展为更不依赖数据的技术,但我们仍未达到这一目标。机器学习仍然需要大量的数据,这些数据需要被存储、使用和学习,才能展现其价值。它在模型层面上进行的基础智能工作是基于数学原理的,所以它尝试理解并纠正其偏差,即使是渐进式的修正,以便在每一次学习的过程中做出更准确的预测。
计算机视觉
计算机视觉是驱动从农业和气候变化追踪到自动驾驶汽车、面部识别与监控、医疗成像和制造业等领域的核心技术。简单来说,它是图像和动态视频的机器学习。就像我们在上一节讨论的那样,它是通过示例学习的,其模型也以相同的方式优化,但面向视觉内容。虽然机器学习(ML)这一总括术语是用来识别、理解和预测文字与数字的,计算机视觉则是在视觉数据方面做同样的事。我们仍然认为这属于机器学习,因为计算机视觉模型仍然基于之前示例中的机器学习基本原理,通过优化纠正自己的错误来不断改进。
也许计算机视觉最有趣的地方在于,它本质上是利用数学基础将图像拆分成机器能够理解的内容:一个数字矩阵。然后,在某些情况下,它会从这种分解中学习,以便将其重新组装成一张新的图像。计算机视觉模型会寻找识别物体和图像的方法,并根据诸如边缘、框架、纹理和三维形状等不同因素,翻译图像,以区分静态物体和动态物体。它们还尝试理解随着时间推移的运动过程。
计算机视觉是机器如何“看”的一种翻译,但更准确的描述是,它以模仿我们视觉方式的方式来处理数据。它将人眼能够理解的数据转化为机器可以理解的数据,而且它能够比我们人类更快地完成这一过程。如果你对此有所怀疑,可以看看人类与自动驾驶汽车的碰撞记录。
自然语言处理
如果计算机视觉是机器如何“看”,那么自然语言处理(NLP)就是机器如何“听”和“说”。它是机器处理人类语言及其相关细节的过程。自然语言处理广泛应用于翻译、语音转文本和语音识别等领域。它在与人类语言相关的产品中占主导地位,如个人助理、对话式人工智能、聊天机器人等,并且随着这些市场的持续增长,它已成为人工智能领域的一个重要分支。
自然语言处理(NLP)由两个部分组成:自然语言理解(NLU)和自然语言生成(NLG),因此整个系统统称为自然语言处理。但请记住,这两个主要组件各自拥有自己的专业领域。机器需要完全理解所要求的内容,才能生成回应。考虑到像 OpenAI 的 GPT-3 和 GPT-4、Google 的 BERT 以及 IBM Watson 等大规模语言模型的流行,自然语言处理的应用和依赖度只会不断增长。
当你考虑到全球存在的所有语言以及人们表达思想和说话方式的差异时,自然语言处理无疑是一项巨大的创新。它不仅仅是关于人们选择使用的单词及其中固有的多样性,还涉及到他们选择的词语的语速、语调和口音——说话者的情绪、发音的清晰度、说话的快慢等等。语言世界中充满了细微的差别,而自然语言处理的进展已证明能够克服这些细节差异。它们并不完美,我们在与个人助手沟通时有时需要重复某些内容,但这些情况正变得越来越少,因为我们与它们互动得越多,它们就越能预判并理解我们的询问,并提供有见地且准确的回应。
深度学习
最后,深度学习是我们在本书中已经深入讨论的一个子集,它依赖神经网络来得出洞察和预测。你可能经常在本书中看到黑箱模型这个术语,这提醒你很可能是深度学习模型在发挥作用,因为隐藏层是不可见的结构,程序员无法看清深度学习神经网络中的这些层。之所以如此,是因为在每个隐藏层中都有节点做出计算决策,而这些决策几乎是同时发生的,所以问题并不在于不愿意为模型提供透明度,而是根本无法做到这一点。
考虑到缺乏透明度是使用深度学习(DL)模型的主要问题之一,尤其是在需要可解释性的应用中,看到深度学习模型在能够以更透明的方式应用方面的进展,将是深度学习的一大胜利。当前深度学习在市场上的应用主要是在没有强烈需求可解释性的情况下得以蓬勃发展,因为此时负面下游影响被最小化,或者因为优秀的表现本身就是使用它们的充分理由。因此,如果你的产品使用深度学习,而且这种透明度缺失并没有影响到你的任何客户、用户或自身的声誉,你可以继续进行下去。对于那些希望得到深度学习性能,但在透明度降低之前无法推进的用户,你们可能需要等待模型追赶上自己的步伐。或许有一天,它们会自己解释!
尽管有命名约定、可解释性和模型的神经网络特性,DL 仍然属于 ML,因为这些模型依然是在从过去的示例中学习,仍然在优化和预测未来的值,并且通过与这些预测进行对比,检查它们有多么正确,以便以后能模仿出相同的表现,它们依然遵循我们之前讨论过的学习类型。仍然存在监督学习、无监督学习、半监督学习和强化学习神经网络。它们依然是在数据中寻找模式,并且通过每次新训练,从过去的示例中不断学习。
ML 和 DL 的主要区别在于 DL 所需的数据量。使用传统的 ML 时,可能仅仅需要几百、几千,甚至几十万的数据点,但对于 DL 来说,即便是这些数量也可能不够。我们不想给出具体的数字,因为所需数据量总是取决于你使用的模型、你要做的事情以及数据集在示例多样性方面的差异。数据越多样化,你为模型提供的理解机会就越多,模型的优化也会朝着成功和高性能的方向发展。DL 对于数据的需求是很多希望将神经网络应用到产品中的人的另一道门槛。即使性能非常高,他们也可能没有足够的数据来支撑,当前的研究也在致力于减少 DL 模型对数据的依赖。
机器人学
如果将 AI 视为机器模仿人类如何工作和得出结论的总称,那么在机器人学中,这一点可能最为显著,因为机器人试图物理地重现人类的工作。机器人这个词本身就是一个涵盖很多细微差别的通用词汇,就像AI这个词一样。ML 之所以被认为如此强大,是因为机器能够从过去的行动和行为中学习。从这个意义上讲,或许它们比驱动机器人技术的底层技术更为先进,但我们认为不应该将机器人学排除在 AI 之外,因为如果一个机器人能做饭、制造汽车零件或协助外科手术,那么它足够智能,可以被视为 AI 的一部分。
该领域创新的核心还将来自于将机器学习与机器人技术相结合,以便它能够从过去的经验中学习。在第三章中,我们简要提到了波士顿动力的机器人狗没有使用机器学习。即便是 iRobot 的 Roomba,直到 2021 年推出 Roomba j7+时才进行 AI 升级。这表明,机器人技术可能能够独立发展,而无需涉及机器学习和深度学习等更先进的 AI 领域。尽管机器人可以独立发展,但我们已经看到,机器人在将 AI 与市场上的产品结合方面越来越受到关注,像 Sophia、性伴侣机器人以及手术机器人等也开始崭露头角。
它们受欢迎的一个重要原因,不仅在于机器人能够执行那些对人类来说可能非常繁重的重复任务并且具有精确性和可信度,还在于它们没有疲劳感。机器人可能会出现故障,但它们当然不会想要度假或生病。这也促生了机器人采用的另一个方面,即更加伦理和以人为本。仅仅因为我们可以在生产线、餐厅或医院中雇佣一个机器人工作者,并不意味着我们应该这么做。人们,至少在大多数情况下,需要工作来谋生。公众对 AI 的接受常常因不信任和对 AI 夺走人类工作岗位的蔑视而受到阻碍。使用机器人替代工人的最成功且最少争议的领域,通常是那些被认为对人类来说过于不愉快的任务,或者那些反复让人类置于危险之中的任务,而这些任务本就缺乏愿意参与的人力。
我们可以讨论几种具有不同智能和自主程度的机器人专门化:
-
自主机器人:自主机器人,例如,可以感知和穿越其环境,并根据这些感知做出决策,而无需人类干预或控制。最好的例子可能是 Roomba,它会自动拾起碎片来清洁地板。
-
遥控机器人:遥控机器人,如 daVinci 和 NeuroArm(
mind.ilstu.edu/curriculum/medical_robotics/teleo.html
),通常被称为自动引导车(AGV),它们在人类介入的情况下用于执行任务,如医疗手术、在工厂中搬运材料或灾难响应的无人机。 -
增强型机器人:进一步发展,我们还看到了一些增强型机器人,如雷神 XOS、HAL、eLegs 和 DEKA 手臂,这些机器人通过电子假肢设备用于目标肌肉再神经化(
mind.ilstu.edu/curriculum/medical_robotics/augmenting.html#:~:text=Augmenting%20robots%20generally%20enhance%20capabilities,that%20a%20person%20has%20lost
)。 -
类人机器人:此外,还有类人机器人,如 Sophia、特斯拉的 Optimus 和 Ameca,它们通常使用某种机器学习技术,以我们可以理解的方式表达自己(
builtin.com/robotics/humanoid-robots
)。 -
预编程机器人:人们已经开始依赖这些机器人,因为它们在汽车和制造业中得到了广泛应用(
mind.ilstu.edu/curriculum/medical_robotics/prepro.html
)。
专家系统
If Then
语句。基于规则的引擎意味着有一组预编程的指令和算法,这些指令和算法已经被编入产品或系统运作的核心,并且没有自我学习的功能。这意味着没有使用机器学习模型,系统也不会随着时间的推移进行学习。虽然这听起来像是一个愚笨的系统,但它仍然被认为是 AI,因为它可能以某种方式模仿人类应用智能的方式来运作。
仅仅因为它是预编程的,并不意味着它无法以最佳、准确或智能的方式工作。有许多应用程序不需要机器学习,因为它们所做的事情已经足够优化,能够满足预期。如果它模拟了其人类同行的知识或判断,那么它就是智能的。此外,许多这些专家系统随着时间的推移已经得到了优化,因此仍然可能具有巨大的复杂性。这些专家系统能够根据一组指令模拟人的决策或推理,并且今天的某些表现形式可能已经得到了机器学习的支持。
模糊逻辑/模糊匹配
模糊匹配,也称为近似字符串匹配,使用一定的逻辑来查找彼此相似的术语或短语。也许你正在浏览数据库,试图找到名叫John的人,但有些条目是Jonathan或Johnny。模糊匹配将是找到这些替代名称的一种智能方法。模糊匹配在机器翻译出现之前已经广泛应用于翻译软件中。无论你是在寻找替代的命名约定还是错误,模糊逻辑和匹配都能够为我们提供智能的方法,让机器找到我们正在寻找的内容。
与机器人技术和其他 AI 领域一样,我们也可以看到与模糊匹配的集成。我们看到机器学习应用于模糊匹配,以提高准确性。但即使没有机器学习,模糊逻辑和模糊匹配作为 AI 的一个子集,依然能够独立存在,并且在机器学习出现之前就已经被广泛依赖,并且至今仍在许多领域(如翻译或数据/数据库管理)中占有重要地位。
现在我们已经讨论了 AI 的所有主要领域,了解它们是什么以及它们如何提供价值,我们可以进入特征层级,看看这些主要领域如何转化为你可以集成到产品中的各种功能。这个部分的重点不是给你提供如何构建产品的点子,而是让你理解这些创新如何多样化地被使用,并如何协同工作。
微型人工智能 – 特征层级
理解各种 AI 类别如何相互配合可能会让人感到望而生畏,现实情况是,在实际的 AI 产品应用中,许多类别是共同工作的。通过看到这些情况的不同示例,特别是在我们进入本章后面部分时,将为我们提供一种方式,看到 AI 真正为我们提供了多少机会和潜力!
我们将把机器学习(ML)、深度学习(DL)、计算机视觉和自然语言处理(NLP)整合到一个独立的部分,因为这些模型通常也是协同使用的。这种协作随后也可能延伸到其他 AI 子领域。机器人技术、专家系统和模糊逻辑可以保持在它们自己的部分,因为它们的应用本身就是非常专业化的。看到 AI 子领域如何协同工作,进一步促进了创新的更大复杂性和增长,推动了市场的进步,并推出了能够服务、取悦并征服我们心灵的产品。
机器学习(传统/深度学习/计算机视觉/自然语言处理)
你使用的模型类型将取决于你的用例和产品目标。正如我们在不同章节中所提到的,你选择的具体模型将取决于你拥有的数据、你能够调整的超参数,以及你的用例所需的可解释性和透明度。在本书的这一部分,我们专注于 AI/ML 原生产品,因此,确定你将用于构建产品基础的机器学习模型将是一个重要决定,你添加到核心产品上的所有功能也将是对这些模型进行成本效益分析的过程。
目前市场上的大多数产品并不是 AI/ML 原生的,它们是现有的软件程序和包,通过逐步增加新的 AI 功能,然后将产品重新品牌化为 AI 产品。虽然这不完全准确,但它确实在产品周围制造了市场热度,并通过客户推广和广告来加以利用。但是从一位产品经理到另一位产品经理,我们需要明确指出:这些产品并非从根本上基于 AI/ML,因为如果它们是,模型将会成为产品底层逻辑的核心。实际上,这些产品是通过 AI/ML 提升某些功能,但使用这些技术的真正影响仅停留在功能层面,并未实质性地改变产品的本质。除了产品化的机器学习服务、个人助手和自动驾驶汽车,市场上几乎没有真正的 AI 产品。但随着时间的推移和私营部门足够的资金支持,越来越多的产品将继续进入市场。
自然语言处理(NLP)模型在你的产品大量处理文本数据时将非常有用。例如,电子邮件过滤器、智能助手、对话 AI、搜索结果分析器、语音转文本、拼写检查、自动补全、情感分析、预测文本、翻译以及数据和文本分析等功能,都是你可以集成到产品中以利用 NLP 的潜在特性。NLP 尤其在优化客户沟通时特别有用,因为你可以分析大量反馈,并将其纳入到产品开发路线图中,以识别未来可能的功能。
计算机视觉模型会考虑边缘、角落、兴趣点、斑点、感兴趣区域和脊线等元素,在解析图像并试图将其转化为数字矩阵时。这种转换是它们能够理解图像的方式,因此如果你的产品试图观察和识别环境中的物体或模式,你将使用这些模型。例如,分析某些区域的图像以预测可能的未来环境衰退和损坏,也是计算机视觉的一个重要应用。
通常,机器学习的使用在几个不同的应用场景中将产生显著影响。以下是最常见的使用场景:
-
排名/推荐系统:如果你需要一个相似产品或文档的排名列表,推荐系统将帮助你实现。如果你的产品专注于为客户提供选项或发现新选项,基于 AI/ML 的排名将是 AI 的一个重要应用。
-
预测:利用历史数据预测未来值,作为产品核心目标,是使用机器学习模型最适用的方式之一,你将能够选择最适合预测你产品需求的模型。
-
分类:类似于推荐系统中的逻辑,机器学习的分类用例将有助于将人、客户、物体、选择和主题分为特定的类别。你是在将一般化的数据进行分类,并从这些数据中形成类别。
-
生成:也许你的产品为用户生成内容,无论是视觉的还是文本的。你可以为这些模型提供一些例子供它们学习,从而让它们根据你提供的例子创造出全新的样本。不论你给生成模型什么输入,它们都会创造出可以供你销售或传递给用户以供其他用途的输出。
-
聚类:这些是可以将信息分组的其他模型。唯一的区别是,在聚类中,模型会自行生成分组,这是一种机器学习帮助创建数据点之间区分的方式,而这些区分是工程师或用户无法做到的。
在本节中,我们已经覆盖了在特征层面应用机器学习的一些主要用例。你现在应该对这些用例已经比较熟悉了。在接下来的部分,我们将讨论机器人技术的领域。
机器人技术
在机器人技术中,你正在创建为特定用例优化的物理结构。正如我们在机器人技术部分所看到的(参见宏观 AI–基础和框架),一些机器人之间确实是相互关联的,特别是当我们想到遥控机器人和增强型机器人时,它们有一定的重叠。但总体而言,这些机器人是专门为它们的特定用例创建的。我们可以将机器人技术视为硬件,而将机器学习的结合视为软件升级包。
让我们以一个自动化机器人为例,该机器人扫描其环境,以寻找最优路线或事件链来进行操作。它可能能够在不使用机器学习算法来优化其路线的情况下自行得出见解,但如果它希望随着时间的推移不断改进,也许它的日志可以用来教它更有效地进行操作。对于遥控机器人,深度学习可以用来优化它在处理对象时的速度、力量或深度,并快速建立外科医生经过几十年掌握的最佳实践(以外科手术中的机器人为例)。因为在手术情境中,深度学习的性能比其可解释性更为重要,所以它在医疗设备中是一个有用的功能。甚至增强型机器人(arpost.co/2021/08/26/augmented-reality-in-robotics-enhances-robots/
)也可以通过与其他 AI 领域的合作来测试和模拟它们的使用,在它们开放给真实人类进行测试之前。
一个受到广泛关注的合作领域是类人机器人,它们需要与其他 AI 领域有一定的重叠才能进入市场。毕竟,如果一个机器人不能像人类一样听、说或看,你怎么能称它为类人机器人呢?类人机器人依赖计算机视觉来观察周围环境、识别人物和物体,并在环境中移动。它们还依赖自然语言处理(NLP)来理解人们对它们说的话,并作出有深度的回应。它们还可能会被编程使用机器学习(ML)或深度学习(DL)模型来优化它们可能遇到的不同情况,或者预测人们可能问它们的问题以及如何回应。
专家系统
专家系统本质上基于if-else
逻辑运行,因此它们有一套很少改变的指令,当它们确实发生变化时,这些变化是硬编码的。它们所面临的局限性是缺乏对它们处理的数据的响应能力,以及规则中的巨大复杂性;它们没有完全捕捉到人类可能理解的全部细微差别,并且在引入新颖情况时表现不佳。这些局限性为引入机器学习提供了良好的机会,这样当新场景、新数据和新经验出现时,一些逻辑也可以进行更新。
这是一个很好的例子,因为它展示了机器学习(ML)不一定要取代专家系统,但可以与专家系统协同工作,使得专家系统变得更“专家”,而不需要人工干预来改变其决策过程。作为一个专家系统的创建者,你可能会需要一个机器来提供客观、结构化的静态指令来满足你的用例。构建一个端到端的机器学习产品来解决这个问题可能会过于复杂、创新,或者运行成本过高,你可能通过仅使用机器学习来优化系统中的步骤,而不是完全替代整个系统,来获得更多的收益。目前,虽然没有很多这样的现实案例可以借鉴,但理论上是可能将专家系统与机器学习结合的。
模糊逻辑/模糊匹配
如果你正在构建一个需要考虑某些相似性条目的产品,那么有许多功能可以集成模糊逻辑或模糊匹配。也许你在构建一个爬虫,试图找到匹配的酒店列表,或者是一个有特定数量设施的出租房源,你正在尝试对比它们。或者,也许你在寻找一个评论汇总工具,能够找到与某个业务或产品相关的评论,并且你正在基于描述进行匹配。
另一个常见的示例可能是搜索你的数据库,整合来自移动设备和桌面设备的用户,或与公司内不同业务单元(BUs)互动的用户,从而创建一个统一的客户视图。你的内部客户数据可能分布在多个区域。也许你有多个数据库,或者你的客户数据在 HubSpot 中,购买数据在 Stripe 中,你希望将它们关联起来。如果你没有一个具体的、匹配的唯一标识符,你可能需要使用类似模糊匹配的技术来建立关联,并清理数据库中的重复项。
模糊匹配将允许你选择某些关键词,你的模糊引擎将对这些关键词进行优化,然后你可以根据匹配度的百分比对其进行排序并将其归类。然后,一旦你有了这些示例并且能够创建一些分组,你可能还希望结合一些机器学习(ML)技术,利用模糊匹配的输出,从而使得匹配随着时间的推移变得更加精准。ML 模型将随着时间推移以及业务的增长,不断优化模糊匹配的效果。你可能还想更进一步,使用自然语言处理(NLP)技术进行模糊匹配,例如翻译或属于同一类别的短语。
现在,我们已经有机会在前面的部分中概述了 AI 各大领域的应用案例和特点,让我们转向现实世界中的一些积极示例。
成功案例 – 启发灵感的示例
在这一部分,我们将探讨一些复杂的、协作型的 AI 产品示例,这些产品使用了多种模型,并构建了产品直觉,展示了如何从一些公司获得了可观商业成功的案例中获取灵感。本部分的目的是展示一些真实的例子,这些产品利用多种 AI/ML 专业化技术,交付了给终端用户和市场创造价值的产品。
我们将在接下来的部分中介绍的产品示例包括Lensa(一款生成式 AI 自拍应用)和PeriWatch Vigilance(PeriGen 公司为母婴打造的健康应用)。
Lensa
鉴于 Lensa 应用当前的火爆程度,我们认为它是一个很好的第一个示例。Lensa 凭借其幻想 AI 自拍生成应用迅速在互联网上掀起了热潮。这个应用的原理是,你提供 10 到 20 张图片供神经网络学习,根据这些训练,它会生成 50 张或更多你个人形象的全新幻想自拍。它成功的一部分原因在于这个应用的独特性:市面上没有多少应用能做到这一点。
它成功的另一部分源于我们自己的虚荣心:这款应用承诺以难以在现实世界中重现的方式展示我们的形象。我们可以坐下来用画布试图将自己描绘成森林精灵吗?当然可以。但做出这个决定,并投入时间和技巧,比起仅用五秒钟将自己之前拍的自拍上传到 Lensa 并发送过去,要困难得多。
“我们的目标是通过神经网络、深度学习和计算机视觉技术,将移动摄影和视频创作提升到一个新的水平。我们致力于创造让人们通过相机表达自己情感的新方式,”Prisma Labs 在其 LinkedIn 个人资料中写道。” (builtin.com/artificial-intelligence/prisma-labs-lensa-ai-selfies
)
深度学习和计算机视觉的结合是强大的,因为神经网络正在根据我们提供的示例进行训练,生成新的自我表现形式,并交付新的图像,旨在改善我们的相貌,同时加入一些奇幻元素。值得注意的是,它的流行不仅源于神经网络驱动应用的新颖性,还因为公众愿意分享那些难以通过传统滤镜和自拍获得的自己最美的图像。Lensa 的流行迅速攀升,使得这款生成型 AI 应用在短时间内成为了病毒式现象。
PeriGen
PeriGen 公司已经在母婴早期预警系统方面建立了成功的声誉,并且在 2022 年 4 月 6 日,在伦敦获得了 CogX 奖项,表彰其 PeriWatch Vigilance 产品,该产品使用模式识别技术识别并标记分娩过程中可能有害的趋势。该奖项授予 PeriWatch Vigilance 是因为它能够有效利用 AI 应对健康领域的新挑战,正因为其 AI 产品在识别趋势方面明显比人类同行更为成功。
由于公司已经有了一个较弱的基础可以改进,而且因为它已经投资了六年多来支持 PeriWatch Vigilance 的成长与成功,它的出色工作没有被忽视。PeriWatch Vigilance 是一款自动化应用,作为早期预警系统和临床决策支持工具,专为妇产科医生设计。它被用于多种目的,包括早期干预、标准化护理,以及帮助使用该应用的诊所提升其他效率。它能够在多个站点之间追踪患者并通知临床医生异常情况,还能分析所有关于胎儿心率异常、宫缩和分娩进展的内容,并且能跟踪孕妇的生命体征。
公司致力于不断改进其产品,持续为其合作伙伴和患者社区提供优质服务和价值,并以伦理的方式调整其产品以适应市场需求,这使得公司建立了一个坚实的声誉,能够继续为世界带来有价值的东西。这证明了当 AI 真正专注于帮助人的需求和偏好时,它是可以被庆祝和尊重的。
现在我们已经看过一些受到积极评价的 AI 产品,让我们来看一看我们通常在 AI 产品中看到的一些常见陷阱,并在接下来的章节中附上一些相关的产品示例。
挑战 – 常见陷阱
我们已经花费了相当多的时间讨论如何构建 AI/ML 产品,并以赋能产品的方式使用模型。我们也讨论了 AI 的炒作和商业兴奋。在本节中,我们将通过理解为什么某些 AI/ML 产品失败来调节这种炒作。我们将探讨一些现实世界的例子,突出 AI 部署引发争议的一些常见原因。我们还将研究这些争议背后的主题,以帮助新 AI 产品和其创作者避免这些问题。
在接下来的章节中,我们将重点讨论与伦理、性能和安全性相关的挑战及其附带的示例。
伦理
公司长期以来一直在努力维护面向消费者的对话式 AI 的质量和伦理。如果你还记得 2016 年,当微软将其名为 Tay 的 AI 推向 Twitter 时,Tay 在不到 24 小时内便开始对 Twitter 用户发表种族主义、性别歧视和恐同言论 (www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist
)。
这一现象似乎又在最新的热潮 ChatGPT 中重现,ChatGPT 由 OpenAI 制作。ChatGPT 源自 OpenAI 的大型语言模型 GPT-3,并且根据 Sam Biddle 的说法,(theintercept.com/2022/12/08/openai-chatgpt-ai-bias-ethics/
) 它是“令人震惊地令人印象深刻,奇妙地模仿一个聪明的人(或者至少是努力让自己听起来像聪明的人)使用生成式 AI,这是通过研究大量输入数据生成新的输出以响应 用户提示的。”
ChatGPT 之所以能如此擅长模仿人类的说话方式,是因为它接受了数十亿条文本和人类辅导的训练。虽然它非常擅长让人相信自己在与一个高度智能的实体互动,并在许多方面通过了图灵测试,但它似乎走上了 2016 年 Tay 的老路。虽然它的偏见并非来自与其互动的人的反馈,但它仍然受到了它所训练文本中固有偏见的影响。
一位测试者要求 ChatGPT 写一个 Python 程序,依据某人种族和性别来判断他们是否是一个优秀的科学家,如推文中所示:
https://github.com/OpenDocCN/freelearn-dl-pt7-zh/raw/master/docs/ai-prod-mgr-hb/img/B18935_9_02.jpg
图 9.2 – ChatGPT 偏见推文
这显著强调了公司保持高度警觉并致力于分析产品偏见的重要性。尽管并非所有产品都会像 ChatGPT 那样具有同样的病毒式传播效应,但所有 AI 产品都将对其训练数据中固有的偏见敏感。这个例子也提醒所有产品经理,在产品发布前必须确保它们经过彻底的偏见测试,并作为持续的最佳实践。
尽管有明确的理由限制 AI 的作用,并避免对与之互动的人造成伤害,仍然有一些显著的声音认为去除 AI 系统中的偏见是审查它们的一种方式。这是一种不道德的观点,将 AI 与与之互动的人类等同起来。那并不是审查。AI 并非具有意识,它们的偏见可能对那些真正拥有意识的人造成实际伤害。
性能
拥有一个高度警觉的测试流程,涵盖所有使用场景和足够的潜在边缘情况,对 AI 被广泛接受至关重要。一些最大的 AI 失败源于那些在产品市场测试时未尽到应有责任的公司。虽然在 AI 领域可能无法涵盖所有潜在的边缘情况,但在与现实世界中的人们合作时,最好是准备过度而不是准备不足。
在 2020 年全球大流行期间的一次直播中,许多人在家中观看足球比赛,由 Pixellot 制作的 AI 摄像操作员被苏格兰足球队因弗内斯卡尔东体育会(Inverness Caledonian Thistle FC)部署(www.theverge.com/tldr/2020/11/3/21547392/ai-camera-operator-football-bald-head-soccer-mistakes
)。内置的球追踪技术开始将焦点对准一位边裁,因为 AI 将他光秃的头顶误认为是足球。观众并没有看到最好的球的视角,也就无法看到比赛中的精彩动作,而是一直看到某个人的后脑勺。
尽管这件事相对无害,但它成为了公司丑闻和嘲笑的源泉。这个事件突显了在将软件推向市场之前彻底测试软件的重要性。肯定有一些较低调的游戏可以在实际游戏之前进行软件测试。对于那些将产品推向市场并且运行在实时使用场景中的公司,比如直播体育赛事,采取多阶段的测试方法至关重要。一个好的折衷方案是,在测试的第一阶段分析性能,然后与一个 Beta 用户团队进行实际游戏测试而不是录像,最终在性能达到稳定水平后,再把摄像机对准直播游戏。
安全
我们曾讨论过 AI 在医疗健康领域的惊人能力,特别是在寻找某些疾病的治疗方法和帮助诊断方面。尽管这个领域的 AI 应用随着时间的推移看起来极具前景,但我们也有一些公开的失败案例。第一个例子是 IBM Watson 2013 年设定的宏伟目标——治愈癌症。沃森肿瘤学与德克萨斯大学安德森癌症中心合作开发了肿瘤专家顾问系统,这是一个汇集了癌症中心患者数据和研究数据库的存储库(www.lexalytics.com/blog/stories-ai-failure-avoid-ai-fails-2020/
)。结果令人震惊的说法是,沃森肿瘤学向用户提供了危险的癌症治疗建议。
由于 AI 系统是基于理论癌症患者的模拟数据进行训练的,而不是安德森癌症中心的真实患者数据,这意味着训练数据存在严重缺陷,系统给出的建议是没有伦理且疏忽的。根据Lexalytics博客(www.lexalytics.com/blog/stories-ai-failure-avoid-ai-fails-2020/
)的说法,“医疗专家和客户发现了‘多个不安全和错误的治疗建议’的例子,其中包括一个案例,沃森建议医生给一位严重出血的癌症患者使用可能加重出血的药物。”几年后,MD Anderson 花费了 6200 万美元,最终与 IBM Watson 结束了合作。
另一个例子来自谷歌的人工智能研究团队,他们推出了一款旨在帮助诊断糖尿病眼病的产品,名为糖尿病视网膜病变(DR)。该产品使用神经网络来帮助解读视网膜照片中的糖尿病视网膜病变迹象,以便能更快速地筛查潜在患者。谷歌与泰国公共卫生部合作进行了首次部署,但在经过对 450 万名患者测试并调整模型多年后,结果仍未能提供准确的诊断。大部分反对声来自患者本身,部分原因在于人工智能让他们怀疑其安全性和能力,但这一事件也加剧了公众对人工智能的普遍不信任(www.forbes.com/sites/forbestechcouncil/2020/06/09/three-insights-from-googles-failed-field-test-to-use-ai-for-medical-diagnosis/?sh=859fc65bac42
)。
有很多人工智能失败的例子,但前面提到的主题是这些失败所共同面临的主要问题类别:它们要么因为偏见而不道德,要么因为没有经过充分测试而导致在表现上出现尴尬的失误,或者从安全角度来看,它们可能是有害的。不管是哪种情况,这些失败都源于这些产品创造者的无能或疏忽,因为他们没有给自己的产品提供成功的最佳机会,那就是严格的测试。由于我们正处于人工智能的拐点,保持良好的人工智能管理,并对将产品推向市场的愿望保持透明——不仅要确保产品能良好运行,还要确保它是伦理的且安全的——对未来的技术人员和产品经理来说至关重要。
总结
在本章中,我们已经讨论了很多内容。我们从宏观层面讨论了人工智能的各个领域,为我们提供了构建人工智能产品时可以选择的多种方案的全景图。我们还将这些方案缩小到功能层面,给我们提供了应用人工智能功能的微观视角。然后,我们查看了几个获得积极反馈和赞誉的协作型人工智能产品示例,以及几个突显人工智能产品挑战的例子。构建人工智能产品仍然是一个新领域。我们仍在构建新的应用场景,每当有新的人工智能产品上市时,我们就能发现使用这些算法的新途径。
这意味着每个新应用的使用案例都有可能向世界展示 AI 的潜力,这也是我们目前所处阶段如此令人兴奋的原因。为了发掘 AI/ML 的创新新用途,我们必须愿意犯错并从中学习。打造成功的产品伴随着自身的挑战和困难。只有在我们经历了将产品的技术要求与客户和市场的期望之间进行平衡的过程后,才能找到成功。在下一章中,我们将讨论一些常见的成功标志。这将包括对产品的性能进行基准测试和设定 KPI,考虑成本和定价,并最终分析它们对增长黑客的影响。
参考文献
-
www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist
-
www.thedailybeast.com/openais-impressive-chatgpt-chatbot-is-not-immune-to-racism
-
www.theverge.com/tldr/2020/11/3/21547392/ai-camera-operator-football-bald-head-soccer-mistakes
-
AI 失败的故事以及如何避免类似的 AI 失败:
www.lexalytics.com/blog/stories-ai-failure-avoid-ai-fails-2020/
-
谷歌“失败”的实地测试中获得的三大见解,旨在利用 AI 进行医学 诊断:
www.forbes.com/sites/forbestechcouncil/2020/06/09/three-insights-from-googles-failed-field-test-to-use-ai-for-medical-diagnosis/?sh=2b4233c4bac4
-
www.theverge.com/2021/9/9/22660467/irobot-roomba-ai-dog-poop-avoidance-j7-specs-price