读算法的陷阱：超级平台、算法垄断与场景欺骗笔记02_大数据

1.       大数据分析

1.1.         随着“大数据军备竞赛”与定价算法的广泛应用，线上购物平台与实体商铺的界限也变得越来越模糊

1.2.         在沃尔玛疯狂扩张的时代，它给地区性商业带来的伤害不亚于一场地震

1.2.1.           当地的小型商铺往往只能缴械，贡献出自己的销售额，而主街的繁华就此凋零

1.2.2.           如果有谁想要挫败沃尔玛进军美国各大城市的扩张野心，那么这简直是要激化社会底层矛盾

1.3.         威胁并非来自人们的口诛笔伐，而是互联网电商的节节高歌击溃了它的扩张梦想

1.3.1.           面对电商对实体店的深度冲击，人们在实体店内消费的概率正在不断下降

1.4.         沃尔玛那为人称道的运营效率实难为大数据分析与动态定价模型输血

1.5.         亚马逊

1.5.1.           亚马逊的产品分类与仓储规模要远大于实体商铺

1.5.1.1.            有近百个门类、上百万种商品在亚马逊网站上销售

1.5.1.2.            卖出的书籍总数远超任何一家实体书店

1.5.1.3.            2017年，亚马逊成为最大的线上服装类商品零售商

1.5.2.           随着零售商货架上的产品类别越来越丰富，手动调整价格的方式也将变得越发困难

1.5.2.1.            给所有门店里的食品罐头更换价格标签这种简单的行为，也将耗费一位工人数月的时间

1.5.2.2.            对亚马逊而言，这些工作量根本不值一提

1.5.2.2.1.             亚马逊在调整商品价格方面的确相当主动，它有时甚至会为了打击竞争对手而在一天之中两次调价

1.5.2.2.2.             如果不是定价算法的迅速反应，亚马逊很难及时将市场行情的变动反映到当前商品价格中

1.5.2.3.            在亚马逊网站上出售的绝大多数商品都可以做到每隔15分钟调整一次价格

1.5.2.3.1.             Boomerang

Commerce开发的定价算法软件可以每分钟检索100 ~ 150个数据点，并适时调整价格

1.5.2.3.2.             价格动态优化软件

1.5.2.4.            对商品价格与用户体验进行实时的调整

1.5.3.           为了确保自己不在这一轮营销竞赛中落败，它们都会竞相将定价算法技术纳入自己的信息技术支持部门，而亚马逊在该领域的开拓可以被看成是“大数据军备竞赛”的缩影

1.5.4.           线上零售商无法单纯依靠开了一家网店而坐等销量暴涨

1.5.4.1.            数据，特别是掌握相当规模的数据才是成功的关键

1.5.4.1.1.             亚马逊掌握的用户数据数量要远远超过其他零售商的数据储备

1.5.4.1.2.             海量的用户数据支持着亚马逊进行各种营销实验，而它所能提供的商品的价格水平也将在动态调整中更加贴合不同消费者的消费偏好

1.5.4.1.3.             线上商品价格调整的频率将增加，而产品推荐页面也将改造成更好迎合不同消费者个人喜好的个性化样式

1.5.4.2.            具备控制并迅速分析这些个人数据的能力将给他们带来显著的竞争优势

1.5.4.3.            算法模型已经找到了在不同维度的衡量标准下特定人群的消费模式

1.5.5.           亚马逊算法的竞争对手已不再是实体店里手工调整价格的柜员，它们要超越的是其他同类型定价算法

1.5.5.1.            当整个行业的企业都采用算法来确定商品售价时，通过不断学习，算法能更好地预测并回应对方算法的行动

1.5.6.           线上购物的一些缺陷正在得到改进

1.5.6.1.            如果你交纳一定年费成为亚马逊会员，那么就可以享受亚马逊Prime服务（包括免邮与优先送达服务）

1.5.6.2.            得益于高效的物流链条，那些想要节约采购时间的人们大可在网上购买生鲜食品

1.5.6.3.            除了物流提速，有些电商还选择开设实体店铺，以便更好地配合线上营销策略

1.6.         亚马逊成为史上以最快速度突破1,000亿美元销售大关的企业

2.       大数据与量化分析工具

2.1.         个人数据是指“与一个可确认身份的个体有关的所有信息”

2.2.         量化分析工具，指的是可以处理并分析海量信息的算法模型

2.3.         大数据的特点可以用“4V理论”概括

2.3.1.           数据的规模（volume）

2.3.2.           数据收集、运用、传播的速度（velocity）

2.3.3.           聚合数据的多样性（variety）

2.3.4.           数据所蕴含的价值（value）

2.4.         IBM“沃森”不仅震惊了世界，还彰显了自己强大的深度学习能力

2.4.1.           利用计算机系统在机器学习、大规模并行计划、语义处理等领域的非凡进展，“沃森”可以在反复测试与反馈中优化自己的解题策略，并理解人类的自然语言

2.5.         由谷歌（Google）公司研发的DQN（即Deep Q Network）

2.5.1.           “谷歌大脑”（Google Brain）

2.5.2.           DQN需要在玩的过程中自学，找到取胜之道

2.5.3.           DQN的算法模型灵感取自人脑的中枢神经系统，并且可以在实践的基础上强化自身模拟神经网络的强度

2.6.         目前算法已经可以做到理解并翻译各种语言、识别影像、撰写文章以及分析医疗数据

2.6.1.           股票交易市场，量化分析与大数据早已成为贡献丰厚回报的利器

2.6.2.           机器学习技能的增进也需要大量数据的支撑

2.7.         如果简单的算法公式能够获取大量数据，那么它的表现将最终超越那些掌握了很少数据的复杂算法

2.7.1.           算法学习能力的提升有赖于反复测试

2.7.2.           大数据中数据的相关性也能在算法的学习过程中提供辅助

3.       不完美信息博弈

3.1.         人工智能领域的另一项突破性进展体现在计算机系统在有限信息条件下问题处理能力的提升

3.2.         早在20世纪末，计算机算法就已经能够在完美信息博弈（perfect

information games）条件下处理各类问题

3.3.         直到2015年，人工智能终于在不完美信息博弈层面取得重要进展

3.4.         在扑克游戏里，由于牌面并不明朗，玩家无法掌握整个牌局的全部信息

3.4.1.           导致求解扑克游戏的复杂程度要远比国际象棋高得多

3.4.2.           从统计学的意义上讲，这种新型算法计算出的出牌策略已经可以让自己在一局双人限注德州扑克游戏中立于不败之地

3.4.3.           在面对真实世界中的信息不完全状况时，计算机已展现出它可以进行“类人”式互动与决策的潜质

4.       云计算与物联网

4.1.         随着数据质量与广度的提升，机器学习与大数据之间的正反馈回路也将加速提挡

4.1.1.           实现这一目标的重要贡献因素是云计算与物联网（Internet of Things）

4.2.         谷歌和微软同样也在云计算服务中增添了拥有自学习能力的算法模型，用来分析数据并预测客户未来的销售结果

4.2.1.           尤其是随着数据规模的递增，这种发挥预测功能模型的准确性也会提高

4.3.         物联网实际上是互联网的延伸与拓展，是将通信感知工具植入日常物品的一项新兴技术

4.3.1.           这项技术可以实现机器通信（machine-to-machine communication），并且利用通信感知工具收集信息，分析这些数据

4.4.         在2015年，亚马逊启动了它的物联网云平台（IoT

platform）

4.5.         众多科技企业都在下大筹码，抓紧布局物联网领域

4.5.1.           谷歌

4.5.2.           英特尔公司（Intel Corp）

4.5.3.           思科（Cisco Systems）

4.5.4.           三星电子（Samsung Electronics）

4.5.5.           主流电信商魏瑞森（Verizon）

4.5.6.           主流电信商沃达丰（Vodafone）

4.6.         物联网的普及将为算法的升级提供更丰富的数据

5.       未来发展趋势

5.1.         人们已无法再忽视实时数据所能发挥的重要作用

5.1.1.           真实的世界与线上的虚拟环境正在发生融合

5.1.2.           从出生到死亡，数字化的个人信息将记录下我们成长的脚印与生活的痕迹

5.2.         一个显著的趋势是人们开始由在实体店消费转变为网上购物，电子商务销量在零售业总体规模中的占比稳步提升

5.3.         当线上市场开始在商业活动中发挥越来越重要的作用时，另一个值得关注的趋势就是大数据与量化分析为企业带来的傲人竞争优势

5.3.1.           为了在竞争中不至落败，他们需要更好地理解数据背后的含义

5.4.         在这种数据驱动的商业模式下，为了换取宝贵的个人数据（用来协助广告主投放在线行为定向广告），企业愿意向顾客提供免费服务

5.5.         伴随着数据价值的提升，企业之间会为了争取竞争优势而竞相收集各种数据，而它们在算法领域的投入也将是一笔庞大的开支

5.6.         当企业开始竞相采用人工智能与定价算法为商品定价时，算法之间的竞争将主宰商品市价的走向

5.6.1.           线上与线下市场的定价边界将变得模糊，甚至最终混为一谈，不分彼此

5.7.         当整个行业都开始采用定价算法，具备自学习能力的算法将有效预测竞争对手算法的行动，并对其做出回应

5.7.1.           利用动态的、差别化定价策略，商家同样可以在线上交易平台对市场进行分割