浅谈大数据下的机器学习

    大数据和机器学习是目前信息行业快速增长的两大热门领域。从过去的信息闭塞发展到现在数据爆炸，各个领域的数据量和数据规模增长速度都以惊人的速度增长。根据美国国家安全局的统计，互联网每天处理1826PB字节[1]。截止2011年，数字信息在过去五年已经增长了九倍，而到2020年这个数字将会达到35万亿千兆字节[2]。这种数字的数据规模带来了巨大的机遇和变革潜力，可以利用这些数据的完整性等优势在各行各业帮助我们更好的作出决策，在科学研究中转变为数据驱动的研究提供了很好的范例。使我们在进行数据的科学研究时利用搜索引擎的大数据预测能力广泛的用于医学、天文学等领域。

    相比传统的机器学习，大数据下的机器学习大大扩充了样本的数量，使很多问题的分类都有丰富的样本作为支撑，这是大数据的优势，但同时也会由此产生很多问题。现在随着硬件技术和编程算法的不断优化，数据的采集和量级已经不再是阻碍大数据研究的主要问题。而数据之间的关系，即数据哪些数据是有用的，哪些是冗余的甚至是对其他数据造成干扰，这些数据之间有时如何作用的才是目前大数据所面临的主要挑战。而大数据在我们社会的各个方面存在着巨大的潜在价值，从大数据中获取有价值的信息却不是一个简单的任务。要从体量巨大、结构繁多的数据中挖掘出潜藏在数据中的规律和我们所需要信息，从而使数据发挥最大化的价值，是大数据技术的一个核心目标。

    一般认为传统的机器学习是浅层次的学习架构，与之相反的，深度学习则是指机器学习技术在监督或非监督的情况下自动的学习深层次的架构并且用于分类或进行数据挖掘。受人脑对自然界中信号处理模式的启发，深度学习这一概念被提出来，并且由于其在很多领域中表现出优越的处理性能而受到越来越多的关注。现在很多公司都充分利用大数据的优势将其广泛应用于商业产品，并且取得了很大的成功。这些公司和机构每天都在大量产生数据的基础上，收集海量信息并且对其进行分析，再将分析结果用于深度学习的相关项目。例如，iPhone手机的虚拟个人助理Siri，提供各种各样的服务例如天气预报、体育新闻、回答用户的问题和提醒服务等。谷歌将将海量