浅谈大数据技术

忽如一夜春风来，无人不谈大数据。大数据就像前两年的云计算一样，是一个时下被炒得很火的概念。那么什么是大数据，大数据是如何定义的，大数据处理技术有哪些，大数据能给我们带来什么益处？虽然我不知道现在这些概念是如何被炒作的，但是作为一名互联网行业的从业者，作为一个大数据技术的实践者，根据自己的理解和经验发表一点浅显的认识，理解肯定有不到位之处请大家批评指正。

无论是大数据技术还是云计算技术，其实这些技术都不是突然冒出来的，而是随着互联网技术的发展，人们把现有的技术加以整合，总结，概括出来并冠一个新名字。由于互联网行业的特殊性，这些新概括出来的名字被媒体过度炒作了。所以普通人完全不必要，因为自己不懂什么是大数据，不懂什么是云计算而感到惶惶而不可终日。如果一个企业还不知道如何启动大数据处理，说明这个企业可能并不是十分迫切的需要大数据技术。

大数据技术是指对大规模数据的收集、分析、挖掘和应用的技术。数据的采集是大数据技术的第一步，是指通过某种方法或手段收集各种产生数据。举个例子，比如说现在的互联网网站都有日志记录的功能，把用户在网站上的所有的行为，包括浏览点击购买等等，都记录下来。这样后台服务就能够分析用户的兴趣爱好并为其推荐个性化的产品。再比如说气象部门会在城市的各个角落布置各种传感器，来采集气象数据。物流公司一般会跟踪采集物流数据，实时掌握物流信息。超市会在后台的服务器上记录顾客的购买数据。总的来说，所有可能有价值的数据都会被采集，被数字化。数据的采集和记录只是第一步，并不是我们的最终目的。我们的目的是分析数据的规律，挖掘数据的潜在价值，为决策提供依据，或者直接用到相应的产品或服务中。个人认为这就是大数据技术的核心。通过对数据的挖掘我们可以知道啤酒和尿布这两件商品是可以捆绑在一起销售的，我们还可以知道某个具体的用户可能偏好什么样的商品，某个广告被点击的概率有多大，用户在一个具体的场景下会有什么需求，一次贷款的风险有多高。我们甚至能够发现用户为了使得自己的商品在搜索结果中排名靠前使用了哪些作弊手段。这些是数据挖掘和机器学习等技术的应用，也是发掘数据价值的关键手段。只有挖掘出数据的价值，数据的存在才变得有意义。数据挖掘工程师是大数据时代最紧缺的人才。数据价值体现在于对其进行的应用。比如说各种可视化的报表，为企业高层的决策提供依据。用户和商品数据可以用来为用户提供个性化的推荐服务，缩短用户的查找路径，为用户提供有效的信息。

大数据时代的一个问题是让人觉得自己没有隐私，完完全全地暴露在众人面前。你在互联网上的各种行为都会被记录下来，互联网企业可以知道你到底是男是女，多大的年纪，有没有结婚，小孩有几岁，有没有车子，有没有买房，有没有孝敬父母的习惯，父母是多大的年纪，甚至你的老婆是谁，你的情人是谁，你的小三是谁，你经常去哪些地方，你喜欢和谁联系，你和谁之间有过资金的交易，你每个月的收入是多少，你的消费习惯是什么样的，等等等等。可能你要问他们需要知道我这些干什么呀？这就是为什么有的人打开微博或视频时会跳出美容护肤的广告，有的人会跳出成人用品的广告。如果企业对用户一无所知，那么用户看到的可能就是千人一面了。但是企业对用户很了解，他们就能做到千人千面。

总之，大数据时代只会为人们带来更好的生活和服务，大数据现象是技术推动生产力进步的表现。大数据技术是人们利用数据的一种工具。劳动工具很大程度上代表了社会生产力的水平。石器，铁器，铜器，蒸汽机，内燃机，手机，飞机等等是社会各个时期的代表工具。现在已经进入了大数据技术为代表的崭新时代。可以展望未来只会有越来越多的数据和无处不再的计算。我们每个人都应该庆幸自己生在这样一个时代，我们都应该感谢互联网技术为我们的生活提供的点点滴滴的帮助，随时拥有一颗感恩的心。

转载于:https://www.cnblogs.com/yangxudong/p/3736017.html