前出塞数据挖掘的一些必须了解的概念

前出塞现在使用了数据挖掘，下面跟大家一起讨论下数据挖掘的概念。从庞杂的数据背后挖掘、分析用户的行为习惯和喜好，找出更符合用户「口味」的产品和服务，并结合用户需求有针对性地调整和优化自身，就是大数据的价值。 

对于大数据在商业上的用途，这句话说得很清楚。前半句是重点，了解用户的行为习惯和爱好，这就是大数据的核心价值。


1. 元数据（Metadata）的概念


简单说，元数据是对数据本身进行描述的数据，或者说，它不是对象本身，它只描述对象的属性。


比如，一幅画本身，是数据。而这幅画的作者、完成时间、尺寸、价格、类型等等，就是它的元数据。


再比如，你妈逼你结婚，找了个男的让你相亲。你并不认识他，但你妈告诉你他的年龄、身高、体重、体貌特征、家庭背景、收入、爱好特长，你心里也就对他有了印象。即便你还不认识他。


元数据的价值，第一是能够从侧面描述对象，第二点就是可以结构化、信息化。


什么意思呢？


比如，我们要判断一幅画的价值，除了专家直接通过画的艺术性来评价，还可以通过元数据来判断。


这幅画是名家的还是二流画家的？这幅画是作者在他创作鼎盛时期的作品，还是在年轻时的作品？这幅画是作者擅长的类型还是他不熟悉的？


用这些描述的信息，我们居然就能把这幅画的价值算得八九不离十。虽然肯定会存在误差，但同样是科学合理的方法。


那用元数据而非数据本身描述对象的意义何在？


这就是在大数据上产生的价值了：对于非结构化的、非量化的对象本身，结构化的元数据可以用以快速计算和判断。


比如，你妈拿了 100 个单身男的资料，你要是一个一个去仔细翻阅，那几天都翻不完。但你告诉你妈，高学历的可能意味着素质很高，高收入的可能意味着能力很强，所以先把低学历低收入的筛掉，剩下的再依据身高体重年龄这些信息排序，那效率就高得多了。


注意，这样的方法仍然会有失误的，说不定真爱就在被筛掉的人里。但这样的概率微乎其微。


相亲里似乎还不太明显，但大数据在真正产品应用中，产生的效果就天翻地覆了。（待续。。。）