时间:2013年7月30日
此博文是我去听报告的内容
东北大学的柴院士先给出了大数据的一些概念,其中主要介绍了大数据的四个特征,也就是四个V。
1、数据量大,现在所在的学科处理工具中处理不了来形容数据量大。
2、数据种类多,图表,文本,声音,图像,指纹。监控的图像,机器的声音信息,有些仪器需要借助声音才能够判断运作正常与否。
3、价值密度低,数据量大不容易提取有用的价值,在这里他用石油举例价值密度低,不容易勘探,开发。
4、要求处理速度快,在这里他举了美国处理指纹的例子,指纹识别把技术固话到芯片级,有专门的公司来做这部分工作,可以保证在24h内把指纹库中的指纹与犯罪嫌疑人的指纹进行对比,可以在24h内解决问题确定是不是犯罪嫌疑人,这样保证了取证的合法性。美国感冒预测也是用到速度快。
院士有提到大数据是科学,他说处理了的大数据是科学,这里我个人认为对大数据处理过程是科学。
考虑到大数据的四个特点,一些拥有大数据的企业就需要存储企业来提供他们企业的数据存储,这时候也就出现了信任隐私安全的问题。因为他们的数据用不到但是又不能够洗掉,所以就催生了一个新兴的产业,存储企业,可以联想到提供云存储服务的企业模式。
机理不清,不能够用现有的工具建立数学模型,人不需要介入的系统都是简单的系统。
产业界,政府,科学界都介入了大数据。
大数据政府介入,预测趋势,比如冲突,以前是记录冲突发生时的信息,大数据可以记录提取哪些特征导致了冲突。
学科里解决不了的问题,研究学科对象的特征,不清楚问题怎么入手,信息化带来了很多的数据。过去研究,做实验,达到相吻合的效果。
学科中,医学,举例是美国的癌症病理切片,美国的脑计划,用来解决帕金森综合症。
工业“大数据”驱动的现代工业系统的建模控制与优化
案例一回转窑的质量控制,涉及到大数据
案例二钢铁生产的冷轧连退过程运行产生大数据
航天,制造业,炼钢,排队约束,学科的科学问题,原来是用什么方法,智能,神经网络,创新硅谷的创新电车,用很多电脑电视组合成电车电池。
美国八大金刚公司,
storm,Hive,M/S,Hadoop,ERP,MES