3、数据驱动：大数据、开放数据与探索性数据挖掘的机遇与挑战

数据驱动：大数据、开放数据与探索性数据挖掘的机遇与挑战

1. 大数据与开放数据：机遇与风险并存

大数据和开放数据的发展势头迅猛，它们所带来的前景以及政治家和公众对此的关注，无疑是令人振奋的。这其中蕴含着巨大的机遇，尤其是对于那些理解其潜力并具备相应技能的人来说，能够充分挖掘数据背后的价值。然而，如同所有先进技术一样，基于复杂数据分析的大数据和开放数据也并非只有益处，还伴随着一定的风险。

1.1 大数据与开放数据面临的风险

• 专业知识要求高 ：从大规模数据集中提取有用信息需要相当高的专业知识。如果数据受到未量化的选择压力且质量未知，很容易得出错误的结论。
• 专业人才短缺 ：尽管大学培养的具备相关技能的人员数量开始增加，但过去几十年的人才供应不足，加上对熟练数据分析师的竞争岗位急剧增加，仍需要大量时间来弥补人才缺口。
• 数据不一定能解决问题 ：无论数据量有多大，它本身并不一定能回答你的问题。为不同目的收集的数据，可能对解决当前问题毫无用处。
• 小而精的数据更有效 ：有时，一个经过精心设计、目标明确且质量可控的小实验所产生的小数据集，比大量无关的数据更能有效地回答问题。

2. 发展中国家作物疾病监测的计算技术

在发展中国家，监测作物传染病的传播至关重要。一方面，作物疾病对以自给农业为生的地区影响巨大，监测疾病传播有助于制定干预措施和预警饥荒风险；另一方面，这也为在资源匮乏地区应用新型数据分析方法提供