黑暗数据给网络安全带来的挑战和机遇-优快云博客

对于已知的数据，公司已经很难跟踪和保护，更不用说黑暗的数据了这些数据是公司无意中创造的。黑暗数据给公司带来了完全不同的挑战。关键的挑战包括如何访问、使用和保护黑暗数据，以防止攻击者使用它来攻击业务。

黑暗数据

确定公司拥有多少黑暗数据也面临挑战。在True Global Intelligence的支持下，旧金山大数据软件提供商Splunk研究了无处不在的黑暗数据。

在这个问题和答案中，Splunk的高级副总裁兼首席技术官Tim Tully解释了什么是暗数据，为什么有这么多暗数据，以及公司如何使用数据管理和培训来更好地查找、使用和管理这些数据。

您如何定义黑暗数据?

Tim Tully：我们将黑暗数据定义为未知的、无法识别的或未使用的数据。我在这份报告中发现的最有趣的关键数据是，我们调查的公司认为，全球55数据是黑暗数据。这个数字比我想象的要高。

我认为这个数据会很低的原因是，在来Splunk之前我曾在雅虎从事数据工作约14年，而我所做的工作都涉及大数据。我追踪了日志集或日志ETL（提取、转换、加载）以及数据的使用情况，根据我的经验，这个数字会低得多，因为我看到我们从世界各地的数十万台服务器收集数据。

这些黑暗的数据来自哪里？

实际上，黑暗数据的产生有两种类型。其一，数据并不是全部收集起来的这是一个僵尸数据。典型的情况是，企业引入了新服务器，特别是在存在临时服务器而没有服务器的情况下。对于企业来说，将这些服务器放到网上并在不收集任何日志的情况下很快再次关闭是很容易的。

在第二种情况下，人们出于各种原因收集数据，例如合规性原因或只是为了获得良好的睡眠，然后停止使用数据。这是一个“未使用”的数据类别。

另一方面，虽然公司的黑暗数据比例很高，但他们仍然认为数据技能非常重要。最后一个原因是人们普遍认为使用AI可能是控制暗数据发展的方法。

鉴于数据隐私立法的扩散，当公司发现黑暗数据时应该做什么？是使用它的目标还是摧毁它的目标？

塔利：我认为这是两者的结合。如果您在那里有数据并且没有被查看，那么企业将失去提高安全性的机会。例如，您希望查看防火墙日志并了解入站TCP连接并了解您正在攻击的对象。因此，从安全的角度来看，这意味着失去了一个很好的机会。

另一方面，如果企业使用这些数据，他们可以更好地构建人工智能驱动的模型，并更好地确定如何建模威胁和检测异常。这是我在上一家公司看到的。从网络安全的角度来看，它具有很大的影响。

黑暗数据对网络安全的影响是什么？

塔利：最明显的效果是没有使用这些数据。如果您收集了数据并且没有对其执行任何操作，甚至检查日志，那么这可能是一个可怕的错误。你想知道你是否受到攻击。如果你实际上没有查看黑暗数据，你怎么知道人们试图攻击你？这有点像先吃鸡肉或鸡蛋。

其次，会有很多未收集的数据。这里的问题不是你不看数据，而是你根本不收集数据。您将连接临时服务器，天知道这些日志中发生了什么。如果你不使用数据，甚至看不到或收集数据，你将无法建立一个强大的网络安全环境。

人们应该在其他地方寻找黑暗数据而不是未查看的日志文件吗？

塔利：当然。我想人们携带各种设备连接到企业网络。就个人而言，我每天都会带四到五台设备到办公室，这些设备都连接到互联网。考虑到这些设备的短期性质，我认为它们很快就会在线和离线，并且很容易生成黑暗数据。我想知道公司是否会使用这些数据。

这些byod设备包含哪些黑暗数据？

你的个人设备，手机，平板电脑。我不时地带上我的个人笔记本电脑去做一些不起作用的事情。但是人们正在连接互联网；他们正在下载东西；他们可能会把恶意软件带到办公室；这些设备产生大量的日志。您希望能够检测到这些客户在网络中做什么，他们在看什么，以及他们带来的恶意病毒。

黑暗数据是否容易受到攻击者攻击而公司未检测到？

塔利：我认为公司正在记录或收集的任何数据，不管是暗的还是暗的，都容易受到攻击者的攻击，所以我认为答案是肯定的。这些数据具有风险因素，它们处于休眠状态，攻击者将希望使用它们。

对于黑暗数据，人们应该做的第一件事是什么？识别、整理和存储数据，或者他们应该首先考虑他们是否能够或者应该使用这些数据？如果他们不需要，他们应该想办法消除数据吗？

Tully：所有这些问题都可以归结为公司需要更好的数据管理。本周，我参加了华盛顿特区的几次小组讨论。其中一个问题是：“现在大数据世界面临的最大挑战是什么？”除了集成多个系统以从开源世界获得合理的解决方案之外，那些成功企业的人通常拥有强大的数据管理流程。也就是说，知道正在收集哪些数据，如何收集数据，数据中涉及的PII [个人身份信息]，然后确定谁在使用数据及其目的，以及如何使用数据。

数据管理可以非常有效地帮助客户控制他们的黑暗数据。

公司应该如何处理这些黑暗的数据？

塔利：首先要确保他们正在收集数据。记录大量数据但未收集，数据变为僵尸数据，然后由于日志过期而逐渐删除。

企业应该做的是为这些数据部署强大的数据管理。数据将过期；确保将PII应用于数据；然后向内部员工传授新技能以帮助他们处理数据。

在我们的调查中，商界领袖表示，恢复黑暗数据的主要障碍是数据量和缺乏必要的技能。其中一个解决办法就是提供培训。我经常看到，无论数据是否黑暗，大量的数据都会淹没企业。当大多数分析人员使用这些数据时，这些数据以仪表板的形式显示。通常情况下，仪表板是一种分心，他们觉得有点不愿意深入挖掘的环境。

这里更多的是学习新技能并确保您拥有强大的数据管理。

人们应该学会处理这类数据的主要技能是什么？

图利：其中之一是更好地理解这些数据是如何生成的。了解数据如何到达当前位置和数据背后的人。同时，与数据相关的人谈论并理解过程，这可以更好地帮助他们接受获得不同格式的数据或不同报告的挑战。

此外，编程技巧也非常重要。如果要以不同方式查看仪表板，您需要做的一件事是使基础数据集脱机并进行一些轻量级编码。一些轻量级的Python，一些轻量级的R-甚至将数据放入具有足够数据的Excel中，并且可以为它编写宏，这些基本方法足以处理这种数据。

中安威士：保护核心数据，捍卫网络安全

来源：网络收集

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/69914889/viewspace-2646624/，如需转载，请注明出处，否则将追究法律责任。