【大数据安全】基于Kerberos的大数据安全验证方案

最新推荐文章于 2024-07-11 00:28:13 发布

原创

最新推荐文章于 2024-07-11 00:28:13 发布 · 641 阅读

2 ·

CC 4.0 BY-SA版权

本文探讨了大数据环境下的安全验证，重点关注Hadoop对Kerberos的支持。Kerberos作为一种网络身份验证协议，通过认证和授权确保集群安全。文章详细介绍了Kerberos的工作原理，包括客户端认证、服务授权和服务请求流程，并讨论了Kerberos的高可用架构和优化方案，如数据同步和权限管理自动化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.背景

互联网从来就不是一个安全的地方。很多时候我们过分依赖防火墙来解决安全的问题，不幸的是，防火墙是假设“坏人”是来自外部的，而真正具有破坏性的攻击事件都是往往都是来自于内部的。

近几年，在thehackernews等网站上总会时不时看到可以看到一些因为数据安全问题被大面积攻击、勒索的事件。在Hadoop1.0.0之前，Hadoop并不提供对安全的支持，默认集群内所有角色都是可靠的。用户访问时不需要进行任何验证,导致恶意用户很容易就可以伪装进入集群进行破坏。

不安全的Hadoop集群

要保证Hadoop集群的安全，至少要做到2个A：Authentication（认证），Authorization（授权）。常见的方案有：

Authentication：
MIT Kerberos, Azure AD, Kerby
Authorization：
Apache Sentry(Cloudera), Apache Ranger(Hortonworks)

Hadoop Cluster Secure

Hadoop集群对Kerberos的支持

2012年1.0.0版本正式发布后，Hadoop增加了对Kerberos的支持。使得集群中的节点是可信任的。Kerberos可以将认证的密钥在集群部署时事先放到可靠的节点上。集群运行时，集群内的节点使用密钥得到认证，认证通过后的节点才能提供服务。企图冒充的节点由于没有事先得到的密钥信息，无法与集群内部的节点通信。这样就防止了恶意地使用或篡改Hadoop集群的问题，确保了Hadoop集群的可靠性、安全性。

2.Kerberos介绍

Kerberos是种网络身份验证协议,最初设计是用来保护雅典娜工程的网络服务器。Kerberos这个名字源于希腊神话，是一只三头犬的名字，它旨在通过使用密钥加密技术为Client/Server序提供强身份验证。可以用于防止窃听、防止重放攻击、保护数据完整性等场合，是一种应用对称密钥体制进行密钥管理的系统。Kerberos的扩展产品也使用公开密钥加密方法进行认证。

Kerberos目前最新版本是5，1~3版本只在MIT内部发行，因为使用DES加密，早期被美国出口管制局列为军需品禁止出口，直到瑞典皇家工学院实现了Kerberos版本4，KTH-KRB。后续也是这个团队实现了版本5: Heimdal，目前常见的Kerberos5实现之一。
本文中讨论的Kerberos5实现版本为MIT Kerberos，MIT保持的大约半年左右一次的更新速度，目前最新版本是2018-11-01发布的1.16.2版本。