Laurence的技术博客

本系列文章发表于DZONE，共计五篇，文章针对Apache Ranger 与 AWS EMR 自动化安装与集成给出了完整的解决方案，方案背后是由一个12000+行代码开源项目提供支持，该系列文章同时也是此项目的官方文档。以下是五篇文章的具体信息：Solutions Overview；OpenLDAP + EMR-Native Ranger；Windows AD + EMR-Native Ranger；OpenLDAP + Open-Source Ranger；Windows AD + Open-Sourc

本系列文章发表于InfoQ，共计三篇，文章针对OpenLDAP与Kerberos的集成和统一认证给出了完整的解决方案，以下是三篇文章的具体信息：1. 整合后台数据库；2. 基于SSSD同步LDAP账号；3. 基于SASL/GSSAPI深度集成

文章目录PEM文件DER文件PEM与DER的相互转换总得来说这些文件都与X.509证书和密钥文件有关，从文件编码上分，只有两大类：PEM格式：使用Base64 ASCII进行编码的纯文本格式DER格式：二机制格式而CRT, CER，KEY这几种证书和密钥文件，它们都有自己的schema，在存储为物理文件时，既可以是PEM格式，也可以DER格式。CER：一般用于windows的证书文件格式CRT：一般用于Linux的证书，包含公钥和主体信息KEY：一般用于密钥，特别是私钥打个比方：CE

文章目录1 生成证书的步骤与原理2 标准的CA签发流程2.1 创建私钥（.key)2.2 基于私钥创建证书签名请求（.csr）2.3 （可选）直接同时生成私钥和证书签名请求2.4 将证书申请请求（.csr）提交给CA认证机构申请证书（.crt）2.5 CA机构生成CA证书链3 生成自签名证书3.1 创建私钥（.key）3.2 基于私钥（.key）创建证书签名请求（.csr）3.3 （可选）直接同时生成私钥（.key）和证书签名请求（.csr）3.4 使用自己的私钥（.key）签署自己的证书签名请求（.csr

文章目录1. 生成根CA证书并自签2. 生成二级CA证书并使用CA证书签发3. 生成服务器证书并使用二级CA证书签发4. 制作CA证书链5. 打包为p12文件6. 注意事项7. 使用`openssl x509`和`openssl ca`签发CA证书的差别操作步骤：生成根CA证书并自签生成二级CA证书并使用CA证书签发生成服务器证书并使用二级CA证书签发制作CA证书链打包为p12文件1. 生成根CA证书并自签# 创建root-ca并自签名openssl req -x509 -newkey

有时候，当你向Spark或Hive提交作业时，可能会遇到User not found错误,类似的问题大多发生在启动了Kerberos的Hadoop集群上，或者集群集成了Windows AD或OpenLDAP后。本文，我们把这个问题梳理清楚并给出解决方法。

题目有些拗口，简短截说，我们对于Apache Hudi DeltaStreamer在接入CDC数据时，对于其如何通过 Kafka 的身份认证，做了一系列测试和研究，有如下明确结论：

尽管在创建AWS MSK Connector时，Execution Role是一个必填项，就像下面这样：并且在官方文档中给出的Execution Role样例中也往往都会配置针对某一个MSK集群的操作权限。这会给人带来一个误解，那就是这会让人误以为：MSK Connector必须要配置针对某一个MSK集群

通常，身份认证和加密传输是两项不相关的安全配置，在Kafka/MSK上，身份认证和加密传输是有一些耦合关系的，重点是：对于MSK来说，当启用IAM, SASL/SCRAM以及TLS三种认证方式时，TLS加密传输是必须的！只有设置为Unauthenticated（无认证）时，TLS加密才是可选的，但如果不显示配置PLAINTEXT的话，默认也是启用TLS加密的。本文地址：https://laurence.blog.youkuaiyun.com/article/details/131696373，转载请注明出处！

收录两个使用CLI和JSON直接创建IAM Role的示例

在配置AWS AD Connector时，可能会遇到这样一个错误：Configuration issues detected: DNS lookup for realm name failed for IP: xxx.xxx.xxx.xxx, SRV record for LDAP does not exist for IP: xxx.xxx.xxx.xxx, SRV record for Kerberos does not exist for IP: xxx.xxx.xxx.xxx. Please v

如果你最近发现在密钥和网络配置均未改动的情况下，无法通过SSH登录新建的EC2实例，那么大概率是因为AWS新升级的Linux系统：Amazon Linux 2023 引起的。两种host key算法，然而，令人遗憾的时，多数SSH客户端并不支持这两种host key算法，所以会报上面的错误。目前，可以先使用Amazon Linux2来规避这一问题。Amazon Linux 2023禁用了原来默认的。host key算法，改为了。

This article was initally published at DZone. As last article of this series, we will introduce last high applicability scenario: “Windows AD + Open-Source Ranger”. In this solution, Windows AD plays authentication provider, all user accounts data store

This article was initally published at DZone. In previous 2 articles, we introduced emr-native ranger integration solution, from this article, we turn to introduce open-source ranger integration. This article will discuss “OpenLDAP + Open-Source Ranger”.

This article was initally published at DZone. In this article, we will introduce the solution against "Scenario 2: Windows AD + EMR-Native Ranger". The same to previous article, we will introduce the soltuion artitecture,.

This article was initally published at DZone. In this solution, OpenLDAP plays authentication provider, all user accounts data store on it, Ranger plays authorization controller, a Kerberos KDC is required. in this sol

This article was initally published at DZone. System security includes two core topics: authentication and authorization. One solves the problem of “Who is s/he?” and the other solves the problem of “Does s/he have permission to perform an operation?”

AWS EMR提供三种内置的Ranger插件，分别是：S3(EMRFS)，Spark，Hive，如果要启用这些插件，需要创建一些特定的IAM Role，以便相关组件能获得适当的权限。AWS EMR针对Ranger的使用，设计了三种IAM Role，分别是：赋予EMR各EC2节点的Role，赋予Ranger插件的Role和赋予其他服务/组件（非Ranger插件）的Role......

本文首发于 InfoQ，写作本系列文章的背景是我们要在大数据平台/企业数据湖场景下给出中心化的用户身份认证方案。此前，我们实现过Windows AD + Kerberos的集成方案，由于Windows AD是LDAP和Kerberos的双重实现，这种天然优势使得Windows AD可以实现真正意义上的（大数据集群的）Kerberos账号与企业用户账号的统一管理。当我们想在OpenLDAP + Kerberos上实现同样的目标时，发现这一领域的知识与方案琐碎而凌乱，缺少统一连贯，脉络清晰的讲解

本文首发于 InfoQ，写作本系列文章的背景是我们要在大数据平台/企业数据湖场景下给出中心化的用户身份认证方案。此前，我们实现过Windows AD + Kerberos的集成方案，由于Windows AD是LDAP和Kerberos的双重实现，这种天然优势使得Windows AD可以实现真正意义上的（大数据集群的）Kerberos账号与企业用户账号的统一管理。当我们想在OpenLDAP + Kerberos上实现同样的目标时，发现这一领域的知识与方案琐碎而凌乱，缺少统一连贯，脉络清晰的讲解

大多数情况下，在创建AWS的EMR集群时，在EC2 instance profile这一项， 我们一般使用默认的EMR_EC2_DefaultRole，如下图所示：但有时候，我们需要根据需要，定制自己的EC2 Role和EC2 Instance Profile，如果这些EC2 Role和EC2 Instance Profile是通过命令行或CloudFormation创建的，那很大概率，你将在创建EMR集群时遇到如下错误：排除Role和Profile本身的配置错误，引发这一问题的原因可能非常低级，但

SSL/TLS的工作原理比较复杂，涉及很多密码学的知识，本文希望用朴素的语言来解释和演绎SSL/TLS的工作原理，同时也是一份个人的学习笔记。

本文以《Hadooop Security》等资料为基础，罗列关于Kerberos的一些重要内容的笔记。文章目录Kerberos的基本思想没有Kerberos时，Hadoop是如何工作的？Kerberos概述1. Principal2. Realm3. KDC3.1 Kerberos数据库3.2 认证服务 （authentication service)3.3 票据授予服务（ticket-gra...