硬学AI工坊

文章目录1. 背景说明2. 初级难度 - 无认证Kafka3. 中级难度 - SASL/PLAIN认证Kafka4. 有人捣乱的难度 - Ambari中SASL/PLAIN认证Kafka我曾经在不同的场景下给Kafka配置域名，难度各有不同，这篇文章按照从易到难的顺序介绍三种难度下给Kafka配置域名的方法。1. 背景说明在默认的Kafka配置下，客户端与Kafka集群通信都是通过brok...

文章目录1. 环境说明2. 开启ACL3. 原生的ACL命令producer权限consumer权限4. 简化的ACL脚本之前我们介绍过如何为Kafka开发SASL/PLAIN认证插件，在实际的生产中，一般身份认证和授权管理大多都是并存的，所以本文我们来学习如何使用Kafka的ACL命令，并且根据实际工作经验，开发了简化的ACL脚本，大大提高了工作效率。简化的ACL脚本已经上传至github...

文章目录背景解决方案插件日志问题背景我们的Kafka一直是没有安全机制地裸奔，最近需要给它升个级，加上认证和授权机制，认证机制是SASL/PLAIN，授权是Kafka自带的ACL授权。SASL/PLAIN认证机制开启方法：修改Kafka配置文件 server.properties 或者其它名字（CDH和Ambari的发行版可能文件名有所差异）sasl.enabled.mechanis...

文章目录准备工作代码构建工作中需要使用Java API来连接Sentry，但是很神奇地发现Sentry的官网没有API文档，经过一番搜索和试错之后最终搞定了，在此分享一下。准备工作假设sentry服务运行在 SENTRY_HOST上，Sentry RPC的默认端口是 8038。一般来说，如果在CDH里使用了Sentry服务的话，Kerberos应该已经启用了，所以连接Sentry需要进行Ke...

文章目录准备工作兼容性校验检查系统最低要求准备环境搭建本地仓库克隆官方库克隆Ambari官方库克隆HDP官方库启动本地仓库安装Ambari Server配置Ambari Server启动Ambari Server安装Ambari Agent和需要的服务Ambari和CDH一样，是较为流行的hadoop管理工具（虽然Hortonworks已经被Cloudera收购了），这篇文章我记录了如何从头安装...