- 博客(5)
- 收藏
- 关注
RSS订阅原创 Ldap服务器搭建流程
之前搭建了个Ldap服务器，今天想要再另一台机器上搭建的时候发现很多地方还是会遇到坑，于是将搭建过程梳理记录下来，避免以后再遇到坑一、安装配置ldap1、 安装ldap yum install -y openldap*2、拷贝配置文件 cp /usr/share/openldap-servers/slapd.conf.obsolete /etc/openldap/slapd...
2018-05-25 14:29:03
9117
原创 Superset使用LDAP登陆模式
使用Superset过程中的又一个坑，按照配置文件config.py中的提示去配置，能成功才有鬼了。。。不断的打日志，追溯，终于搞定了配置：配置：from flask_appbuilder.security.manager import AUTH_DB,AUTH_LDAP //这里的LDAP得自己加上AUTH_TYPE = AUTH_LDAPAUTH_LDAP_SERVER = "ldap:/
2017-12-31 10:39:37
5110
2
原创 在Superset中使用SparkSQL详解
Superset官方文档中提供了一种SparkSQL的使用方法，然而似乎并不起作用，无意中看到一篇文章提到impyla可以解决这个问题，于是实验了一下，填了诸多坑之后，终于搞定了，把详细过程记录下来，供大家参考，顺便做个备忘~Superset安装配置这个网上有太多实例，不再赘述SparkSQL使用配置1、安装impyla pip install impyla2、在Superset中配置Spa
2017-12-31 10:19:19
5344
1
原创 Gobblin Kafka Source源码分析
Kafka Source主要任务是根据配置文件指定的Topic，读取相应的信息，划分Work Unit。一、getWorkunits() 该函数是重写的抽象类Source中的getWorkunits()，划分Work Unit过程由此开始。函数实例化KafkaWrapper用于访问Kafka，获取相关信息。KafkaWrapper是G
2017-04-18 15:04:52
1600
翻译 Linkedin Gobblin：Hadoop 通用数据抽取框架
近期需要使用Gobblin，翻看了下官方文档，结合自己的理解翻译总结了一下。一、简介 Gobblin是一个通用的数据抽取框架，可以从一些数据源（数据库、FTP、文件、Kafka以及自定义的数据源）抽取海量数据到Hadoop上。框架在同一个地方管理所有不同数据源的元数据，同时具备可扩展、容错、数据质量保证等特性，是一个高效的数据抽取框架。二、Gobblin架构 （
2017-04-14 15:57:57
3960
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人