kergp9991的博客

01-什么是数据中台大数据的本质是数据的融合，把原来各自孤立的各个系统的数据进行融合、拉通，从而对海量数据进行采集、存储、计算、加工和融合。并且通过对已有的数据分析历史和预测未来。“一切业务数据化，一切数据业务化”，IT时代不断通过各种信息化系统把业务以数据的形式沉淀下来，在传统的烟囱系统开发模式下，企业内部形成多个数据孤岛。在互联网和移动互联网时代产生了公众号、小程序、APP的多种形式的信息化手段，从而加深了系统之间的数据隔裂。散落在各处的数据无法统一使用，更别说支持企业的经营决策，国内的大公司提出了数

idea的database tools 中配置hive起因在开发hive sql的时候需要到hue中运行、查看hive sql的语法错误很麻烦，hive能不能像mysql一样集成在idea开发工具中呢？答案是可以的。jdbc driver 下载由于我使用的CDH-6.3.2-1.cdh6.3.2这个版本的平台，所以要使用对应得jar包下载链接：cloudera cdh6 hive jdbc配置1. 选择dabase tools2. 选择数据源类型3. 配置connection typ

azkaban3.80.1 安装文档下载获取Azkaban如果要安装azkaban， 需要下载源代码在本地编译。azkaban官网：https://azkaban.github.io/下载地址：https://github.com/azkaban/azkaban可以根据tags,选择你要版本azkaban 使用Gradle编译代码，需要java8以上的JDK。在类unix系统上，可以在项目根目录运行如下命令# Build Azkaban./gradlew build# Clea

操作背景cdh平台一般上使用root去安装平台，hadoop中权限是使用hdfs用户去操作的。所以常常会出现用户访问权限问题，如下图，权限没有配置好，即使使用root用户也会有权限问题。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZQp4c5gZ-1586510736131)(44A9CF2E0B514AA4AA07AB35C5CB5B23)]尝试修改添加...