xiunai78的专栏

概述 ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。 ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS中(这个过程也可以...

11月23-24日，"2017互联网+智慧中国年会"在北京召开。本届年会以"智绘城市 数造未来"为主题，以数字政府、智慧城市、互联网+政务服务、数据治理、信息社会等为主要议题。会议由中国社会科学院信息化研究中心、北京国脉互联信息顾问有限公司联合主办，国脉海洋信息发展有限公司、浙江蟠桃会信息技术有限公司协办，共有来自全国部委、省、市、区县电子政务、智慧城市、大数据主管领导...

修复Reids文件 断电redis文件修复：（docker 中 /data目录） ./redis-check-aof --fix appendonly.aof Redis 集群组建 Redis 集群节点查看 cluster nodes Redis 新增节点 cluster nodes Redis 重新分片 redis-cli --cluster reshard 127.0.0.1:7000 ...

显示sql 的debug logging: level: org: hibernate: SQL: DEBUG jabx 的bug 1.8.0 u161 , u162 存在 当xml 带有换行，CDATA 等会报错问题。 修改版本为 1.8.0 u211 问题解决。 （网上1.8.0 192 解决该bug） webservice （wsdl描...

Nexus Repository OSS 3是一个开源的仓库管理系统，提供了更加丰富的功能，而且安装、配置、使用起来也更加简单方便。OSS 3版本主要支持的仓库（Repository）包括如下： bower docker maven npm nuget pypi raw rubygems yum 其中，对于上述每种类型的Nexus仓库，都分别具有如下主要3种类型： hosted：本地仓库，可以...

本文目录： 一、大数据时代还需要数据治理吗？ 二、如何面向用户开展大数据治理？ 三、面向用户的自服务大数据治理架构 四、总结 一、大数据时代还需要数据治理吗？ 数据平台发展过程中随处可见的数据问题 大数据不是凭空而来，1981年第一个数据仓库诞生，到现在已经有了近40年的历史，相对数据仓库来说我还是个年轻人。而国内企业数据平台的建设大概从90年代末就...

ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的...