BI构架及相关技术简介(中)

BI系统的架构框架 BI(商业智能)系统的架构框架是确保组织能够有效地收集、整合、存储和分析数据,从而支持决策过程的关键。:这是BI系统的基础,包所有含输入BI系统的原始数据源。这些数据源可以是内部的,如ERP、CRM系统,也可以是外部的,如市场数据和客户数据库。:ETL(提取、转换、加载)过程负责从数据源提取数据,将其转换为适合BI系统需求的格式,并加载到适当的数据存储中。这一过程通常涉及创建一个临时存储区以进行数据清洗和转换,以提高数据质量和准确性。:数据仓库是BI架构的核心,用于存储经过清洗和转换后的数据。 阅读详情


  现在决大多数企业已在其一个或多个部门内采用了计算机商务管理系统,也累积了相当的商业数据。然而,正如业内的那句老话“rich data, poor information”,以前累积的数据,并没有很好的得到利用。Why?并不是企业高层管理人员没有想到,而是这些数据来源太广,格式不统一,并且其中极少量的数据记录格式不正确;同时,累计的数据量相当庞大,上百万条记录才刚起步,某些大型公司每天所产生的商业记录已过千万;而且,某些细节对高层管理人员来说并不重要。他们需要的是一份站在战略层角度统观全局,及时的,在短时间内可以读完,为企业决策服务的统计报表。

  为了实现这一艰巨的目标,BI专家把任务分解成了三个子任务:
  1)为了整合各种格式的数据,清除原有数据中的错误记录,专家们提出了数据预处理的要求——STL(数据抽取、转换、装载);
  2)对预处理过数据,应该统一集中起来,由此产生了元数据(Meta data)、数据仓库(Data Warehouse);
  3)最后,对于集中起来的庞大的数据集,还应进行相应的专业统计,从中发掘出对企业决策有价值的新的机会,这就是OLAP(联机事务分析)和数据挖掘(Data Mining)。

  下面具体介绍一下每个子任务所需要用到的专业技术和辅助工具。
  1)数据预处理(STL:Extraction,Transformation,Load)

  当早期大型的在线事务处理系统(OLTP)问世后不久,就出现了一种用于“抽取”处理的简单程序,其作用是搜索整个文件和数据库,使用某些标准选择合乎要求的数据,将其复制拷贝出来,用于总体分析。因为这样做不会影响正在使用的在线事务处理系统,降低其性能,同时,用户可以自行控制抽取出来的数据。但是,现在情况发生了巨大的变化,企业同时采用了多个在线事务处理系统,而这些系统之间的数据定义格式不尽相同,即使采用同一软件厂商提供的不同软件产品,或者仅仅是产品版本不同,之间的数据定义格式也有少许差距。由此,我们必须先定义一个统一的数据格式,然后把各个来源的数据按新的统一的格式进行转换,然后集中装载入数据仓库中。

  其中,尤其要注意的一点时,并不是各个来源的不同格式的所有数据都能被新的统一格式包容,我们也不应强求非要把所有数据源的数据全部集中起来。Why?原因很多。有可能原来录入的数据中,少量的记录使用了错误的数据,这类数据如果无法校正,应该被舍去。某些数据记录是非结构化的,很难将其转化成新定义的统一格式,而且从中抽取信息必须读取整个文件,效率极低,如大容量的二进制数据文件,多媒体文件等,这类数据如果对企业决策不大,可以舍去。

  目前已有一部分软件厂商开发出专门的ETL工具,其中包括:
  ·Ardent DataStage
  ·Evolutionary Technologies,Inc. (ETI) Extract
  ·Information Powermart
  ·Sagent Solution
  ·SAS Institute
  ·Oracle Warehouse Builder
  ·MSSQL Server2000 DTS

  2)数据仓库  

  上面提到,在进行STL之前,需要先定义一个统一的数据格式。那么,定义出来的统一的数据格式是否需要保存起来,以便在数据仓库日后的演化中使用呢?Yes!随着企业不断变化的商业模式和业务规则,肯定需要对系统进行修改和功能升级。如果弄不清楚之前定义的数据格式的具体含义,我们将无从下手。所以,我们需要一种用来描述数据的数据。早期我们使用的是数据字典(Data Dictionary),数据字典一般包括数据的定义、关系、来源、作用域、格式和用法。但是,随着时间的推移,专家们发现,越来越多的已搭建好的数据仓库希望方便的包容最新的各种格式的结构化和非结构化数据,而传统的基于关系型数据库的数据字典并不能达成这一目标。

  xml出世之后,这种自描述,可无限嵌套扩展,平台独立性的文本数据格式为数据字典的进化提供了相当重要的技术支持,由此产生了基于xml的元数据的概念。并且,目前已有不少的软件系统和数据仓库都采用了xml格的元数据。如微软的.Net,P2P的EMule等。由此可见,元数据并不单单局限运用在数据仓库中。

  由于基于xml的元数据相当灵活,我们可以用元数据来描述复杂的商业业务定义。所以,现在数据仓库中的元数据分为两种:技术元数据和业务元数据。技术元数据(technical meta data)是为企业技术用户和IT部门的员工提供支持的元数据,对于维护和改进系统来所至关重要。而业务元数据(business meta data)是为企业业务用户提供支持的元数据,使业务用户更容易理解统计报表中的信息。

  元数据工具分为两类:一类是将各种元数据集成到集中式仓储的集成工具,另一类是在仓储上执行查询访问的访问工具。一般来说,大多数软件厂商所提供的数据仓库、BI系统中都捆绑了相应的工具。其中包括:
  ·Ardent MetaStage (Infomix)
  ·IBM information Catalog
  ·Brio Enterprise
  ·Business Objects
  ·Cognos Impromptu及Powerplau
  ·Information Advantage Business Intelligence
  ·Microsoft OLAP Services ("Plato")
  ·Microstrategy DSS Web and Server

  数据仓库是BI的基础,就好比厨师的食材。各个数据源的数据经ETL的预处理后,就被送进了数据仓库中。数据仓库有如下4个重要特性:
  ①面向主题的:不同类型的公司,其主题集合是不相同的。
  ②集成的:数据仓库的数据来源很广,数据仓库最重要的目的就是为了集成这些不同数据源的数据。
  ③非易失的:和传统的操作型数据库系统相比,数据仓库通常是以批量方式载入和访问。而且,对于数据仓库中的记录,并不进行一般意义上的数据更新,删除。所有的历史数据都会被保留,通常我们只是不停的批量导入新的数据。
  ④随时间变化的:操作型数据库系统出于性能上的考虑,并不保存系统投入运行后所产生的所有数据,一般只保留最新的60~90天内所产生的数据记录。而且,通常情况下,操作型数据库中一项业务活动只占用一条记录。当业务状况发生变化后,我们只需更新相应的记录。而为了按时间变化发掘业务活动的时序规律,数据仓库中,该业务活动可能同时存在多条记录,除了相应字段的内容不同外,其业务活动的时间记录也不相同。数据仓库中的数据是一系列在某时某刻生成的复杂的快照,由此可见,数据仓库的数据是高度冗余且必须的。

  而且,由于数据仓库的使用对象不尽相同,数据仓库的设计需要考虑其数据单元的细节程度,即粒度。细节程度越高,粒度级就越低,反之亦然。例如:一个简单的交易处于低粒度级,而每个月所有交易的汇总则处于一个高粒度级。通常,数据分析人员使用的数据粒度较低,而高层管理人员所使用的数据粒度较高。粒度同时决定了数据仓库所占用的物理空间的大小,尽管一条交易记录可能只占用200个字节,但是一个月所累积的10万条交易记录就占用了20M个字节。如果按月对每月的所有交易记录进行综合,所得到的记录可能只占用500个字节。

  数据仓库通常的活动是批量载入和查询访问,并不进行一般意义的数据更新,而且其数据冗余程度较高。为了提高查询效率,我们可以采用一些非常规的方法来进行数据分区存储。而且,我们需要对数据仓库中的数据进行方便且有效的监控。

  提供数据仓库技术服务的软件厂商大多是从操作型数据库系统发展起来,其推出的数据仓库都是基于其自身研发的大型数据库产品上,且捆绑了相应的ETL,元数据,OLAP,报表等工具,如IBM的DM2,SAS,Sybase,Oracle,Informix,MSSQL Server等。

  在本节末要说明一下数据集市(Data Mark)。如果说数据仓库是建立在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集,他主要面向部门级业务,并且只面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。然而,由于各个数据集市之间彼此独立,从而形成新的“信息孤岛”,也造成了重复投资。所以,目前越来越多的数据仓库厂商开始提供帮助企业用户整合原有数据集市,构建集中数据仓库的技术服务。在实际项目中,到底是选择数据仓库,还是选择数据集市,应取决于该项目的主要商业驱动。如果企业正忍受糟糕的数据管理和不一致的数据,希望为今后打下良好的基础,则数据仓库的方案比较好。如果该企业迫切需要给用户提供信息,那么可以先构建一个数据集市。而一旦满足了迫切的信息需求后,就应该考虑包含独立数据仓库的数据体系结构的转换计划。


  ·BI构架及相关技术简介(上)
  ·BI构架及相关技术简介(下)

BI构架及相关技术简介(上)   我是一名软件开发人员,目前的主要经验是商业信息管理系统的架构设计和开发。最早了解到的BI实例,是2000年和惠普(HP)某家经销商经理的一次聊天中。当时,该经理极力向我推荐HP美国总部销售管理系统的一个功能,当然,中国本土的经销商也可以通过网络来使用该系统。该系统要求经销商在每销售一台HP的打印机后,必须把客户的信息、联系方式及购机日期录入到系统中去。当然,一开始的劳动是有回报的。一段时间后, 阅读详情

相关推荐

Power BI 简介

目录 1.1Power BI系列组件介绍 1.2Power BI 系列功能介绍 1.3生成可视化报告 1.4零售案例 1.5Power BI的主要特征 1.6Power BI 软件安装 Power Query补充 非关系型表结构数据 Power Query 基本变量类型 结构化数据—列表 结构化数据—记录 结构化数据—表(1) 结构化数据—表(2) Power Pivot补充 筛选上下文与行上下文: ​All族函数 – 忽略指定维度的筛选作用 1.1Power BI系列..

Colorfully_lu的博客 3802

BI体系架构

一、BI介绍 BI(Business Intelligence),中文译名是商务智能。 较为严谨的定义:“商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息,创造和累计商务知识和见解,改善商务决策水平,采取有效的商务行动,完善各种商务流程,提升各方面商务绩效,增强综合竞争力的智慧和能力。” 比较简洁的定义:商务智能好比“数据炼油厂”,即把商业活动中累积的数据加工成可用于支持商业决策的信息。 二、BI架构 1、场景需求 一个BI系统为了满足企业管理者的需求,须做到如下几步: ①整

m0_61607827的博客 6521

Power BI(九)Power Pivot简介以及和Power BI系列组件的关系

Power Pivot简介以及和Power BI系列组件的关系 Power Pivot简介 为什么要学习Power Pivot? Power Pivot是微软自助式商业智能(BI) – Power BI 系列工具的核心组件。以免费加载项的形式,预装在Excel 2013及 2016版本中 (Excel 2010 需要单独安装),用户只需激活便可以使用。通过学习使用Power Pivot...

可乐联盟 5653

BI体系架构及相关技术介绍

一、BI介绍 BI(Business Intelligence),中文译名是商务智能。 较为严谨的定义:“商务智能是企业利用现代信息技术收集、管理和分析结构化和非结构化的商务数据和信息,创造和累计商务知识和见解,改善商务决策水平,采取有效的商务行动,完善各种商务流程,提升各方面商务绩效,增强综合竞争力的智慧和能力。” 比较简洁的定义:商务智能好比“数据炼油厂”,即把商业活动中累积的数据加工成可用于...

初心的博客 1万+

BI的体系架构及相关技术

BI的体系架构及相关技术,介绍了BI系统基本架构和相关技术

.EXCEL+ACCESS工作管理系统-最终版更新(BI报表+数据库技术)

更新内容: 经过近两年使用,发现没有大问题,只有一个:自由查询的时候修改记录,此时不应该修改,应该钻到对应的任务中修改,否则会导致任务修改出错。已经解决。其它用起来都较为完美。下面是介绍。 主要需求: 1.将流水账般的记录按工作任务进行归类排序; 2.提供按照时间段和关键字进行任意搜索。 关键技术: 1.本系统采用EXCEL作为展现前端(VBA开发),SQL视图作为中间业务处理层(筛选、分组、排序),ACCESS数据库作为后台,仿照BI(BUSINESS INTELLIGENCE)商务智能的数据挖掘和数据钻取原理进行开发。 2.报表展现和录入、修改和删除集成在同一页面中。该统前端EXCEL不仅展现报表数据,同时允许记录的新增、修改、删除。 3.报表多维查询和钻取功能。支持数据按照“任务-任务进度”的粒度进行钻取,允许按照“关键字”和“时间段”两个维度进行查询。

BI系统的分布式部署原理和技术实现

关于“分布式系统”的定义,我们先看下书中是怎么说的。《分布式系统原理和范型》一书中是这样定义分布式系统的:“分布式系统是若干独立计算机的集合,这些计算机对于用户来说就像是单个相关系统”。关于这个定义,我们直观的感受就是:首先,这种系统相对来说很厉害,由好几台主机组成。以谷歌、亚马逊等服务商而言,他们的数据中心都由上万台主机支撑起来的。其次,虽然很它很厉害,但对于外人来说,是感觉不到这些主机的存在。也就是说,我们只看到是一个系统在运作。

葡萄城技术团队博客 4130

【毕设课设】基于YOLO v3与LSTM的水位智能识别系统(附完整源码+数据集)

本文详细介绍了基于YOLO v3与LSTM的水位智能识别系统的完整实现方案。该系统通过YOLO v3精准定位水位尺数字,结合LSTM-OCR进行序列识别,并融合霍夫变换检测刻度线,实现高精度水位自动读取。项目提供了从环境搭建、模型训练到集成部署的全流程指南,并附有完整源码和数据集,是理想的毕设课设实战项目。

php55的博客 611

BI学习笔记之二- BI的体系架构与相关技术

BI的体系架构与相关技术 一个BI系统为了满足企业管理者的要求,从浩如烟海的资料中找出其关心的数据,必须要做到以下几步: 1)为了整合各种格式的数据,清除原有数据中的错误记录——数据预处理的要求。 2)对预处理过数据,应该统一集中起来——元数据(Meta Data)、数据仓库(Data Warehouse)的要求; 3)最后,对于集中起来的庞大的数据集,还应进行相应的专

陆云子安的专栏 6102

plc secs半导体通讯协议 PLC 与MES的SECS/GEM通讯方案

符合SEMI E4, E5, E30, E37 的 SECS/GEM通讯方案 专业稳定的产品,持续运行5年都不出错 遵循 SEMI 人机交互设计,提供触摸屏支持让你触手可及。 毫米级的响应,单个messge在5ms以内 MES与PLC之间达到实时性,如采集实时性的数据 每秒支持100条Message以上 快速搭建PLC与MES之间的SECS/GEM桥梁,只需简单配置数据 SECS/GEM介绍 遵循 SEMI 人机交互设计,提供触摸屏支持让你触手可及。 增删改上报数据配置简单,并且一目了然 大量的数据处理.

SECS/GEM 6366

类银河恶魔城游戏开发学习笔记(0)

解决B站搬运【Unity教程】从0编程制作类银河恶魔城游戏P37中moveState和idleState循环切换的问题

Gellar的博客 1448

BI 构架及相关技术简介

我是一名软件开发人员,目前的主要经验是商业信息管理系统的架构设计和开发。最早了解到的BI 实例,是2000 年和惠普(HP)某家经销商经理的一次聊天中。当时,该经理极力向我推荐HP 美国总部销售管理系统的一个功能,当然,中国本土的经销商也可以通过网络来使用该系统。该系统要求经销商在每销售一台HP 的打印机后,必须把客户的信息、联系方式及购机日期录入到系统中去。当然,一开始的劳动是有回报的。一段时间

数据仓库之路 2451

微信小程序推送微信服务号模板消息

微信小程序中发送微信服务号模板消息,无需用户手动确认订阅,无需绑定开放平台,无需使用UnionId。

qq_20751269的博客 1564

BI构架及相关技术简介

我是一名软件开发人员,目前的主要经验是商业信息管理系统的架构设计和开发。最早了解到的BI实例,是2000年和惠普(HP)某家经销商经理的一次聊天中。当时,该经理极力向我推荐HP美国总部销售管理系统的一个功能,当然,中国本土的经销商也可以通过网络来使用该系统。该系统要求经销商在每销售一台HP的打印机后,必须把客户的信息、联系方式及购机日期录入到系统中去。当然,一开始的劳动是有回报的。一段时间后,销售

raekwon的专栏 797

mac(apple silicon)arm64安装spm12详细教程

3.下载matlab runtime R2023b for macOS (macA64),注意必须下载这个,只下载matlab是不可以的。默认安装目录是/Applications/MATLAB/MATLAB_Runtime/R2023b。注意最后的命令,路径根据自己的matlab_runtime安装位置进行调整,然后就可以安装成功了。5. 解压spm12.zip,解压后将文件夹拖到应用程序下(Applications)2.下载spm12,这个版本可兼容mac芯片!6.打开mac终端,输入。

weixin_62332001的博客 2029

面向 Cloud Foundry、ABAP On-Prem 与 ABAP Cloud 的 SAP Fiori 开发全景:工具、流程与实战案例

SAP Fiori开发实战:基于BAS的一站式工程化方法 摘要: 本文系统梳理SAP Business Application Studio(BAS)在Fiori开发中的核心能力,提供三种典型后端(Cloud Foundry/ABAP On-Prem/ABAP Cloud)的对接方案。BAS通过预置Fiori Tools套件、MTA部署工具等扩展,支持从模板创建、可视化建模到构建部署的全流程。文章包含CAP+RAP服务对接、ABAP标准应用扩展等实战案例,重点解析注解驱动开发、Adaptation Proj

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 257

BI构架及相关技术简介(下)

  3)数据分析:OLAP和数据挖掘  OLAP与数据挖掘是一个有机的整体,在OLAP中必定要针对不同的主题数据仓库采用相应的数据挖掘算法来进行数据分析。如果把数据仓库对BI系统的作用比作厨师的食材,那么,OLAP和数据挖掘则是厨具。  联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的,其目的是为了让管理者灵活地对海量数据进行浏览分析。当时,Codd认为联机事

bobcy的专栏 6379

ESP32-C3模组上跑通HTTPS分次传输文件(1)

ESP32-C3模组上跑通HTTPS分次传输文件(1)

phmatthaus的专栏 761

(转)BI构架及相关技术简介

 我是一名软件开发人员,目前的主要经验是商业信息管理系统的架构设计和开发。最早了解到的BI实例,是2000年和惠普(HP)某家经销商经理的一次聊天中。当时,该经理极力向我推荐HP美国总部销售管理系统的一个功能,当然,中国本土的经销商也可以通过网络来使用该系统。该系统要求经销商在每销售一台HP的打印机后,必须把客户的信息、联系方式及购机日期录入到系统中去。当然,一开始的劳动是有回报的。一段时间后

Springsun的专栏 1037

Linux | Ubuntu18.04安装WIFI6 AX201驱动完整教程

本节介绍了如何在Ubuntu18下安装AX201驱动的教程。

九七的博客 8886

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

BI 及其相关技术概览

什么是BI?   商业智能也称作BI,是英文单词Business Intelligence的缩写。商业智能的概念最早在1996年提出。当时将商业智能定义为一类由数据仓库(或数据集市)、查询报表、数据分析、数据挖掘、数据备份和恢复等部分组成的、以帮助企业决策为目的技术及其应用。目前,商业智能通常被理解为将企业中现有的数据转化为知识,帮助企业做出明智的业务经营决策的工具。这里所谈的数据包括来

lutaiji168的专栏 3511

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

上一篇: BI构架及相关技术简介(上)
下一篇: BI构架及相关技术简介(下)
comiunknown
博客等级 码龄22年 58粉丝 36原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值