BusinessIntelligence/DataWareHousing
关注
分享
扫一扫
dbLenis
Even the longest journey begins with a single step
展开
-
深度解密 5 类大数据架构及实现
前几天读到白发川的一篇文章《对比解读五种主流大数据架构的数据分析能力》，文中详细总结了各类数据架构的应用以及原理。作为一名在数据仓库耕耘多年的技术人员，对于其中的一些技术细节还是破解兴趣的，所以随着作者的思路写下了我对主流数据架构的理解（如无特殊说明，以下涉及到这篇文章一律用《主流大数据架构》来代替）。作者的原文地址如下： https://mp.weixin.qq.com/s?__biz=M...原创 2018-08-01 00:20:20 · 36822 阅读 · 4 评论 -
data mining - 实用机器学习工具与技术 读书笔记 （ 三 ）
Decision Tree ， 决策树：原创 2015-05-14 21:40:34 · 841 阅读 · 0 评论 -
data mining - 实用机器学习工具与技术 读书笔记 （ 四 ）
Entropy , ID 3, C4.5 , Decision Tree原创 2015-05-20 19:34:22 · 1207 阅读 · 0 评论 -
Programming on SSIS - 自定义编程 （ 一 ）
custom programming on ssis packages原创 2015-05-12 20:36:14 · 1089 阅读 · 0 评论 -
Discrete Mathematics and Its applications - 离散数学及其应用 读书笔记 （ 一 ）
《 Discrete 》一书中， 讲到 Bayes 理论的第二个应用，就是求解得病概率的问题。原创 2015-05-10 17:47:58 · 1664 阅读 · 0 评论 -
Discrete Mathematics and Its applications - 离散数学及其应用 读书笔记 （ 二 ）
《 Discrete 》书中关于 Bayesian Spam Filter 的应用原创 2015-05-10 16:59:35 · 2473 阅读 · 0 评论 -
data mining - 实用机器学习工具与技术 - 读书笔记（ 二 ）
Bayes, 贝叶斯理论是用来计算概率问题的。原创 2015-05-09 17:58:02 · 947 阅读 · 0 评论 -
data mining - 实用机器学习工具与技术 - 读书笔记（ 一 ）
data mining - 实用机器学习工具与技术原创 2015-05-08 18:14:31 · 1199 阅读 · 0 评论 -
PipeLineExecutionPlan in SSIS 2008
默认情况下，在ssis中task的logmode默认是UseParentSetting,所以在package的"Configure SSIS Logs" 窗口中，是不能为data flow task指定为"PipeLineExecutionPlan" 和"PipeLineExecutionTrees"的events的。要实现为这两个event提供Logging，需要把data flow task的原创 2012-06-17 00:25:55 · 1047 阅读 · 0 评论 -
BI市场象限（转载）
Magic Quadrant for Business Intelligence Platforms6 February 2012 ID:G00225500Analyst(s): John Hagerty, Rita L. Sallam, James RichardsonVIEW SUMMARYIn 2011, business翻译 2012-03-24 00:35:47 · 8334 阅读 · 0 评论 -
SSIS Additional Components Projects
Are you really crazy at SSIS ?Get most out of the following Website: http://ssisctc.codeplex.com/翻译 2012-02-26 22:41:18 · 568 阅读 · 0 评论 -
SQL SERVER SERVICE BROKER - QUEUE Retention
在创建QUEUE的时候，指定retention也很重要。。1. 如果retention=on.那么即使message被receive之后，还是留在了queue里面，直到这个conversation被endALTER QUEUE [dbo].[targetQueue] WITH STATUS = ON , RETENTION = ON , POISON_MESSAGE_HANDLIN原创 2012-02-23 22:24:28 · 1264 阅读 · 0 评论 -
SSIS - NoMatchBehavior Error fail Component
在SSIS中，使用lookup transformation时候，如果将“NoMatchBehavior"设置成为”Treat rows with no matching entries as errors.“,那么会导致使得整个task fail的情况，如果将这个属性设置为”Send rows with no matching entries to the no match output.“则不原创 2012-02-23 00:27:55 · 1776 阅读 · 0 评论 -
《 Discrete Mathematics and its Applications 》 离散数学及其应用 读书笔记 （ 三 ）
Tree 的作用： 1 Binary Search Tree 2 Decision Tree 3 Prefix code ( Huffman )1 Binary Search Tree:原创 2015-05-17 22:58:41 · 1700 阅读 · 0 评论 -
data mining - 实用机器学习与技术 读书笔记（六）
分类挖掘里面，有一种算法叫 Covering algorithm . 字面翻译 - 覆盖算法。原创 2015-05-27 22:29:11 · 966 阅读 · 0 评论 -
个人公众号
公众号原创 2017-08-29 21:53:45 · 958 阅读 · 0 评论 -
一小时快速搭建 Hive
Hive 的安装配置，比起 hadoop 来简单了许多。参考这篇可以得到更多细节。http://note.youdao.com/noteshare?id=ad62dd69f5c66cd616aa41f70789f93c今天要做的事情，有两件：在 Mac 上安装 MySQL ;在 Mac 上安装Hive 2.2.0, 并且以安装好的 MySQL 做为 Hive 的 MetaDat原创 2018-01-14 15:59:23 · 1091 阅读 · 0 评论 -
搭建 Sql Server 2008 R2 Failover Cluster
上半年的任务， 有一项是关于 sql server advanced topic 的，advance topics 里面又有一项重要的是关于集群。那就有的研究了。sql server 的集群，英文全名称叫 Failover Clustering, 属于高可用性的范畴。 简单来说，提供的作用， 就是保证 7 X 24 小时持续不断的提供服务，及时当中有个别服务器宕机了，其他服务器会无缝的顶上去，原创 2016-03-31 22:51:32 · 7580 阅读 · 1 评论 -
ElasticSearch 查询小结之一
1 - inline 查询 在Restful API中，连同查询参数一起，指定查询关键字： curl -XGET 'Http://localhost:9200/ebook/book/_search?q=Elastic&prettry=true 2 - 查询 DSL 在使用Restful API检索文档的时候，使用复杂的查询条件，比如多条件查询（复合查询），更改积分权重等：c原创 2017-08-06 23:38:14 · 1962 阅读 · 0 评论 -
ElasticSearch Remote Access
本想着把ElasticSearch 服务装在vmware的CentOS中，让本机的c#程序去装载数据到ES。 搭建的过程着实费了一点劲。原本在vmware中安装好ElasticSearch，基于默认安装，访问ES的默认URL是localhost:9200. 那想当然的以为，想从主机访问虚拟机的9200端口，只需要把localhost替换成虚拟机的IP地址就可以了。IFConfig一查IP, 1原创 2017-08-12 12:16:43 · 763 阅读 · 0 评论 -
数据库架构分析-之一
前几天在看 MongoDB 权威指南的时候，看到他的架构非常清晰，配置也非常简单。今天又看到 58沈剑在他的微信里写关于数据库架构的文章，读来非常顺口，所以也总结下我自己的理解。*想看沈剑的文章，可以看这里的链接： https://mp.weixin.qq.com/s?__biz=MjM5ODYxMDA5OQ==&mid=2651960378&idx=1&sn=971a8db3251a232原创 2017-09-09 23:41:54 · 737 阅读 · 0 评论 -
MongoDB 开发
MongoDB 开发原创 2017-05-09 23:34:42 · 1086 阅读 · 0 评论 -
简单的几个 T-SQL 操作 XML 的小例子
T-SQL, XML原创 2016-03-31 20:08:31 · 1659 阅读 · 0 评论 -
BO SDK - 列出所有 web intelligence 报表用到的 universe object
import com.businessobjects.rebean.wi.DataProvider;import com.businessobjects.rebean.wi.DataProviders;import com.businessobjects.rebean.wi.DocumentInstance;import com.businessobjects.rebean.wi.Pr原创 2016-02-04 23:57:33 · 1810 阅读 · 0 评论 -
Probability and Statistics for Engineering and The Sciences 概率论与数理统计 读书笔记（一）
统计分为两类： descriptive statistics 和 inferential statistics , 中文大概可以翻译为： 描述统计和推断统计。原创 2015-06-04 21:52:33 · 4374 阅读 · 0 评论 -
data mining - 实用机器学习与技术 读书笔记（七）
association : coverage ; accuracy原创 2015-05-28 21:57:34 · 749 阅读 · 0 评论 -
data mining - 实用机器学习工具与技术 读书笔记 （ 五）
ID3, C4.5原创 2015-05-21 22:40:08 · 943 阅读 · 0 评论 -
Service Broker Simple Example
--select name, database_id, service_broker_guid, is_broker_enabled from sys.databases;--1 one process messages table for storing sending message action-- create table imessages ( Id uniqueidenti原创 2012-02-23 00:18:14 · 839 阅读 · 1 评论 -
Erwin pre-script and post-script 触发
Erwin 中，可以自定义 pre-script 和 post-script， 那么这些自定义的script 什么时候触发呢？除了保证在table右击的选项里面勾选了pre- and post-script之外，table级别的script是需要你新建或者丢弃一个table的时候才触发的，如果仅仅是修改了table的某个字段，script是不会触发的 。- - 记在修改数据原创 2011-11-13 11:46:22 · 1218 阅读 · 0 评论 -
Dimensional Modelling - Fact Table Grain
Kimball - ETL Toolkit 指出， fact table有三种类型：1.） Transaction Fact Table -- 特点是即时完成2.) Periodic Snapshot Fact Table --特点是很多Facts，这些Fact必须在某一个特定的时间范围内计算得到3.) Accumulating Sna翻译 2011-11-17 23:18:27 · 1387 阅读 · 0 评论 -
全文检索、数据挖掘、推荐引擎系列---技术架构(转载）
/********转自--http://blog.youkuaiyun.com/yt7589/article/details/6673157 *************************/在后web2.0时代，简单的允许用户产生内容，连接用户组成社交网络，满足用户个性化转载 2011-08-31 14:33:27 · 726 阅读 · 0 评论 -
oracle OLAP - OLAP_TABLE
最近在使用Oracle OLAP方面有些心得，写一下笔记：Oracle data warehouse有很多实现方法，我知道的有两种：一种是ROLAP，基于fact table, dimension table,这些table都基于relational table，原创 2011-08-29 15:31:52 · 4407 阅读 · 2 评论 -
推荐 SpaceSniffer - windows上查看空间利用的利器
原创 2011-09-21 10:00:24 · 790 阅读 · 0 评论 -
维度表更新方法 - 增量更新
维度表更新方法- 增量更新总结：/******批量导入，从source表到stage target表，赋相应标识位:目的是找出新增加的和经过修改的记录******/begin merge into emp_t t using (selec原创 2011-09-01 17:04:15 · 2558 阅读 · 0 评论 -
GEOQLIK的地图展现
<br />自打5月11日开始，就和GEOQLIK的DAMIEN联系了，两个母语都不是英文的地球人，居然聊的挺欢，下面是他给我的一份QEOQLIK的一个DEMO，给他做一个广告<br /> <br />原创 2010-06-26 14:40:00 · 1667 阅读 · 1 评论 -
QLIKVIEW的商业智能
SOMETHING ABOUT QLIKVIEW原创 2010-06-26 14:32:00 · 2352 阅读 · 4 评论 -
在REPORTPORTAL上成功部署了OLAP报表，兴奋
在REPORTPORTAL上成功部署了OLAP报表，兴奋 http://hi.youkuaiyun.com/space-275744-do-album-picid-501310.html http://hi.youkuaiyun.com/space-275744-do-album-picid-501311.html 值得纪念一下原创 2010-03-24 12:39:00 · 1232 阅读 · 0 评论 -
BUSINESS OBJECTS
花了一个礼拜，学了一下CRYSTAL REPORT 2008和CRYSTAL XCELSIUS ENGAGE 2008，效果确实不错，但是有局限，看来要学一下BUSINESS OBJECTS ENTERPRISE. XCLESIUS嵌入的FLASH动态效果，和CRYSTAL REPORT 整合在一起，由REPORT提供XCLESIUS 模型需要的数据，实现动态实时报表，8错8错。原创 2010-03-10 15:27:00 · 716 阅读 · 2 评论 -
SSAS用户配置
SSAS SERVER: WINDOWS 2003 SERVER R2/SSAS SERVER 2005 域名:MICRO.COMSSAS CLIENT: WINDOWS 2003 SERVER /SSAS MS: 域名:INFOS.COM SERVER是在集团公司的域中(MICRO.原创 2009-12-04 09:25:00 · 1619 阅读 · 0 评论 -
同比及环比的KPI使用
因为偶可怜的本本没有办法装SHAREPOINT 2007，（sharepoint2007必须架构在SERVER 2003上，曾经装WINDOWS SERVER 2008，可惜本本跑得太吃力了，无缘SHAREPOINT），所以做研究的时候只能将EXCLE2007做前端的展现了；废话少说，上礼拜做KPI的研究，（sql server 2005 trial版本的kpi和calculation，不能用原创 2009-07-11 16:28:00 · 1752 阅读 · 0 评论