文武傲群雄，彳亍定江山

功能介绍（python模拟产生日志，flume采集日志文件更新【一分钟一更新】，作为kafka的生产者连接存入topic，idea编写kafka消费者消费数据，消费的同时存储至hbase）步骤1.编写python日志产生程序generatorLog.py2.定时调用py执行日志产生定时运行程序crontab -e*/1 * * * * /home/hadoop/project/s...

DT 时代，银行业务趋向敏态化，数据量呈现出爆炸式增长态势，这些蕴涵无限价值的大数据给整个银行体系带来了创新动能，成为银行提升竞争力的关键因素。从业界数据管理和数据利用的趋势来看，数据平台进化已成为各银行急需解决的问题。如何选择进化路径?本期，我们邀请了 Kyligence 资深解决方案架构师李明江分享他对银行业数据平台进化的洞察。银行业是最早进行电子化、信息化建设的行业之一，也是最早发掘数...

讨论一：先来谈谈企业搭建大数据分析平台的背景。1、搭建大数据平台离不开BI。在大数据之前，BI就已经存在很久了，简单把大数据等同于BI，明显是不恰当的。但两者又是紧密关联的，相辅相成的。BI是达成业务管理的应用工具，没有BI，大数据就没有了价值转化的工具，就无法把数据的价值呈现给用户，也就无法有效地支撑企业经营管理决策；大数据则是基础，没有大数据，BI就失去了存在...

基于数据挖掘的9大主要成熟技术以及在数据化运营中的主要应用： 1、决策树 2、神经网络 3、回归 4、关联规则 5、聚类 6、贝叶斯分类 7、支持向量机 8、主成分分析 9、假设检验1　决策树决策树（Decision Tree）是一种非常成熟的、普遍采用的数据挖掘技术。之所以称为树，是因为其建模过程类似一棵树的成长过程，即从根部开始，到树干，到分枝，再到细枝末节的分叉，最终生...

摘要目前工程企业所使用数据中心，多采用传统技术建设，普遍存存在着 建设成本高、扩展性不强、计算处理及分析挖掘能力有限的缺点。为了满足基于大数据的数据存储、处理、分析及应用需求，结合并行计算、大规模数据分析挖掘、线性扩展、全类数据支持等技术的企业级数据中心能够有效的实现全业务、全层级、全类型数据资源的集中整合和分析。 目前，大部分工程行业企业所构建的数据中心积累了大量的结构化数据、非结构化数据...

一、SCADA系统企业数据自营模式企业自身拥有海量数据和大数据技术，同时具备一定的分析能力，能够根据数据分析结果改进现有产品或预测未来，从而使企业获得利润的商业模式是企业数据自营模式。不是所有的企业都适应与这一商业模式，这种商业模式的成功运行建立在4个条件之上。首先，数据来自公司内部，可以是生产经营信息或管理信息;其次，拥有先进的大数据技术，能够对信息进行充分的挖掘和提炼;再次，具备高效的...

难懂的商业模式互联网时代的到来，我们似乎越来越看不懂现在的商业模式。为什么我们免费使用百度搜索，这家公司还可以有如此高的收入？为什么不拥有一辆出租车的UBER(优步)成了最大出行平台，不拥有一个房间的Airbnb(爱彼迎)成了最大的酒店平台？为什么我们完全不熟悉的网红、主播收入可以轻松上亿？面对这个熟悉又...

外面有成千上万的大数据工具。它们都承诺可以为你节省时间和资金，并帮助发掘之前从来见过的业务洞察力。虽然确实如此，可是面对那么多的选择，想理清这么多的工具谈何容易。哪一种工具适合你的技能组合?哪一种工具适合你的项目?为了替你节省一点时间，并帮助你首次选对工具，我们列出了我们青睐的几款数据工具，涉及数据提取、存储、清理、挖掘、可视化、分析和整合等领域。数据存储和管理如果你准备处理大数据，就要考...