实现Spark集群部署 这些公司都经历了什么?

Intuit和Novantas两家公司在采用Spark技术时采取了谨慎的态度,通过限制初始用户访问并寻找坚实的商业用途来逐步推进。Intuit将其应用于网站点击流记录分析,而Novantas则利用Spark作为数据集成引擎,支持银行的市场营销预测模型。

咨询公司获得了客户关于Spark评价的 “实质性”调查。但这项技术尚未成熟,企业用户中关于Spark集群的产品相对较少。他说,“我们对这项技术很感兴趣,Spark是否转化为部署是我们密切关注的事情。”

20161129022512688.jpg

软件公司Intuit和Novantas经过深思熟虑,决定部署他们的第一个Spark集群,限制初始用户访问并寻找坚实的商业用途。

Intuit公司建立了Spark集群,最初用于在网站和进入在线表单的数据用户的财务和会计软件分析点击流记录。但是Intuit的副总裁Bill Loconzolo并不打算使用开源数据处理引擎。

Loconzolo表示,在他的印象中,Spark似乎并不是很灵活。但是尽管Spark集群设置是实验性质的,数据科学家团队也可以使用。Loconzolo说,2016年年底之前,他不打算开放系统。

他想要建立一个基于Cloudera公司Hadoop分布的大数据分析架构,他准备使用Spark等新技术至少六个月,以便判断公司是否做好了准备。

“以前使用大数据技术时,我们有过类似的教训,”他解释说,“有时候,提前做准备是我们避免失败的有效方式。”

Novantas公司的首席技术官和工程主管Kaushik Deka表示,开始使用Hadoop时,他的团队也采取了非常谨慎的战略模式。

“一年前,我们从未使用过大数据平台,”Deka说,“我们完全认同这样的技术,但想要使用这些技术,公司内部文化需要做些真正的努力和转变。”Novantas还必须通过对现有员工进行培训,建立像Spark一样的内部专业工具。

为了避免偏离轨道,该公司非常谨慎地寻找一个坚实的初始业务用于大数据技术。达到搜索高峰时,银行利用其分析服务和软件结合不同的数据集来支持个人客户如何应对市场营销的预测模型。Spark非常适合该应用程序,可以作为一个引擎完成提取、转换和加载数据集成工作。

Gartner分析师Nick Heudecker说,咨询公司获得了客户关于Spark评价的 “实质性”调查。但这项技术尚未成熟,企业用户中关于Spark集群的产品相对较少。他说,“我们对这项技术很感兴趣,Spark是否转化为部署是我们密切关注的事情。”

本文转自d1net(转载)

据人民网消息,5月26日,2018中国国际大数据产业博览会在贵州拉开帷幕,让基于大数据的技术创新和商业模式创新引发新一轮舆情关注。在此背景下,人民创投、人民网舆情数据中心联合发布《中国大数据独角兽企业TOP20榜》,推荐了大数据行业中的20家优秀独角兽企业。 这是继5月19日,人民创投、人民网舆情数据中心在“2018全球独角兽企业高峰论坛”上联合发布《中国独角兽企业价值榜》和《中国瞪羚企业价值榜》后,针对独角兽企业的又一次细分推荐。 推荐的20家大数据独角兽企业业务涉及数据采集存储、分析挖掘、流通服务、技术算法以及人工智能,分布于金融、安防、交通、物流、消费、教育、医疗等多个应用领域,如针对安防领域的商汤科技、服务于互联网金融领域的同盾科技、“医疗大数据”平台医渡云等。 据介绍,榜单由专家评委结合舆情分析系统,从数据复杂度、分析技术、应用场景等角度考察企业的核心技术和创新能力,综合投资价值、社会效应、市场前景和品牌感知等维度,对入围企业进行评价。入围企业标准为:估值在65亿人民币以上、创办时间小于10年的公司企业尚未独立上市或被收购,非其他企业的全资企业,有公开的融资纪录;企业具备较好的投资价值,特别是有较大的成长空间;企业在模式、技术等方面具备领先性,技术密集、创新驱动,能支持国家战略或带动新业态;企业业务积极正向,没有被有关部门查处的重大违法纪录,无重大负面或争议性报道。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值