- 博客(141)
- 收藏
- 关注
RSS订阅转载 企业自有数据格式杂乱，MapReduce如何搞定？
本文作为《Hadoop从入门到精通》大型专题第三章的最后一篇文章，主要介绍了SequenceFile和Avro之外的其它数据格式，以及与MapReduce的兼容性，并介绍了企业常用的自定义数据格式或CSV格式如何作为MapR...
2018-09-26 13:14:07
472
转载 最新！SQL Server 2019将结合Spark创建统一数据平台！
根据其官网最新消息，微软公布了SQL Server 2019预览版。在该预览中，SQL Server不仅通过统一图形和关系数据来进行查询，还通过R和Python模型将机器学习带入数据库。随着数据量和种类的增加，用户需要轻松地...
2018-09-25 14:45:20
472
转载 简单的区块链开发入门：Hyperledger Iroha介绍
Hyperledger Iroha是一个简单的区块链平台，可用于制作可信、安全、快速的应用程序，本文内容来源于Soramitsu联合创始人兼联合首席执行官Makoto Takemiya针对Hyperledger Iroha接...
2018-09-21 17:51:40
1134
转载 如何在MapReduce中使用Avro数据格式？
本文作为《Hadoop从入门到精通》大型专题的第三章后续，主要是对前一章中所提及的Protocol Buffers概念的补充以及如何在MapReduce中使用Avro数据格式。Avro改进了Protocol Buffers，...
2018-09-21 17:51:10
310
转载 Splunk>live!2018中国用户大会北京站大聊安全话题，到底支了哪些招？
自勒索病毒事件发生后，企业对于安全的重视程度达到了新的高度。2018年，根据多家调研机构和网络安全厂商的调查数据来看，2018年上半年对中国网络安全影响最大的就是挖矿和勒索病毒，仅上半年全国共计感染了456万余次，全国247...
2018-09-20 13:36:04
286
转载 Splunk>live!2018北京站激情开场：合格的大数据处理平台到底是什么样子？
作为本届Splunk>live!2018中国用户大会的收官之战，北京站的会场流程以及议题设置更加严谨，并且下午双会场并行，以期真正让所有参会者有所收获。在IT世界，真正的基础设施是什么？一切热门技术的基础又是什么？到底...
2018-09-20 13:17:17
324
转载 蚂蚁金服做区块链：我们绝不发空气币，要做就服务民生！
说起区块链，大家都不陌生，国内太多企业打着研究区块链的招牌公开发币，平日在币圈和矿圈游荡，对外则宣称为链圈。当然，本文的重点主要集中于区块链，对于那些真真假假的“山寨币”，各位还是自行评判吧！区块链是...
2018-09-20 10:03:01
237
转载 如何在MapReduce中使用SequenceFile数据格式？
本文作为《Hadoop从入门到精通》大型专题的第三章第三节，主要介绍如何在MapReduce中使用SequenceFile数据格式。我们在上一篇文章中提到了许多可与MapReduce大数据处理匹配的数据格式，本节将首先介绍S...
2018-09-19 16:09:36
307
转载 Splunk>live!2018中国用户大会首设深圳场，初战告捷！
上海站的热浪还未消散，Splunk>live!2018中国用户大会的数据热火便迅速点燃了深圳站！深圳是一个生活节奏很快的城市，一如在中国迅速成长的Splunk。本届大会共分为上海、深圳和北京三站，数千位业界同仁共同探讨...
2018-09-18 13:52:58
185
转载 MapReduce中对大数据处理最合适的数据格式是什么？
在本章的第一章节介绍中，我们简单了解了Mapreduce数据序列化的概念，以及其对于XML和JSON格式并不友好。本节作为《Hadoop从入门到精通》大型专题的第三章第二节将教大家如何在Mapreduce中使用XML和JSO...
2018-09-17 17:07:44
682
转载 Splunk>live!2018用户大会上海站落幕：探险家精神一览无遗！
Splunk，一家历史悠久且有着浓浓探险家精神的企业。每次读到Splunk这个单词，总能让我们联想到另一个单词“Spelunking”，Spelunking意即探险，这是Splunk名字的灵感来源，也像极了Splunk所做的...
2018-09-15 16:07:09
348
转载 MapReduce数据序列化读写概念浅析！
MapReduce为处理简单数据格式（如日志文件）提供了简明的文档支持，但MapReduce已经从日志文件发展到更复杂的数据序列化格式（如文本，XML和JSON）处理，本章的目标是记录如何使用常见的数据序列化格式，以及检查更...
2018-09-13 17:52:06
203
转载 教程：Apache Spark SQL入门及实践指南！
Apache SparkSQL是一个重要的Spark模块，我们可以使用Python、Java和Scala中的DataFrame和DataSet简化结构化数据处理流程，该过程从企业收集数据并形成分布式数据集合。使用Spark ...
2018-09-12 17:47:25
325
转载 Hadoop生态系统各组件与Yarn的兼容性如何？
作为Hadoop 2.0中出现的资源管理系统，Yarn总体上仍然是master/slave结构，在整个资源管理框架中，resourcemanager为master，nodemanager是slave。作为Hadoop生态系统...
2018-09-11 15:40:52
216
转载 如何在Ubuntu-16.04上配置Apache Kafka集群！
在本教程中，我们将学习如何在基于Ubuntu的环境中安装开源Apache Kafka平台以及Java SDK。介绍Apache Kafka是一个免费的开源流处理软件平台，由Apache软件基金...
2018-09-11 15:40:29
172
转载 胡嘉伟 ：实时计算在提升播放体验的应用实践
【IT168 专稿】本文根据胡嘉伟老师在2018年5月12日【第九届中国数据库技术大会】现场演讲内容整理而成。讲师简介：胡嘉伟，爱奇艺高级工程师。2016年毕业于上海...
2018-09-10 16:53:44
306
转载 三大亮点燃爆Splunk>live!2018用户大会北京收官之站！
经历了认知到初步探索的市场教育阶段，大部分企业都已经认识到数据对业务的驱动价值并处于数字化转型的关键时期。虽然，许多参与数字化竞争的企业都聘请了具有远见的专家，但是这些专家在制定必要的变革方案上依旧面临着巨大挑战，正如杰克·...
2018-09-07 08:16:38
296
转载 Splunk>live!2018用户大会北京站干货满满，精彩议题嗨爆全天！
经历了认知到初步探索的市场教育阶段，大部分企业都已经认识到数据对业务的驱动价值并处于数字化转型的关键时期。虽然，许多参与数字化竞争的企业都聘请了具有远见的专家，但是这些专家在制定必要的变革方案上依旧面临着巨大挑战，正如杰克·...
2018-09-07 08:12:45
234
转载 Redis Enterprise新版优化线性扩展，性能测试有点厉害！
在Redis Enterprise 5.0版本中，其团队引入了对开源（OSS）集群API的支持，允许Redis Enterprise集群通过添加分片和节点以线性方式进行扩展。本文给出了第一个线性扩展基准测试，并展示了这种无限...
2018-09-06 21:42:00
745
转载 MapReduce如何作为Yarn应用程序运行？
本文作为《Hadoop从入门到精通》第二章的第二节，主要介绍Yarn出现之后，MapReduce体系架构发生的改变、其在Hadoop集群中的运行原理以及让MapReduce作为Yarn之上的应用程序正常运行并保持向后兼容性等...
2018-09-06 21:28:01
181
转载 首发|Splunk>live!2018中国用户大会上海站完整议题曝光！
在企业数字化转型的关键时期，我们应该如何利用机器数据推动这一过程？如何从中挖掘业务价值获取业务洞察？如何实现应用程序性能的有效监控和管理......这一切问题的答案就隐藏在SplunkLive！上海站，上百位业界同仁、数...
2018-09-06 15:00:32
129
转载 Splunk>live!2018中国用户大会深圳站最全议程出炉！
作为大数据业界的年度盛会，Splunk>live!2018中国用户大会深圳站将于2018年9月14日正式举行。在此次大会上，Splunk将带您“亲”听数据，把臃肿的机器数据转换为答案，演示如何通过Splunk方案和机器...
2018-09-06 14:59:02
154
转载 学会“亲”听数据，Splunk>live!2018中国用户大会解锁数据洞察难关！
作为大数据业界的年度盛会，Splunk>live!2018中国用户大会深圳站将于2018年9月14日正式举行。在此次大会上，Splunk将带您“亲”听数据，把臃肿的机器数据转换为答案，演示如何通过Splunk方案和机器...
2018-09-06 14:56:53
202
转载 伍翀 ：大数据实时计算Flink SQL解密
【IT168 专稿】本文根据伍翀老师在2018年5月12日【第九届中国数据库技术大会】现场演讲内容整理而成。讲师简介：伍翀，阿里巴巴高级研发工程师，花名“云邪”，阿里巴巴计...
2018-09-06 14:56:34
453
转载 学习Hadoop生态第一步：Yarn基本原理和资源调度解析！
本文作为《Hadoop从入门到精通》专题第二章的第一小节（第一章：《Hadoop生态系统及运行MapReduce任务介绍》，文章链接：http://blog.itpub.net/31077337/viewspace-2213...
2018-09-05 17:01:02
211
转载 第一章：Hadoop生态系统及运行MapReduce任务介绍！
我们生活在大数据时代，企业日常需要处理的数据量超出了单个主机的存储和处理能力。大数据带来了两大基本挑战：存储和处理大量数据以及理解数据并将其转化为竞争优势。通过高效存储和计算能力，Hadoop的出现填补了市场空白...
2018-09-04 17:29:45
405
转载 SplunkLive！上海站即刻点燃|面对庞大的机器数据，我们如何获取业务价值？
从强大的IT运营和动态安全形势到复杂的业务分析和物联网生态系统，企业内部的机器数据量日益庞大，我们从不否认数据的价值，但对如何利用这些数据从而对业务产生价值一筹莫展；我们从不否认数字化转型的重要性，但对这个过程中出现的种种挑...
2018-09-04 15:18:21
106
转载 罗江宇：Flink Streaming在滴滴的大规模生产实践
【IT168 专稿】本文根据罗江宇老师在2018年5月12日【第九届中国数据库技术大会】现场演讲内容整理而成。讲师简介：罗江宇，滴滴出行资深研发工程师。浙江大学硕士，曾就职新浪...
2018-08-31 17:09:23
211
转载 Python图像处理进阶：多种图像变换算法实践！
在上一篇文章中，我们已经介绍了利用Python进行图像分析的基本知识和操作（《教程：使用Python进行基本图像数据分析！》http://blog.itpub.net/31077337/viewspace-2213026/）...
2018-08-30 17:48:58
1439
转载 胡永：联想集团IT监控体系架构变革之路！
在全球500强企业中，联想排在200位左右。对于联想，大部分用户更熟悉的可能是其电脑和移动业务，对于智能设备和云应用相对陌生。目前，联想已经发展成为全球领先的智能设备及企业IT解决方案提供商，其业务遍布全球160多个国家和地...
2018-08-29 13:24:26
165
转载 教程：使用Python进行基本图像数据分析！
本教程将介绍如何导入图像并观察其属性、拆分图层以及查看灰度。在正式开始之前，我们先来了解一些关于像素的基础知识。计算机将图片以像素形式存储，这就像马赛克一样。如果像素太大，很难制作光滑的边缘和曲线。相反，我们使用...
2018-08-28 17:59:55
814
转载 余利华：网易大数据平台架构实践分享！
【IT168 专稿】本文根据余利华老师在2018年5月10日【第九届中国数据库技术大会】现场演讲内容整理而成。讲师简介：余利华，网易大数据总经理，负责网易数据科学基...
2018-08-27 15:49:27
1489
转载 教程：在Ubuntu 18.04.1上安装Elasticsearch
本文，我们将在Ubuntu 18.04.1上安装Elasticsearch，包括Logstash和Kibana，Elasticsearch是目前企业中被广泛使用的搜索和可视化数据工具。准备工作...
2018-08-24 15:47:44
340
转载 使用Scala开发Apache Kafka的TOP 20大最佳实践！
本文作者是一位软件工程师，他对20位开发人员和数据科学家使用Apache Kafka的方式进行了最大限度得深入研究，最终将生产实践环节需要注意的问题总结为本文所列的20条建议。Apache Kafk...
2018-08-23 17:42:18
126
转载 阿里吴永明：高可用大数据计算服务如何持续发布和演进！
【IT168 专稿】本文根据吴永明老师在2018年5月10日【第九届中国数据库技术大会】现场演讲内容整理而成。讲师简介：吴永明，阿里巴巴高级技术专家。阿里巴巴通用大数据计算平台M...
2018-08-22 14:22:37
541
转载 Uber永久定位系统实时数据分析过程实践！
根据Gartner所言，到2020年，每个智慧城市将使用约13.9亿辆联网汽车，这些汽车配备物联网传感器和其他设备。城市中的车辆定位和行为模式分析将有助于优化流量，更好的规划决策和进行更智能的广告投放。例如，对GPS汽车数据...
2018-08-20 17:38:08
328
转载 实时工业大数据产品实践——上汽集团数据湖
【IT168 专稿】本文根据侯松老师在2018年5月12日【第九届中国数据库技术大会】现场演讲内容整理而成。讲师简介：侯松，上汽集团资深大数据架构师、Oracle ACE、PMP...
2018-08-17 16:55:02
1028
转载 在Ubuntu 18.04.1上安装Hadoop集群
本文将介绍如何在基于Ubuntu的系统上安装多节点Hadoop 3.1.1集群，作者将在Ubuntu 18.04.1上安装一个包含HDFS的三节点Hadoop集群。首先，我们需要为集群创建三个虚拟机，创建一个具有...
2018-08-17 16:41:48
188
转载 非易失性内存在阿里生产环境的首次应用：Tair NVM最佳实践总结
本文介绍了非易失性内存在阿里巴巴集团生产环境的首次应用：线上运行的情况；使用NVM遇到的问题和优化的过程；最后，总结性地给出了基于NVM构建缓存服务的设计要点，希望这些实践总结能对大家的工作有所启发。...
2018-08-17 09:51:23
102
转载 洪增林：网易游戏统一数据流平台架构与实践
【IT168 专稿】本文根据洪增林老师在2018年5月12日【第九届中国数据库技术大会】现场演讲内容整理而成。讲师简介：洪增林，网易游戏资深开发工程师，网易游戏数据中心开发负责人...
2018-08-16 09:52:31
315
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人