Apache
关注
分享
扫一扫
u4110122855
1.熟悉 Spark、 ElasticSearch、 Kafka、 Solr、 Impala等分布式开源组件
2.熟悉 Spark、 MapReduce 计算框架和工作原理，了解Tez框架
3.熟悉 Scala、 Java、C/C++等编程语言，了解html语言
4.熟悉 Linux 操作系统，能够使用Shell脚本语言编程
5.灵活使用 MySql， Oracle， MS SQL Server 等关系数据库
6.熟悉 Cloudera Hadoop 和纯粹开源 Hadoop 版本的组件
7.有较为丰富的集群部署、开发和维护管理经验
展开
-
Apache Spark大数据分析入门
摘要：Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教程（共四部分）的第一部分。Apache Spark的出现让普通人也具备了大数据及实时数据分析能力。鉴于此，本文通过动手实战操作演示带领大家快速地入门学习Spark。本文是Apache Spark入门系列教转载 2015-11-29 23:07:15 · 822 阅读 · 0 评论 -
云栖会议.武汉峰会(二)
下午分会场有不同主题，即有云计算大数据企业级应用实战，又有商业化和业务化角度来论述大数据应用的，而阿里云计算大数据平台架构是我颇为关心的，故以下只对系统架构进行论述。原创 2016-06-02 23:39:27 · 6510 阅读 · 0 评论 -
云栖会议.武汉峰会(三)
消息中间件原创 2016-06-03 00:04:27 · 609 阅读 · 0 评论 -
Kafka组件研究<三>----Kafka操作
Kafka操作原创 2017-07-05 21:35:26 · 576 阅读 · 0 评论 -
Hadoop和大数据：60款顶级开源工具
说到处理大数据的工具，普通的开源解决方案（尤其是Apache Hadoop）堪称中流砥柱。弗雷斯特调研公司的分析师Mike Gualtieri最近预测，在接下来几年，“100%的大公司”会采用Hadoop。Market Research的一份报告预测，到2011年，Hadoop市场会以58%的年复合增长率（CAGR）高速增长；到2020年，市场产值会超过10亿美元。IBM更是非常看好开源大转载 2017-09-18 11:36:04 · 549 阅读 · 0 评论 -
Kafka组件研究<四>----Kafka API使用
5.1 创建主题Demo5.2 生产者Demo 5.3 消费者Demo 5.4 常见问题问题一：序列化化问题问题描述：key和value序列化无法构造StringEncoder对象。现象展示： 问题原因：参考网上资料需要加以验证才行。问题解决：使用StringSerializer来替换StringEncoder实现原创 2016-12-19 20:40:41 · 229 阅读 · 0 评论 -
Kafka组件研究<五>---- Kafka监控－KafkaOffsetMonitor
kakfka原理及架构原创 2016-12-19 20:43:14 · 334 阅读 · 0 评论 -
Kafka组件研究<六>---- kafka FAQ
6.1 问题一：ZookeeperConsumerConnector问题问题描述：kafka.common.ConsumerRebalanceFailedException: …..can't rebalance after 4 retries现象展示： 问题原因：consumer rebalancing fails (you will see ConsumerRebalanc原创 2016-12-19 20:52:11 · 513 阅读 · 0 评论