
开源框架/hadoop/hbase/spark
程猿薇茑
程序员一枚,老实人。订阅作者专栏合集,可以看所有付费文章。曾在语义Web、移动出行、金融科技行业。
展开
-
kafka详细教程
kafka详细教程,Kafka面试题。kafka最初是由Linkedin公司基于Scala和 Java语言开发的分布式消息发布-订阅系统,现已捐献给Apache软件基金会。Kafka 最被广为人知的是作为一个消息队列系统存在,而事实上kafka已然成为一个流行的分布式流处理平台。其具有高吞吐、低延迟的特性,许多大数据处理系统比如storm、spark、flink等都能很好地与之集成。本文详细介绍了Kafka的实战知识。原创 2020-04-22 13:43:07 · 19711 阅读 · 15 评论 -
Flink教程
Flink教程。Flink 是一个同时具备流数据处理和批数据处理的分布式计算框架。flink代码主要是由 Java 实现,部分代码由 Scala实现。Flink既可以处理有界的批量数据集、也可以处理无界的实时数据集。就业界的使用情况而言,Flink处理的主要场景是流式数据。事实上批数据可以看作流数据的一个极限特例。Flink不同于Spark、Hadoop, Flink称得上是一款真正的流、批统一的大数据计算框架。原创 2020-02-22 15:48:46 · 16490 阅读 · 4 评论 -
基于 ZooKeeper 的分布式锁简单实现
同步的本质是通过锁来实现的。为了实现多个线程在一个时刻同一个代码块只能有一个线程可执行,那么需要在某个地方做个标记,这个标记必须每个线程都能看到,当标记不存在时可以设置该标记,其余后续线程发现已经有标记了则等待拥有标记的线程结束同步代码块取消标记后再去尝试设置标记。这个标记可以理解为锁。原创 2018-05-20 17:27:03 · 2276 阅读 · 0 评论 -
Hadoop MapReduce编程案例
Hadoop MapReduce编程案例简析原创 2014-08-24 17:00:49 · 6105 阅读 · 1 评论 -
Scala教程
Scala教程整理转载 2015-04-22 12:16:37 · 7392 阅读 · 2 评论 -
浅谈Hive vs. HBase
浅谈Hive vs. HBase转载 2015-11-18 17:08:27 · 670 阅读 · 0 评论 -
开源爬虫框架各有什么优缺点?
作者:老夏 开发网络爬虫应该选择Nutch、Crawler4j、WebMagic、scrapy、WebCollector还是其他的?这里按照我的经验随便扯淡一下:上面说的爬虫,基本可以分3类: 1.分布式爬虫:Nutch 2.JAVA单机爬虫:Crawler4j、WebMagic、WebCollector转载 2015-11-18 10:42:15 · 5744 阅读 · 0 评论 -
Hadoop Streaming原理及实践
Hadoop Streaming原理及实践转载 2015-09-24 09:53:37 · 1190 阅读 · 0 评论 -
hive编程指南--employees表数据定义
hive编程指南--employees表数据定义原创 2015-07-07 17:32:52 · 2054 阅读 · 0 评论 -
hadoop InputFormat详解
hadoop InputFormat详解原创 2015-05-16 22:21:18 · 4014 阅读 · 3 评论 -
HDFS上读写数据的流程解释
HDFS上读写数据的流程解释原创 2015-05-11 18:38:50 · 3107 阅读 · 1 评论 -
新旧 Hadoop MapReduce 框架比对
Hadoop 新 MapReduce 框架 Yarn 详解简介: 本文介绍了 Hadoop 自 0.23.0 版本后新的 map-reduce 框架(Yarn) 原理,优势,运作机制和配置方法等;着重介绍新的 yarn 框架相对于原框架的差异及改进;并通过 Demo 示例详细描述了在新的 yarn 框架下搭建和开发 hadoop 程序的方法。 读者通过本文中新旧 hadoop map-转载 2015-03-12 15:28:03 · 985 阅读 · 0 评论 -
HBase基本API(java)操作(增删改查)
HBase基本API(java)操作(增删改查)原创 2015-03-12 10:14:58 · 4240 阅读 · 2 评论 -
HBASE启动脚本/Shell解析
常用到的HBase启动脚本有: 1.$HBASE_HOME/bin/start-hbase.sh 启动整个集群 2.$HBASE_HOME/bin/stop-hbase.sh 停止整个集群 3.$HBASE_HOME/bin/hbase-daemons.sh 启动或停止,所有的regionserver或zookeeper或backup-master 4.$H转载 2015-03-06 17:27:42 · 1260 阅读 · 0 评论 -
Hadoop笔记(一)
Hadoop笔记(一)安装配置详解原创 2014-07-06 22:29:53 · 1250 阅读 · 0 评论