Victor_Monkey的博客

本文环境hadoop 2.7.7，sqoop 1.4.7Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，此篇博客没有深入的介绍sqoop的底层，只是简单介绍其功能，重点记录sqoop的使用命令　sqoop import, sqoop export, sqoop job的使用Sqoop简介Sqoop是一个在结构化数据和Hadoop之间进行批量数据迁移的工具，结构化数据...

本文环境spark1.6，java1.8, scala 2.1.6, python 2.7Spark是大家非常熟悉的大数据处理框架，虽然在公司已经使用了很久，但是没有深入的了解过Spark的底层代码原理，大家都清楚，Spark是由scala开发实现的，为了深入了解Spark，学习scala是必不可少的，在这里简单的写一下三种语言调用Spark接口的方式，实现wordCount功能。Scal...