qq_45760556的博客

原创 spark数据结构

原创 RDD的转化之value和双value类型

一、map(func)与flatmap（func）的区别map()是将函数用于RDD中的每个元素，将返回值构成新的RDD。flatmap()是将函数应用于RDD中的每个元素，将返回的迭代器的所有内容构成新的RDD。举一个简单的例子：输入一个 1 到 5 的集合，让他们返回每个值1 to 5的值map（） val sc: SparkContext = new SparkContext(conf) val ListRDD: RDD[Int] = sc.parallelize(1 to 5)

原创 完全分布式集群搭建

虚拟机准备​ 在上一篇里，我已经详细的讲解了虚拟机的准备工作。​ 你需要准备三个虚拟机，首先先创建一台JDK、Hadoop都安装完成的虚拟机，剩下的两台只需要修改主机名、修改ip即可.编写集群分发脚本xsync配置一台完全的虚拟机就很耗时间，更别说配置三台，所以这里会利用scp安全拷贝和 rsync 远程同步工具。rsync和scp区别：用rsync做文件的复制要比scp的速度快，rs...

原创 Hadoop运行环境搭建

克隆虚拟机修改克隆虚拟机的静态IP在终端打开，并修改克隆后虚拟机的IP[root@hadoop100 桌面]# vim /etc/udev/rules.d/70-persistent-net.rules 修改IP地址[root@hadoop100 桌面]# vim /etc/sysconfig/network-scripts/ifcfg-eth0这里需要注...