
大数据
文章平均质量分 73
dominic_z
这个作者很懒,什么都没留下…
展开
-
【Hadoop】hadoop+spark配置
不是教程,教程请看http://www.cnblogs.com/zyrblog/p/8510506.html只是个人笔记准备材料一台能联网的电脑VMware 14Centos 7 1801 64bit 我还是喜欢centos多一些,old fashion,好吧其实是装了一次ubuntu发现里面缺的东西有点多,ifconfig,vim都没有还得自己安,烦jdk-8u191-linux-...原创 2019-03-28 19:47:30 · 5553 阅读 · 1 评论 -
【Spark】积累与发现
文章目录Spark环境搭建基本概念任务执行框架spark-shellRDDBroadCast VariablesSpark SQL聚合joindataset or dataframe外部数据库优化Spark UI其他Spark环境搭建在Hadoop集群的基础上搭建SparkSpark记录-spark-env.sh配置env里要写JAVA_HOME哦!spark+hadoop配置Spark和hadoop是怎么连起来的,就全靠SPARK_DIST_CLASSPATH这个参数连起来的,一旦这个原创 2020-11-28 10:40:19 · 1511 阅读 · 1 评论 -
【Hadoop】
HadoopHDFS体系结构(NameNode、DataNode详解)Hadoop是什么?一句话理解YARN深入理解Hadoop YARN中的Container概念Hadoop学习笔记之深入浅出MRHadoop中Writable和WritableComparable区别MapReduce 中job.setJarByClass()方法的疑惑关于MapReduce中的切片机制MapR......原创 2019-08-03 00:21:45 · 827 阅读 · 1 评论 -
【Spark】官方Tutorial笔记
官方文档的学习笔记原创 2019-03-30 16:23:16 · 484 阅读 · 1 评论 -
【Flink】积累与发现
配置本地运行demoFlink从入门到入土(详细教程)Flink:本地执行(Local Execution)原创 2020-11-28 10:35:03 · 93 阅读 · 0 评论