
hadoop
joshuwang0810
这个作者很懒,什么都没留下…
展开
-
scala Learning
文章目录基本数据类型和操作基本数据类型操作符富包装类Range输入输出读写文件控制结构条件: if循环:While/do...while/for数据结构容器(Collection)列表(List):定义列表基本操作连接列表[Scala List 常用方法](https://www.runoob.com/scala/scala-lists.html)集合(Set)映射(Map)迭代器(Iterator)数组(Array)元组(Tuple)Option面向对象编程基础Scala 方法与函数方法类对象单例对象伴生原创 2020-05-31 21:09:42 · 928 阅读 · 0 评论 -
spark上的一些问题
之前不记录碰到的问题,解决的思路,导致之后再次碰到又在查查查…————————————————————————————————————表象:spark-shell太卡了,在进去之后报java内存不够的问题原因: 开了太多spark-shell,又异常关闭解决:pgrep javapkill java————————————————————————————————————表象:插入...原创 2019-07-02 10:06:17 · 378 阅读 · 0 评论 -
《大数据处理技术Spark》--林子雨
hadoop伪分布实例伪分布式读取的则是 HDFS 上的数据。要使用 HDFS,首先需要在 HDFS 中创建用户目录:hdfs dfs -mkdir -p /user/hadoop # 已经将hadoop中的bin加入到环境变量中将本地的word.txt复制到分布式文件系统的/user/hadoop/input中hdfs dfs -mkdir input # 因为现在使用的是hadoo...原创 2019-06-29 22:47:26 · 3550 阅读 · 0 评论