- 博客(3)
- 收藏
- 关注
RSS订阅原创 随记
堆、栈、队列 堆是指程序在运行时，申请的内存，动态内存。 而栈是堆的一种使用方法（先进后出），也被称之为堆栈一种线性表：线性表指在一个数据结构有n个相同特性的数据元素。除去第一个和最后一个外首尾相接的有限序列（适合大部分线性表）。 队列也是一种特殊的线性表。不同于栈所服从的先进后出的原则，队列的原则是先进先出。 队列在队头做删除操作,在队尾做插入操作。 hadoop三种调度器...
2019-12-28 14:32:30
182
原创 启动hadoop进程丢失
由于在启动hadoop之前，多次格式化，导致进程的ID改变， （1）（不推荐） 在自己配置的日志系统下找到 dfs文件下有data和neme两个文件夹， 里面有current这个文件删掉即可。 之后在hadoop下面格式化即可 （2） 在hadoop文件下，找到data文件夹和dfs文件夹 进入dfs→name→current，复制VERSION里的ID： 进入dat...
2019-12-19 19:58:08
441
原创 spark中粗粒度和细粒度，RDD
Wee粗粒度模式（Coarse-grained Mode）：每个应用程序的运行环境由一个Dirver和若干个Executor组成，其中，每个Executor占用若干资源，内部可运行多个Task（对应多少个“slot”）。应用程序的各个任务正式运行之前，需要将运行环境中的资源全部申请好，且运行过程中要一直占用这些资源，即使不用，最后程序运行结束后，回收这些资源。举个例子，比如你提交应用程序时，...
2019-12-19 19:52:25
1166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人