- 博客(17)
- 收藏
- 关注
RSS订阅原创 Scala在IDEA上运行不了解决办法
⑤打开IDEA：File->project Structure->Global Libraries->Scala SDK->browse->找到你的Scala安装路径添加进去。本人JDK版本是1.8版本，我开始所下载scala是2.11.8版本，因此与我的JDK不兼容，所以运行程序一直报错。右键电脑->属性->查看高级系统设置->环境变量->新建SCALA_HOME 路径为你设置的路径。⑥创建一个文件夹自己取一个名->main方法下建一个取名为Scala的包->新建Scala.class。
2023-03-22 18:57:15
3710
1
转载 Apache Hive DML语句与函数使用
如果对hiveServer2服务运行此命令即本地系统就是hive服务器所在的位置，源文件所在的位置，远程连接到的是node1的位置。第一种方法--step1:建表 --建表student_local 用于演示从本地加载数据 create table student_local(num int , name string , sex string , age int , dept string) row format delimited fields terminated by ',';
2022-11-15 22:20:11
668
转载 Hadoop YARN
可以把Hadoop理解为相当于一个分布式的操作系统平台，而MapReduce等计算程序则相当于操作系统之上的应用程序，YARN为这些程序提供运算所需的资源（内存、cpu）因为有了YARN，更多计算框架可以接入到HDFS中，而不单单是MapReduce,正是因为YARN的包容，使得其他计算框架能专注于计算性能的提升HDFS可能不是最优秀的大数据存储系统，但却是应用最广泛的大数据存储系统，YARN功不可没当用户向YARN中提交一个应用程序后，YARN将分为两个阶段运行该应用程序。
2022-11-05 10:54:53
192
转载 HDFS工作流程与机制和MapReduce
NameNode:Hadoop分布式文件系统的核心，架构中的主角色NameNode维护和管理文件系统元数据，包括名称空间目录数结构、文件和块的位置信息、访问权限的信息NameNode成为了访问HDFS的唯一入口NameNode内部通过内存和磁盘文件两种方式管理元素据。
2022-11-04 21:38:31
221
转载 HDFS主从结构
HDFS集群是标准的master/slave主从架构集群一般一个HDFS集群是有一个Namenodeh和一定数目的Datanode组成Namenode是HDFS主节点，Datanode是HDFS从节点，两种角色各司其职，共同协调完成分布式的文件存储。
2022-10-30 19:08:35
836
转载 Hadoop、HDFS
hadoop集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离，通常物理上在一起：两个集群互相之间没有依赖，互不影响，某些角色进程往往部署在同一台物理服务器上两个集群都是标准的主从架构集群。
2022-10-27 17:32:23
785
转载 【无标题】
date命令：用来显示或设定系统的日期与时间，在显示方面，使用者可以设定欲显示的格式，格式设定为一个加号后接数个标记cal命令:显示当前日历free命令：用于显示内存状态free -hdf命令：用于显示目前在Linux系统上的文件系统磁盘使用情况统计df -hps命令:用于显示当前进程的状态，类似于Windows的任务管理器jps命令:这是JDK自带的命令，专门用于查看本机运行的Java进程情况。
2022-10-27 15:12:59
116
转载 Linux常用操作命令
tab键，可以实现自动补全和提示history，命令可以显示历史记录方向键上下来切换前后执行的命令clear=ctrl+l(windows按键):清理屏幕。
2022-10-20 17:06:11
142
原创 javadoc打开方式
author作者号@versio版本号@since指明最早需要的JDK版本param参数名return返回值情况throws异常抛出情况。
2022-10-08 11:06:03
648
原创 数据类型及其转换
由低到高：byte-short-char-int-long-float-double。由于Java是强类型语言，在进行有些运算的同时，需要进行类型转化。强制转换 由高到低。强制类型转换：（类型）变量名。自动转换 由低到高。
2022-10-06 17:28:26
390
原创 计算机组成机构
计算机之父：约翰.冯.诺依曼计算机由硬件系统（hardwaresystem）和软件系统(softwaresystem)两部分组成。
2022-09-23 17:27:22
139
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人