- 博客(8)
- 收藏
- 关注
RSS订阅原创 Spark——Java和Scala混编Maven开发：WordCount
文章目录1 运行环境2 Maven2.1 Windows下Maven配置2.2 IDEA创建Maven 项目3 实现代码3.1 Scala具体实现3.2 scala简化实现3.3 Java实现1 运行环境操作系统: WIN10 64位JDK版本: 1.8.0_161Scala版本: 2.11.2Meven版本: 3.2.5开发工具: IntellJ IDEA2018.3.32 M...
2019-04-21 20:54:59
931
转载 HDFS读写流程
1 读文件流程简单来说:客户端向namenode发送请求，获取到数据块所在的datanode的节点客户端通过inputstream的输入流从datanode节点上拿取数据，会从最近的一台datanode上获取数据详细来说:客户端通过FileSystem对象的open方法打开希望读取的文件，DistributedFileSystem对象通过RPC调用namenode，以确保文件...
2019-04-18 22:21:17
212
原创 Scala——2 基本语法
文章目录2 Scala基本语法2.1 数据类型2.1.1 基本介绍2.1.2 Null,Nothing,None,Unit,Nil2.2 变量和常量2.3 访问修饰符2.4 运算符2 Scala基本语法大部分基本语法都与Java类似:驼峰命名原则区分大小写单行注释//,多行注释/***/…主要区别:Scala语句末尾可以写分号;,也可以不写.但是如果一行里写多个语句那么分号是...
2019-04-16 14:11:45
302
原创 Scala——1 基本介绍
1 基本介绍Scala是Scalable Language 的简写联邦理工学院洛桑（EPFL）的Martin Odersky于2001年基于Funnel的工作开始设计ScalaScala是一种针对 JVM 将函数和面向对象技术组合在一起的编程语言Scala源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库官网: https://www.scala-...
2019-04-16 13:56:31
254
原创 Python——1 基本介绍与基本语法
文章目录1 基本介绍2 基本语法2.1 注释2.2 变量2.3 标识符2.4 关键字2.5 输入与输出2.5.1 输入2.5.2 输出2.6 运算符1 基本介绍Python是由荷兰人Guido van Rossum于1989年发明，第一个公开发行版发行于1991年。Python是Guido为了打发无聊的圣诞节而用C编写的一个编程语言之所以选中Python（大蟒蛇的意思）作为该编...
2019-04-11 20:38:14
670
原创 Python——windows下的Python安装
windows下的python安装1.安装python2.x(1)安装包python-2.7.15.amd64.msi(2)下载网站https://www.python.org/双击安装包运行即可2.安装Anaconda3(python3.x)(1)安装包Anaconda3-5.2.0-Windows-x86_64.exe(2)下载网站ht...
2019-04-11 18:48:59
374
原创 Cloudera Manager离线部署CDH
1 说明本文使用虚拟机进行测试操作系统：CentOS 6JDK版本：1.7.0_80所需安装包及版本说明：CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcelCDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.shamanifest.jsoncloudera-manager-el6-cm5.4.3_x86_64.tar.gz2 系统环...
2019-04-10 22:30:49
397
1
原创 cdh中部署的hive查询报错
cdh(5.4.0)中部署的hive查询报错:Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x...
2019-04-10 21:15:42
635
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人