- 博客(6)
- 问答 (2)
- 收藏
- 关注
RSS订阅
原创 大数据超详细面试题汇总（附答案）
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台Hdfs 是一个分布式文件系统，用来存储文件，通过目录树来定位文件Hdfs适合一次写入，多次写出的文件场景，且不支持文件的修改，适合用来做数据分析，并不适合用来做网盘应用NameNode : 管理HDFS的命名空间，配置副本策略，管理block的映射信息，处理客户端读写请求。
2020-07-31 11:21:44
25008
6
原创 OSS工具类
参考文档 ： 工具类 package cm.hypers.util; import com.aliyun.oss.OSS; import com.aliyun.oss.OSSClientBuilder; import com.aliyun.oss.model.*; import com.sun.javafx.scene.control.skin.ButtonSkin; import java.io.*; import java.util.Date; import java.util.List; impo
2021-06-02 18:15:00
841
原创 Swagger注解 详解
@Api : 该注解表示类中的方法可以做为接口 tags: " 说明该类的作用，可以在UI界面上看到的注解" value:" 该参数没什么意义，在UI界面上也看到，所以不需要配置" @ApiOerarion : 该注解用在请求的方法上，说明方法的用途和作用 value :" 说明方法的用途、作用" notes: " 方法的备注说明" @ApiImplcitParams 该注解表示方法可以为一个接口,用在请求的方法上，表示一组参数说明 “接口地址”“分类”“请求方法”“功能描述”“功能详细说
2020-10-26 13:57:14
2172
原创 Spark常用的RDD
1. Tranformation val lines=sc.textFile(file:///usr/local/spark/mycode/rdd/word.txt) ### #1. map map(func) 将每个元素传递给函数 func 中，并将返回结果返回为一个新的数据集 scala> val data=Array(1,2,3,4,5) scala> val rdd1 = sc.parallelize(data) scala> val rdd2=rdd1.map(x
2020-09-09 18:44:20
322
原创 Sqoop,Pig 数据导入
Oracle—> HDFS sqoop 脚本会将 脚本中的 " " 给直接去掉，可能会遇到以下几个问题 1.关键字 如果遇到关键字，需要添加转义符号，才会识别为关键字列，否则数据会直接插入 关键字数据 2.Oracle表名中包含数字 如果表名中包含数字，需要添加转义字符，才会识别该表名 3.数据中包含特殊字符 3.1 对于包含特殊字符（\r \n \001）等特殊字符的数据，要使用 --hive-delims-replacement " " 将数据中所有的 \n,\r ,\001等特殊字符替换成
2020-09-04 17:42:53
389
原创 git 超详细基本操作
1.git操作命令 （1）在现有目录中初始化仓库(进入该项目) git init $ git add *.c $ git add LICENSE $ git commit -m 'initial project version' （2）克隆现有的仓库 $ git clone https://github.com/libgit2/libgit2 （3）查看当前文件的状态 $ git status(显示没有，进行创建文件，会显示未追踪文件) $git status -s 命令或 git status --s
2020-08-04 09:52:53
241
spark 堆外内存作用，何时会用到？
2021-05-26
oss 与 s3 的区别
2021-05-18
TA创建的收藏夹 TA关注的收藏夹
TA关注的人