- 博客(7)
- 收藏
- 关注
RSS订阅原创 SpringBoot 1.5.x 嵌入式servlet容器启动原理以及如何使用外部servlet容器
SpringBoot 1.5.x 嵌入式servlet容器启动原理以及如何使用外部servlet容器一、SpringBoot嵌入式servlet容器启动原理1、嵌入式servlet容器的选择SpringBoot里面已经集成了内置的servlet容器，默认为TomcatEmbeddedServletContainerFactory，可以根据导入相应的servlet容器jar包，进行更换serv...
2020-04-17 19:37:42
349
原创 Hadoop学习
Hadoophadoop—Hdfs存储模型：字节文件线性切割成块（Block）：偏移量 offset（byte）Block分散存储在集群节点中单一文件Block大小一致，文件与文件可以不一致Block可以设置副本数，副本分散在不同节点中副本数不要超过节点数文件上传可以设置Block大小和副本数已上传Block副本数可以调整，大小不变只支持一次写入...
2020-04-10 17:40:34
202
原创 Hadoop Mapreduce学习
Hadoop MapReduceMR语义map可以有多个，个数越多，深度越快，hdfs可以作为输入给map，map的输出给reduce的输入，reduce的输出给hdfs，map前面的split是切片，一个切片对应于一个map程序。mapreduce默认情况下，一个块会对应与一个map程序，例如一个hdfs文件有两个块，则map的并行度为2。切片：相当于一种更小的窗口，这种窗口突破了块，...
2020-04-10 17:39:19
222
原创 Hadoop完全分布式搭建
针对于Hadoop集群的搭建有以下几个过程对集群中的每台机子设置静态ip，主机映射，主机名，和免秘钥登陆下载jdk 和 hadoop并配置环境变量对hadoop中的五个文件进行配置启动前初始化hdfs系统配置完成...
2020-04-10 17:37:47
244
原创 Hadoop数据模型及应用架构介绍
Hadoop数据模型及应用架构介绍TextFileTextFile通常表现为csv(字段分界格式)，json，Fixed-length Flat formats(固定长度的文件)优点和缺点： 文本文件好读取，解析容易，是可分解的 splitable 文本文件不好的>好的，占用空间大，用hive，spark装载数据时，因为数据量大，读写时间很长，很费资源。最致命的是不支持块压缩，...
2020-04-10 17:26:14
461
原创 hive快捷安装
hive安装配置安装mysqlsudo rpm -Uvh platform-and-version-specific-package-name.rpmsudo yum install mysql-community-serversudo service mysqld startsudo service mysqld statussudo grep ‘temporary passw...
2020-04-05 01:09:41
227
原创 Spark Streaming 与kafka的高效整合
Spark Streaming 与kafka的整合模式一、SparkStreaming+kafka Receiver模式SparkStreaming+kafka receiver模式处理数据采用了receiver接收器的模式，需要一个task一直处于占用接收数据，接收来的数据存储级别：MEMORY_AND_DISK_SER_2，这种模式几乎没有用的（1.6存在，2.3没有了）。存在丢失数据...
2020-04-04 00:50:13
439
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人