- 博客(8)
- 收藏
- 关注
RSS订阅原创 ssm学习（三层架构与依赖注入方式）
java三层架构 1.持久层，采用DAO模式，建立实体类和数据库表映射（ORM映射）。也就是哪个类对应哪个表，哪个属性对应哪个列。持久层的目的就是，完成对象数据和关系数据的转换。 2.业务层，采用事务脚本模式。将一个业务中所有的操作封装成一个方法，同时保证方法中所有的数据库更新操作，即保证同时成功或同时失败。避免部分成功部分失败引起的数据混乱操作。 3.表现层，采用MVC模式。
2021-01-03 17:36:08
663
原创 Hbase高可用搭建
HBase高可用环境搭建Zookeeper聚群正常部署Hadoop集群正常部署解压HBase修改HBase配置文件hbase-env.shhbase-site.xmlregionservers分发配置文件将Hadoop配置文件软连接到HBase的conf目录下（core-site.xml、hdfs-site.xml）所有节点在conf目录下创建bac...
2019-10-05 22:21:55
218
原创 Hadoop HA环境搭建
Hadoop HA环境搭建安装JDK解压配置环境变量配置静态网络修改【/etc/sysconfig/network-scripts/ifcfg-eth0】$>su root$>gedit /etc/sysconfig/network-scripts/ifcfg-eth0 修改： BOOTPROTO="static" #原值为DHCP 添加...
2019-10-05 22:20:40
254
原创 1.HDFS
HDFSHDFS分布式部署一个NameNode，一个SecondaryNameNode，多个DataNodeNameNode作用：管理文件系统的命名空间以及快的元数据信息，以两种文件（fsimage和editlog）永久存储在磁盘中。fsimage文件包含文件系统中所有目录和文件inode的序列化信息；editlog文件存储用户的操作行为。通过心跳机制，每隔一段固定的时间，从D...
2019-09-23 21:48:44
138
原创 4. Spark 作业执行过程
Spark 作业执行过程1.Spark 运行时架构在分布式环境下，Spark集群采用的是主从结构。在一个Spark集群中，有一个节点负责中央协调，调度各个分布式工作节点。这个中央协调节点被称为驱动器节点（Driver）,与之对应的工作节点被称为执行器节点（Executer）。驱动器节点和所有的执行器节点一起被称为一个Spark应用（Application）。Spark应用通过一个**集群管...
2019-09-08 21:35:23
274
原创 3. Spark SQL DataFrame与DataSet
Spark SQL DataFrame与DataSetDataFrame DataFrame是一种带有Schema元信息的分布式数据集。类似于传统数据库的二维表，定义有字段名称和类型，用户可以像操作数据库表一样使用DataFrame DataFrame在1.3.0版本之前，称为SchemaRDD，存放Row对象的RDD，每个Row对象代表一行记录。DF创建方式通过create...
2019-09-07 22:26:50
295
原创 2. Spark RDD定义与特性
Spark RDD定义与特性RDDRDD（弹性分布式数据集）：代表一个不可变的，可并行操作的分区元素集合内部表现上，RDD具有5个特性： a. A list of partitions(分区列表)； b. A function for computing each split(每个切分的计算函数)； c. A list of dependencies on ot...
2019-09-05 20:30:31
283
原创 1. Spark环境搭建
Spark环境搭建单节点模式1.版本选型：Spark2.1.2+Scala2.11.82.下载Spark安装包$>cp /mnt/hgfs/5.开发工具/download/apache-spark/spark-2.1.2-bin-hadoop2.7.tgz ~/soft/3.解压$>tar -zxvf spark-2.1.2-bin-hadoop2.7.tgz $>...
2019-09-04 21:19:45
148
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人