smollcat的博客

SQL、DBF解析导入数据库

Hadoop伪集群部署Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据

hdfs由于空间不足导致的强制安全模式状态# 1、通过虚拟机新增虚拟磁盘# 2、创建物理卷，使用pvcreate /dev/sda3命令。pvcreate /dev/sda3# 3、将添加新的物理卷，加载到centos卷组，使用vgextend centos /dev/sda3命令。vgextend centos /dev/sda3# 4、增加/dev/mapper/centos-root大小，增加100G。使用lvresize -L +100G /dev/mapper/centos-ro

typora-root-url: 大数据环境部署.assetsHadoop# 安装解压，移动到/usr/local/src/export HADOOP_HOME=/usr/local/src/hadoop-3.3.1export JAVA_HOME=/usr/local/src/jdk1.8.0_211export export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$JAVA_HOME/bin:$PATH# 使用source命令让立即生效sou.