一个简单的springboot项目（有源码）

代码迭代整合工具 gitee

建模意义

我们用最后一种方式

程序处理方式

开发功能的步骤

web服务

因为之前没有提过
所以现在简单提一下

网络状态码

1xx 正在处理中
2xx 200 成功
3xx 重定向 永久重定向 临时重定向
4xx 400 参数不匹配 404 资源找不到了 405 method not allowed 请求类型（get和post）没匹配上
5xx 500 后台程序抛异常 503 后端服务器等抛异常了
xxx 600 找第三方支付等问，这都是自定义的

web应用的开发分层

springboot的作用

springboot框架搭建

框架中各组件作用

• Springboot 作为一个web应用快速开发框架，整合了SpringMVC、Spring、Mybatis等框架。其中：
• SpringMVC负责接收返回web请求。
• Spring负责把业务处理类的组件化，管理生命周期。
• Mybatis负责连接数据库、封装参数、封装结果。
• Mybatis-plus是Mybatis的第三方扩展依赖，可以 方便的对数据单表进行插删改查操作。
• Mybatis-plus 提供了代码生成器generator ，辅助我们快速生成基础代码。
• DynamicDatasource是用来对接多个jdbc数据源的工具。
• Druid 是一个非常好用的数据连接池，可以使得数据连接循环利用减少开销。
• JSON 工具的使用
• SQL日志的控制打印

框架的演变

1. php perl .net asp jsp
2. ssh structs (1\2) + spring + hibernate
3. ssm springmvc +spring + mybatis
4. springboot：
   - 简化开发流程 约定大于配置
   - 内置了web服务容器 ,打好的jar包 直接运行即可 不用提前安装web容器
   - 整了各种第三方的组件 starter application统一配置

如何提取hive中的表结构

hiveserver2 jdbc数据
metastore 元数据服务

HiveMetaStoreClient

package com.liang.dga.meta.service.impl;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.serializer.SimplePropertyPreFilter;
import com.baomidou.dynamic.datasource.annotation.DS;
import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.liang.common.utils.SqlUtil;
import com.liang.dga.meta.bean.TableMetaInfo;
import com.liang.dga.meta.bean.TableMetaInfoQuery;
import com.liang.dga.meta.bean.TableMetaInfoVO;
import com.liang.dga.meta.mapper.TableMetaInfoMapper;
import com.liang.dga.meta.service.TableMetaInfoExtraService;
import com.liang.dga.meta.service.TableMetaInfoService;
import org.apache.commons.lang3.time.DateFormatUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.hive.conf.HiveConf;
import org.apache.hadoop.hive.metastore.HiveMetaStoreClient;
import org.apache.hadoop.hive.metastore.api.MetaException;
import org.apache.hadoop.hive.metastore.api.StorageDescriptor;
import org.apache.hadoop.hive.metastore.api.Table;
import org.apache.thrift.TException;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Service;

import javax.annotation.PostConstruct;
import java.io.IOException;
import java.net.URI;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;

/**
 * <p>
 * 元数据表 服务实现类
 * </p>
 *
 * @author liang
 * @since 2024-07-24
 */
@Service
@DS("dga")
public class TableMetaInfoServiceImpl extends ServiceImpl<TableMetaInfoMapper, TableMetaInfo> implements TableMetaInfoService {
   
    @Value("${hive.metastore.uris}")
    String hiveMetaUri;
    @Value("${default.database}")
    String schemaName;
    HiveMetaStoreClient hiveMetaStoreClient;
    @Autowired
    TableMetaInfoExtraService tableMetaInfoExtraService;


    @PostConstruct
    public void initHiveClient() {
   
        HiveConf hiveConf = new HiveConf();
        hiveConf.setVar(HiveConf.ConfVars.METASTOREURIS, hiveMetaUri);

        try {
   
            hiveMetaStoreClient = new HiveMetaStoreClient(hiveConf);
        } catch (MetaException e) {
   
            throw new RuntimeException(e);
        }
    }
    public void initTableMetaInfo(String assessDate) throws TException {
   
        List<String> allTableNames = hiveMetaStoreClient.getAllTables(schemaName);
        List<TableMetaInfo> tableMetaInfoList = new ArrayList<>(allTableNames.size());
        Table table = hiveMetaStoreClient.getTable(schemaName, allTableNames.get(0));
        System.out.println("111111111111111111111tableMetaInfoList in initTableMetaInfo: " + JSON.toJSONString(table));
        for (String tableName : allTableNames) {
   
            // 调用方法提取元数据信息
            TableMetaInfo tableMetaInfo = this.extractTableMetaInfoFromHive(tableName, schemaName);
            hiveMetaStoreClient.getTable(schemaName, tableName);
            // 调用方法提取HDFS环境信息
            this.extractHdfsInfo(tableMetaInfo);
            // 设置其他信息
            tableMetaInfo.setCreateTime(new Date());
            tableMetaInfo.setAssessDate(assessDate);
            tableMetaInfoList.add(tableMetaInfo);
        }
        // 去重，把今天的都删了
        this.remove(new QueryWrapper<TableMetaInfo>().eq("assess_date",assessDate));
        // 保存元数据列表
        saveBatch(tableMetaInfoList);
        QueryWrapper<TableMetaInfo> wrapper = new QueryWrapper<TableMetaInfo>().eq("assess_date", assessDate)
                .notInSql("concat(schema_name,table_name)",
                        "select concat(schema_name,table_name) from table_meta_info_extra");
        List<TableMetaInfo> tableMetaInfoExtraWithoutList = this.list(wrapper);
        System.out.println("222222222222222222tableMetaInfoListWithout in initTableMetaInfo" + JSON.toJSONString(tableMetaInfoExtraWithoutList));
        // 补充辅助信息,把没填写的表格格式化一下
        tableMetaInfoExtraService.initTableMetaInfoExtra(tableMetaInfoExtraWithoutList);
    }

    private TableMetaInfo extractTableMetaInfoFromHive(String tableName,String SchemaName){
   
        try {
   
            // 获取表信息
            Table table = hiveMetaStoreClient.getTable(SchemaName, tableName);
            TableMetaInfo tableMetaInfo = new TableMetaInfo();
            tableMetaInfo.setTableName(tableName);
            tableMetaInfo.setSchemaName(SchemaName);
            // 获取分区字段信息
            SimplePropertyPreFilter filter = new SimplePropertyPreFilter("comment", "name", "type");
            tableMetaInfo.setPartitionColNameJson(JSON.toJSONString(table.getPartitionKeys(), filter));
            // 获取表字段信息
            StorageDescriptor sd = table.getSd();
            tableMetaInfo.setColNameJson(JSON.toJSONString(sd.getCols(),filter));
            // 获取表参数信息
            tableMetaInfo.setTableParametersJson(JSON.toJSONString(table.getParameters()));
            // 获取表格式信息
            tableMetaInfo.setTableInputFormat(sd.getInputFormat());
            tableMetaInfo.setTableOutputFormat(sd.getOutputFormat());
            // 分桶字段
            tableMetaInfo.setTableBucketColsJson(JSON.toJSONString(sd.getBucketCols()));
            // 获取表分桶排序信息
            tableMetaInfo.setTableSortColsJson(JSON.toJSONString(sd.getSortCols()));
            // 获取表桶数
            tableMetaInfo.setTableBucketNum(sd.getNumBuckets()+0L);
            // 获取表创建时间 ts->Date->string "yyyy-MM-dd HH:mm:ss"
            Date createTime = new Date(table.getCreateTime() * 1000L);
            tableMetaInfo.setTableCreateTime(DateFormatUtils.format(createTime,"yyyy-MM-dd HH:mm:ss"));
            // 获取表类型
            tableMetaInfo.setTableType(table.getTableType());
            // 获取表注释
            tableMetaInfo.setTableComment(table.getParameters().get("comment"));
            // 获取表拥有者
            tableMetaInfo.setTableFsOwner(table.getOwner());
            // 获取序列化类
            tableMetaInfo.setTableRowFormatSerde(sd.getSerdeInfo().getSerializationLib());
            //获取表路径
            tableMetaInfo.setTableFsPath(sd.getLocation());
            System.out.println("333333333333333333333333 tableMetaInfo in  = extractTableMetaInfoFromHive: " + JSON.toJSONString(tableMetaInfo));
            return tableMetaInfo;
        } catch (Exception e){
   
            e.printStackTrace();
            throw new RuntimeException(e);
        }
    }



    private void extractHdfsInfo(TableMetaInfo tableMetaInfo){
   
        try {
   
            // 获取表存储信息
            URI uri = new URI(tableMetaInfo.getTableFsPath());
            FileSystem fs = FileSystem.get(uri, new Configuration(), "atguigu");
            // 当前目录下的一级子节点 的节点状态（目录和文件）
            FileStatus[] fileStatuses = fs.listStatus(new Path(tableMetaInfo.getTableFsPath()));
            // 递归获得该文件的信息
            getHdfsInfoRec(fs, fileStatuses, tableMetaInfo);

            System.out.println("tableMetaInfo =  " +tableMetaInfo.getTableName()+":"+ tableMetaInfo.getTableSize()
                    +":accessTime:"+tableMetaInfo.getTableLastAccessTime()
                    +"modifyTIme:"+tableMetaInfo.getTableLastModifyTime());

            tableMetaInfo.setFsCapcitySize(fs.getStatus().getCapacity());
            tableMetaInfo.setFsRemainSize(fs.getStatus().getRemaining());
            tableMetaInfo.setFsUsedSize(fs.getStatus().getUsed());
        } catch (Exception e){
   
            e.printStackTrace();
            throw new RuntimeException(e);
        }
    }

    private void getHdfsInfoRec(FileSystem fs, FileStatus[] fileStatuses, TableMetaInfo tableMetaInfo) {
   
        for (FileStatus fileStatus : fileStatuses) {
   
            if(</