spark开发一个程序,模拟生成新能源汽车数据集(字段信息必须包含:车架号、车型、采集时间、车速、行驶里程、故障码列表)

目录

一、项目结构

建一个普通实体类来表示一条车辆数据,车辆数据要按天存储到HDFS上,数据格式是JSON格式

创建一个方法,随机生成一辆车一次行程的车辆数据,并存到list

创建一个类,负责将数据写入HDFS

循环生成多辆数据数据,并循环写入到HDFS

二、代码

1、数据实体类代码片段

2、随机生成一辆车一次行程的车辆数据代码片段

3数据写入HDFS代码片段

三、查看hdfs存储的车辆数据


一、项目结构

  1. 建一个普通实体类来表示一条车辆数据,车辆数据要按天存储到HDFS上,数据格式是JSON格式

  2. 创建一个方法,随机生成一辆车一次行程的车辆数据,并存到list

  3. 创建一个类,负责将数据写入HDFS

  4. 循环生成多辆数据数据,并循环写入到HDFS

二、代码

1、数据实体类代码片段

public class CanData implements Serializable {
    /**
     * 车架号
     */
    private String vin;
    /**
     * 车型
     */
    private String vehType;
    /**
     * 采集时间
     */
    private String collectTime;
    /**
     * 车速
     */
    private Integer speed;
    /**
     * 行驶里程
     */
    private Integer mileage;
    /**
     * 故障碍列表
     */
    private List<Integer> errCoedList;

    public String getVin() {
        return vin;
    }

    public void setVin(
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值