32、数据处理与可视化全流程指南

Mars5

于 2025-08-17 14:29:59 发布

阅读量7

点赞数

CC 4.0 BY-SA版权

分类专栏： Scala数据科学实战指南文章标签： Parquet Avro RDBMS

本文链接：https://blog.youkuaiyun.com/mars5/article/details/152122617

Scala数据科学实战指南专栏收录该内容

72 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

数据处理与可视化全流程指南

1. 使用 Parquet 工具验证

我们可以使用 Parquet 工具来确认存储在 Parquet 文件中的模式是否确实为 Avro 模式。具体操作命令如下：

/Users/Gabriel/Dropbox/arun/ScalaDataAnalysis/git/parquet-mr/parquet-tools/target/parquet-tools-1.6.0rc3/parquet-tools meta /Users/Gabriel/Dropbox/arun/ScalaDataAnalysis/Code/scaladataanalysisCB-tower/chapter3-data-loading-parquet/studentAvroPq

运行该命令后，如果输出显示如下额外部分，就可以确认 Avro 模式已存储：

creator:     parquet-mr
extra:       parquet.avro.schema = {"type":"record","name":"StudentAvro",
"namespace":"studentavro.avro","fields":[{"name":"id","type":[{"type":"st
ring","avro.java.string":"Stri [more]...