geomesa hbase为已创建好的schema添加字段_hbase添加字段-优快云博客

本文链接：https://blog.youkuaiyun.com/zfs_sir/article/details/87881778

本文介绍在HBase作为数据源的情况下，如何通过修改元数据表来为已创建的Schema动态添加字段，解决了因业务需求变化导致原有字段不足的问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

记录一次为已创建好的schema添加字段，使用hbase作为数据源。
当迭代不断的向前业务不断的加大，导致前期设计的schema无法满足现在业务的需求，需要在已创建好的schema上新增字段以此来满足需求。
schema新增字段很自然的会想到更新schema，刚好api接口中有个接口void updateSchema(String typeName, SimpleFeatureType featureType) throws IOException，于是在代码中创建一个SimpleFeatureType添加新的字段，调用updateSchema函数修改指定的schema。以为就此大功告成，没想到报错，提示

updating schema columns is not allowed

查看该api接口的源码发现不支持修改已经创建好的schema的字段，源码如下图所示：在这里插入图片描述
提供的api接口不支持修改已创建schema的字段，但是发现在指定的catalog下创建一个schema都会在hbase中该catalog的元数据表中添加如下图所示信息：

上图中可以看到rowkey为*attributes的value记录着schema的元数据，尝试使用hbase shell的put命令修改该value的值进行新增，put命令为：

put ‘test’,“testtypename~attributes”,“m:v”,“myid:String,value:String:index=true,temp:String,dtg:Date,*geom:Point:srid=4326;geomesa.keywords=‘testkeywords’,geomesa.index.dtg=‘dtg’,geomesa.table.sharing=‘false’,geomesa.indices=‘z3:2:3,z2:2:3,id:1:3,attr:5:3’,geomesa.z3.interval=‘week’”

其中temp:String为新增字段，设置成功，并且新增数据也可以成功，但是查询的时候报

ERROR Invalid TWKB geometry type 0 java.lang.IllegalArgumentException:
Invalid TWKB geometry type 0 at
org.locationtech.geomesa.features.serialization.TwkbSerialization $c l a s s . d e s e r i a l i z e (T w k b S e r i a l i z a t i o n . s c a l a : 198 a t o r g . l o c a t i o n t e c h . g e o m e s a . f e a t u r e s . k r y o . s e r i a l i z a t i o n . K r y o G e o m e t r y S e r i a l i z a t i o n$ .deserialize(KryoGeometrySeriali
at
org.locationtech.geomesa.features.kryo.impl.KryoFeatureDeserialization $KaTeX parse error: Can't use function '$' in math mode at position 8: anonfun$̲matchReader$8.a\dots$ anonfun$matchReader $8 . a p p l y (K r y o F e a t u r e a t o r g . l o c a t i o n t e c h . g e o m e s a . f e a t u r e s . k r y o . i m p l . A c t i v e D e s e r i a l i z a t i o n$ class.readFeature(ActiveDeserialization.scala
at
org.locationtech.geomesa.features.kryo.impl.ActiveDeserialization $c l a s s . d e s e r i a l i z e (A c t i v e D e s e r i a l i z a t i o n . s c a l a a t o r g . l o c a t i o n t e c h . g e o m e s a . f e a t u r e s . k r y o . K r y o F e a t u r e S e r i a l i z e r$ MutableActiveSerializer.deserialize(KryoFeatureSer
at
org.locationtech.geomesa.hbase.index.HBaseIndexAdapter $KaTeX parse error: Can't use function '$' in math mode at position 8: anonfun$̲org$locationtec\dots$ anonfun $o r g$ locationtech $g e o m e s a$ hbase $i n d e x$ HBaseIndex
at scala.collection.Iterator $KaTeX parse error: Can't use function '$' in math mode at position 5: anon$̲11.next(Iterato\dots$ anon $2 . n e x t (C l o s e a b l e I t e r a t o r . s c a l a : 36) a t o r g . l o c a t i o n t e c h . g e o m e s a . u t i l s . c o l l e c t i o n . S e l f C l o s i n g I t e r a t o r$ $anon $1 . n e x t (C l o s e a b l e I t e r a t o r . s c a l a : 162) a t o r g . l o c a t i o n t e c h . g e o m e s a . u t i l s . c o l l e c t i o n . C l o s e a b l e I t e r a t o r$ $anon $5 . n e x t (C l o s e a b l e I t e r a t o r . s c a l a : 101) a t o r g . l o c a t i o n t e c h . g e o m e s a . u t i l s . c o l l e c t i o n . C l o s e a b l e I t e r a t o r$ $anon $5 . n e x t (C l o s e a b l e I t e r a t o r . s c a l a : 101) a t o r g . l o c a t i o n t e c h . g e o m e s a . i n d e x . g e o t o o l s . G e o M e s a F e a t u r e R e a d e r W i t h A u d i t$ $a n o n f u n$ next $2 . a p p l y (G e o M e s a F e a t u r e R e a d e a t o r g . l o c a t i o n t e c h . g e o m e s a . i n d e x . g e o t o o l s . G e o M e s a F e a t u r e R e a d e r W i t h A u d i t$ $a n o n f u n$ next $2 . a p p l y (G e o M e s a F e a t u r e R e a d e a t o r g . l o c a t i o n t e c h . g e o m e s a . u t i l s . s t a t s . M e t h o d P r o f i l i n g$ class.profile(MethodProfiling.scala:19)
at
org.locationtech.geomesa.index.geotools.GeoMesaFeatureReaderWithAudit.profile(GeoMesaFeatureReader.scala:90)
at
org.locationtech.geomesa.index.geotools.GeoMesaFeatureReaderWithAudit.next(GeoMesaFeatureReader.scala:103)
at
org.locationtech.geomesa.index.geotools.GeoMesaFeatureReader $KaTeX parse error: Can't use function '$' in math mode at position 5: anon$̲2.org$locationt\dots$ anon $2 . n e x t (G e o M e s a F e a t u r e R e a d e r . s c a l a : 65) a t o r g . l o c a t i o n t e c h . g e o m e s a . i n d e x . g e o t o o l s . G e o M e s a F e a t u r e R e a d e r$ $anon $2 . n e x t (G e o M e s a F e a t u r e R e a d e r . s c a l a : 65) a t o r g . g e o t o o l s . f e a t u r e . F e a t u r e R e a d e r I t e r a t o r . n e x t (F e a t u r e R e a d e r I t e r a t o r . j a v a : 73) a t o r g . g e o t o o l s . f e a t u r e . F e a t u r e R e a d e r I t e r a t o r . n e x t (F e a t u r e R e a d e r I t e r a t o r . j a v a : 43) a t o r g . g e o t o o l s . f e a t u r e . c o l l e c t i o n . D e l e g a t e F e a t u r e I t e r a t o r . n e x t (D e l e g a t e F e a t u r e I t e r a t o r . j a v a : 66) a t o r g . l o c a t i o n t e c h . g e o m e s a . u t i l s . c o l l e c t i o n . C l o s e a b l e I t e r a t o r$ $anon $4 . n e x t (C l o s e a b l e I t e r a t o r . s c a l a : 51) a t o r g . l o c a t i o n t e c h . g e o m e s a . u t i l s . c o l l e c t i o n . C l o s e a b l e I t e r a t o r$ $anon $4 . n e x t (C l o s e a b l e I t e r a t o r . s c a l a : 49) a t s c a l a . c o l l e c t i o n . I t e r a t o r$ class.foreach(Iterator.scala:742) at
org.locationtech.geomesa.utils.collection.CloseableIterator $KaTeX parse error: Can't use function '$' in math mode at position 5: anon$̲4.foreach(Close\dots$ anonfun$export $1 . a p p l y (E x p o r t C o m m a n d . s c a l a : 84) a t o r g . l o c a t i o n t e c h . g e o m e s a . t o o l s . e x p o r t . E x p o r t C o m m a n d$ $a n o n f u n$ export $1 . a p p l y (E x p o r t C o m m a n d . s c a l a : 84) a t o r g . l o c a t i o n t e c h . g e o m e s a . u t i l s . i o . W i t h C l o s e$ .apply(SafeClose.scala:51)
at
org.locationtech.geomesa.tools.export.ExportCommand $c l a s s . e x p o r t (E x p o r t C o m m a n d . s c a l a : 84) a t o r g . l o c a t i o n t e c h . g e o m e s a . h b a s e . t o o l s . e x p o r t . H B a s e E x p o r t C o m m a n d . e x p o r t (H B a s e E x p o r t C o m m a n d . s c a l a : 19) a t o r g . l o c a t i o n t e c h . g e o m e s a . t o o l s . e x p o r t . E x p o r t C o m m a n d$ class.export(ExportCommand.scala:77)
at
org.locationtech.geomesa.hbase.tools.export.HBaseExportCommand.export(HBaseExportCommand.scala:19)
at
org.locationtech.geomesa.tools.export.ExportCommand $KaTeX parse error: Can't use function '$' in math mode at position 8: anonfun$̲execute$2$ anonfun$apply $1 . a p p l y (E x p o r t C o m m a n d . s c a a t o r g . l o c a t i o n t e c h . g e o m e s a . t o o l s . e x p o r t . E x p o r t C o m m a n d$ $a n o n f u n$ execute $2$ $a n o n f u n$ apply $1 . a p p l y (E x p o r t C o m m a n d . s c a a t o r g . l o c a t i o n t e c h . g e o m e s a . t o o l s . D a t a S t o r e C o m m a n d$ class.withDataStore(Command.scala:60)
at
org.locationtech.geomesa.hbase.tools.export.HBaseExportCommand.withDataStore(HBaseExportCommand.scala:19)
at
org.locationtech.geomesa.tools.export.ExportCommand $KaTeX parse error: Can't use function '$' in math mode at position 8: anonfun$̲execute$2.apply\dots$ anonfun$execute $2 . a p p l y (E x p o r t C o m m a n d . s c a l a : 45) a t o r g . l o c a t i o n t e c h . g e o m e s a . u t i l s . s t a t s . M e t h o d P r o f i l i n g$ class.profile(MethodProfiling.scala:26)
at
org.locationtech.geomesa.hbase.tools.export.HBaseExportCommand.profile(HBaseExportCommand.scala:19)
at
org.locationtech.geomesa.tools.export.ExportCommand $c l a s s . e x e c u t e (E x p o r t C o m m a n d . s c a l a : 45) a t o r g . l o c a t i o n t e c h . g e o m e s a . h b a s e . t o o l s . e x p o r t . H B a s e E x p o r t C o m m a n d . e x e c u t e (H B a s e E x p o r t C o m m a n d . s c a l a : 19) a t o r g . l o c a t i o n t e c h . g e o m e s a . t o o l s . R u n n e r$ class.main(Runner.scala:28)
at
org.locationtech.geomesa.hbase.tools.HBaseRunner$.main(HBaseRunner.scala:21)
at
org.locationtech.geomesa.hbase.tools.HBaseRunner.main(HBaseRunner.scala)

看错误好像是序列化错误，想到是不是因为添加的字段在已存在的字段之间导致查询到的未添加新字段之前的数据无法序列化为已添加新字段的结构中。于是尝试将新增的字段放到最后，重新修改hbase中的元数据表，修改后如下图所示：
在这里插入图片描述
其中add:String为新增字段。修改完之后进行插入数据和查询数据都能成功，查询到的数据中未添加新字段前的数据在新字段这一列为空。
至此为已创建的schema新增字段完成，本次是使用hbase作为数据源，其他的数据源应该也可以通过修改元数据的方式进行新增字段。