spark sql 使用过程中 无法识别输入字段

H.King H.King 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 1.2k累计阅读 1.3k平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄10年
关注
原创 最新推荐文章于 2026-05-31 11:49:41 发布 1.2k 阅读 AI 写同款· GEO 优化 ›
【Spark报错】CDH的spark无法读取字段中含有特殊字符“-“的orc表mismatched input ‘-‘ expecting ‘:‘ 背景故事 先看报错信息： mismatched input ‘-’ expecting ‘:’ 报错的意思就是说，在这个表里面，字段名中存在特殊符号“-”，无法解析报错。 这个问题会发生在CDH的spark中。如果不是CDH的spark版本的程序，可以跳过此文章。 解决方案： 不要使用CDH版本的spark就好了。比如我这里出现报错的时候，使用的版本是2.4.0-cdh6.1.1 那么把这个版本修改为2.4.0就好了。 过程分析 过程早就分析完了，下面写一篇结果： 环境版本 spark-sql_2.11 阅读详情

在使用spark  sql  过程中 可能映射为实体类 

但是该实体类的属性 ，并没有设置getter  setter  方法 就会出现如下问题 

提示 ： 无法识别某些字段 

/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/bin/java "-javaagent:/Applications/IntelliJ IDEA.app/Contents/lib/idea_rt.jar=59920:/Applications/IntelliJ IDEA.app/Contents/bin" -Dfile.encoding=UTF-8 -classpath /Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/charsets.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/deploy.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/ext/cldrdata.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/ext/dnsns.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/ext/jaccess.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/ext/jfxrt.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/ext/localedata.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/ext/nashorn.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/ext/sunec.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/ext/sunjce_provider.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/ext/sunpkcs11.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/ext/zipfs.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/javaws.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/jce.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/jfr.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/jfxswt.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/jsse.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/management-agent.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/plugin.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/resources.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/jre/lib/rt.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/lib/ant-javafx.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/lib/dt.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/lib/javafx-mx.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/lib/jconsole.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/lib/packager.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/lib/sa-jdi.jar:/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home/lib/tools.jar:/Users/apple/IdeaProjects/spark_learning/project/spark-project-sql/target/test-classes:/Users/apple/IdeaProjects/spark_learning/project/spark-project-sql/target/classes:/Users/apple/server/mavenrep/org/apache/spark/spark-graphx_2.11/2.3.3/spark-graphx_2.11-2.3.3.jar:/Users/apple/server/mavenrep/org/apache/spark/spark-mllib-local_2.11/2.3.3/spark-mllib-local_2.11-2.3.3.jar:/Users/apple/server/mavenrep/org/scalanlp/breeze_2.11/0.13.2/breeze_2.11-0.13.2.jar:/Users/apple/server/mavenrep/org/scalanlp/breeze-macros_2.11/0.13.2/breeze-macros_2.11-0.13.2.jar:/Users/apple/server/mavenrep/net/sf/opencsv/opencsv/2.3/opencsv-2.3.jar:/Users/apple/server/mavenrep/com/github/rwl/jtransforms/2.4.0/jtransforms-2.4.0.jar:/Users/apple/server/mavenrep/org/spire-math/spire_2.11/0.13.0/spire_2.11-0.13.0.jar:/Users/apple/server/mavenrep/org/spire-math/spire-macros_2.11/0.13.0/spire-macros_2.11-0.13.0.jar:/Users/apple/server/mavenrep/org/typelevel/machinist_2.11/0.6.1/machinist_2.11-0.6.1.jar:/Users/apple/server/mavenrep/com/chuusai/shapeless_2.11/2.3.2/shapeless_2.11-2.3.2.jar:/Users/apple/server/mavenrep/org/typelevel/macro-compat_2.11/1.1.1/macro-compat_2.11-1.1.1.jar:/Users/apple/server/mavenrep/org/apache/xbean/xbean-asm5-shaded/4.4/xbean-asm5-shaded-4.4.jar:/Users/apple/server/mavenrep/com/github/fommil/netlib/core/1.1.2/core-1.1.2.jar:/Users/apple/server/mavenrep/net/sourceforge/f2j/arpack_combined_all/0.1/arpack_combined_all-0.1.jar:/Users/apple/server/mavenrep/org/apache/spark/spark-tags_2.11/2.3.3/spark-tags_2.11-2.3.3.jar:/Users/apple/server/mavenrep/org/spark-project/spark/unused/1.0.0/unused-1.0.0.jar:/Users/apple/server/mavenrep/org/mongodb/spark/mongo-spark-connector_2.11/2.3.3/mongo-spark-connector_2.11-2.3.3.jar:/Users/apple/server/mavenrep/org/scala-lang/scala-library/2.11.12/scala-library-2.11.12.jar:/Users/apple/server/mavenrep/org/mongodb/mongo-java-driver/3.11.0-rc0/mongo-java-driver-3.11.0-rc0.jar:/Users/apple/server/mavenrep/org/apache/spark/spark-core_2.11/2.3.3/spark-core_2.11-2.3.3.jar:/Users/apple/server/mavenrep/org/apache/avro/avro/1.7.7/avro-1.7.7.jar:/Users/apple/server/mavenrep/org/codehaus/jackson/jackson-core-asl/1.9.13/jackson-core-asl-1.9.13.jar:/Users/apple/server/mavenrep/org/codehaus/jackson/jackson-mapper-asl/1.9.13/jackson-mapper-asl-1.9.13.jar:/Users/apple/server/mavenrep/com/thoughtworks/paranamer/paranamer/2.3/paranamer-2.3.jar:/Users/apple/server/mavenrep/org/apache/commons/commons-compress/1.4.1/commons-compress-1.4.1.jar:/Users/apple/server/mavenrep/org/tukaani/xz/1.0/xz-1.0.jar:/Users/apple/server/mavenrep/org/apache/avro/avro-mapred/1.7.7/avro-mapred-1.7.7-hadoop2.jar:/Users/apple/server/mavenrep/org/apache/avro/avro-ipc/1.7.7/avro-ipc-1.7.7.jar:/Users/apple/server/mavenrep/org/apache/avro/avro-ipc/1.7.7/avro-ipc-1.7.7-tests.jar:/Users/apple/server/mavenrep/com/twitter/chill_2.11/0.8.4/chill_2.11-0.8.4.jar:/Users/apple/server/mavenrep/com/esotericsoftware/kryo-shaded/3.0.3/kryo-shaded-3.0.3.jar:/Users/apple/server/mavenrep/com/esotericsoftware/minlog/1.3.0/minlog-1.3.0.jar:/Users/apple/server/mavenrep/org/objenesis/objenesis/2.1/objenesis-2.1.jar:/Users/apple/server/mavenrep/com/twitter/chill-java/0.8.4/chill-java-0.8.4.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-client/2.6.5/hadoop-client-2.6.5.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-common/2.6.5/hadoop-common-2.6.5.jar:/Users/apple/server/mavenrep/commons-cli/commons-cli/1.2/commons-cli-1.2.jar:/Users/apple/server/mavenrep/xmlenc/xmlenc/0.52/xmlenc-0.52.jar:/Users/apple/server/mavenrep/commons-httpclient/commons-httpclient/3.1/commons-httpclient-3.1.jar:/Users/apple/server/mavenrep/commons-io/commons-io/2.4/commons-io-2.4.jar:/Users/apple/server/mavenrep/commons-collections/commons-collections/3.2.2/commons-collections-3.2.2.jar:/Users/apple/server/mavenrep/commons-configuration/commons-configuration/1.6/commons-configuration-1.6.jar:/Users/apple/server/mavenrep/commons-digester/commons-digester/1.8/commons-digester-1.8.jar:/Users/apple/server/mavenrep/commons-beanutils/commons-beanutils/1.7.0/commons-beanutils-1.7.0.jar:/Users/apple/server/mavenrep/commons-beanutils/commons-beanutils-core/1.8.0/commons-beanutils-core-1.8.0.jar:/Users/apple/server/mavenrep/com/google/code/gson/gson/2.2.4/gson-2.2.4.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-auth/2.6.5/hadoop-auth-2.6.5.jar:/Users/apple/server/mavenrep/org/apache/directory/server/apacheds-kerberos-codec/2.0.0-M15/apacheds-kerberos-codec-2.0.0-M15.jar:/Users/apple/server/mavenrep/org/apache/directory/server/apacheds-i18n/2.0.0-M15/apacheds-i18n-2.0.0-M15.jar:/Users/apple/server/mavenrep/org/apache/directory/api/api-asn1-api/1.0.0-M20/api-asn1-api-1.0.0-M20.jar:/Users/apple/server/mavenrep/org/apache/directory/api/api-util/1.0.0-M20/api-util-1.0.0-M20.jar:/Users/apple/server/mavenrep/org/apache/curator/curator-client/2.6.0/curator-client-2.6.0.jar:/Users/apple/server/mavenrep/org/htrace/htrace-core/3.0.4/htrace-core-3.0.4.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-hdfs/2.6.5/hadoop-hdfs-2.6.5.jar:/Users/apple/server/mavenrep/org/mortbay/jetty/jetty-util/6.1.26/jetty-util-6.1.26.jar:/Users/apple/server/mavenrep/xerces/xercesImpl/2.9.1/xercesImpl-2.9.1.jar:/Users/apple/server/mavenrep/xml-apis/xml-apis/1.3.04/xml-apis-1.3.04.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-mapreduce-client-app/2.6.5/hadoop-mapreduce-client-app-2.6.5.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-mapreduce-client-common/2.6.5/hadoop-mapreduce-client-common-2.6.5.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-yarn-client/2.6.5/hadoop-yarn-client-2.6.5.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-yarn-server-common/2.6.5/hadoop-yarn-server-common-2.6.5.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-mapreduce-client-shuffle/2.6.5/hadoop-mapreduce-client-shuffle-2.6.5.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-yarn-api/2.6.5/hadoop-yarn-api-2.6.5.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-mapreduce-client-core/2.6.5/hadoop-mapreduce-client-core-2.6.5.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-yarn-common/2.6.5/hadoop-yarn-common-2.6.5.jar:/Users/apple/server/mavenrep/javax/xml/bind/jaxb-api/2.2.2/jaxb-api-2.2.2.jar:/Users/apple/server/mavenrep/javax/xml/stream/stax-api/1.0-2/stax-api-1.0-2.jar:/Users/apple/server/mavenrep/org/codehaus/jackson/jackson-jaxrs/1.9.13/jackson-jaxrs-1.9.13.jar:/Users/apple/server/mavenrep/org/codehaus/jackson/jackson-xc/1.9.13/jackson-xc-1.9.13.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-mapreduce-client-jobclient/2.6.5/hadoop-mapreduce-client-jobclient-2.6.5.jar:/Users/apple/server/mavenrep/org/apache/hadoop/hadoop-annotations/2.6.5/hadoop-annotations-2.6.5.jar:/Users/apple/server/mavenrep/org/apache/spark/spark-launcher_2.11/2.3.3/spark-launcher_2.11-2.3.3.jar:/Users/apple/server/mavenrep/org/apache/spark/spark-kvstore_2.11/2.3.3/spark-kvstore_2.11-2.3.3.jar:/Users/apple/server/mavenrep/org/fusesource/leveldbjni/leveldbjni-all/1.8/leveldbjni-all-1.8.jar:/Users/apple/server/mavenrep/com/fasterxml/jackson/core/jackson-core/2.6.7/jackson-core-2.6.7.jar:/Users/apple/server/mavenrep/com/fasterxml/jackson/core/jackson-annotations/2.6.7/jackson-annotations-2.6.7.jar:/Users/apple/server/mavenrep/org/apache/spark/spark-network-common_2.11/2.3.3/spark-network-common_2.11-2.3.3.jar:/Users/apple/server/mavenrep/org/apache/spark/spark-network-shuffle_2.11/2.3.3/spark-network-shuffle_2.11-2.3.3.jar:/Users/apple/server/mavenrep/org/apache/spark/spark-unsafe_2.11/2.3.3/spark-unsafe_2.11-2.3.3.jar:/Users/apple/server/mavenrep/net/java/dev/jets3t/jets3t/0.9.4/jets3t-0.9.4.jar:/Users/apple/server/mavenrep/org/apache/httpcomponents/httpcore/4.4.1/httpcore-4.4.1.jar:/Users/apple/server/mavenrep/org/apache/httpcomponents/httpclient/4.5/httpclient-4.5.jar:/Users/apple/server/mavenrep/commons-codec/commons-codec/1.13/commons-codec-1.13.jar:/Users/apple/server/mavenrep/javax/activation/activation/1.1.1/activation-1.1.1.jar:/Users/apple/server/mavenrep/org/bouncycastle/bcprov-jdk15on/1.52/bcprov-jdk15on-1.52.jar:/Users/apple/server/mavenrep/com/jamesmurty/utils/java-xmlbuilder/1.1/java-xmlbuilder-1.1.jar:/Users/apple/server/mavenrep/net/iharder/base64/2.3.8/base64-2.3.8.jar:/Users/apple/server/mavenrep/org/apache/curator/curator-recipes/2.6.0/curator-recipes-2.6.0.jar:/Users/apple/server/mavenrep/org/apache/curator/curator-framework/2.6.0/curator-framework-2.6.0.jar:/Users/apple/server/mavenrep/org/apache/zookeeper/zookeeper/3.4.6/zookeeper-3.4.6.jar:/Users/apple/server/mavenrep/com/google/guava/guava/16.0.1/guava-16.0.1.jar:/Users/apple/server/mavenrep/javax/servlet/javax.servlet-api/3.1.0/javax.servlet-api-3.1.0.jar:/Users/apple/server/mavenrep/org/apache/commons/commons-lang3/3.5/commons-lang3-3.5.jar:/Users/apple/server/mavenrep/org/apache/commons/commons-math3/3.4.1/commons-math3-3.4.1.jar:/Users/apple/server/mavenrep/com/google/code/findbugs/jsr305/1.3.9/jsr305-1.3.9.jar:/Users/apple/server/mavenrep/org/slf4j/slf4j-api/1.7.16/slf4j-api-1.7.16.jar:/Users/apple/server/mavenrep/org/slf4j/jul-to-slf4j/1.7.16/jul-to-slf4j-1.7.16.jar:/Users/apple/server/mavenrep/org/slf4j/jcl-over-slf4j/1.7.16/jcl-over-slf4j-1.7.16.jar:/Users/apple/server/mavenrep/log4j/log4j/1.2.17/log4j-1.2.17.jar:/Users/apple/server/mavenrep/org/slf4j/slf4j-log4j12/1.7.16/slf4j-log4j12-1.7.16.jar:/Users/apple/server/mavenrep/com/ning/compress-lzf/1.0.3/compress-lzf-1.0.3.jar:/Users/apple/server/mavenrep/org/xerial/snappy/snappy-java/1.1.2.6/snappy-java-1.1.2.6.jar:/Users/apple/server/mavenrep/org/lz4/lz4-java/1.4.0/lz4-java-1.4.0.jar:/Users/apple/server/mavenrep/com/github/luben/zstd-jni/1.3.2-2/zstd-jni-1.3.2-2.jar:/Users/apple/server/mavenrep/org/roaringbitmap/RoaringBitmap/0.5.11/RoaringBitmap-0.5.11.jar:/Users/apple/server/mavenrep/commons-net/commons-net/2.2/commons-net-2.2.jar:/Users/apple/server/mavenrep/org/json4s/json4s-jackson_2.11/3.2.11/json4s-jackson_2.11-3.2.11.jar:/Users/apple/server/mavenrep/org/json4s/json4s-core_2.11/3.2.11/json4s-core_2.11-3.2.11.jar:/Users/apple/server/mavenrep/org/json4s/json4s-ast_2.11/3.2.11/json4s-ast_2.11-3.2.11.jar:/Users/apple/server/mavenrep/org/scala-lang/scalap/2.11.0/scalap-2.11.0.jar:/Users/apple/server/mavenrep/org/scala-lang/scala-compiler/2.11.0/scala-compiler-2.11.0.jar:/Users/apple/server/mavenrep/org/scala-lang/modules/scala-xml_2.11/1.0.1/scala-xml_2.11-1.0.1.jar:/Users/apple/server/mavenrep/org/glassfish/jersey/core/jersey-client/2.22.2/jersey-client-2.22.2.jar:/Users/apple/server/mavenrep/javax/ws/rs/javax.ws.rs-api/2.0.1/javax.ws.rs-api-2.0.1.jar:/Users/apple/server/mavenrep/org/glassfish/hk2/hk2-api/2.4.0-b34/hk2-api-2.4.0-b34.jar:/Users/apple/server/mavenrep/org/glassfish/hk2/hk2-utils/2.4.0-b34/hk2-utils-2.4.0-b34.jar:/Users/apple/server/mavenrep/org/glassfish/hk2/external/aopalliance-repackaged/2.4.0-b34/aopalliance-repackaged-2.4.0-b34.jar:/Users/apple/server/mavenrep/org/glassfish/hk2/external/javax.inject/2.4.0-b34/javax.inject-2.4.0-b34.jar:/Users/apple/server/mavenrep/org/glassfish/hk2/hk2-locator/2.4.0-b34/hk2-locator-2.4.0-b34.jar:/Users/apple/server/mavenrep/org/javassist/javassist/3.18.1-GA/javassist-3.18.1-GA.jar:/Users/apple/server/mavenrep/org/glassfish/jersey/core/jersey-common/2.22.2/jersey-common-2.22.2.jar:/Users/apple/server/mavenrep/javax/annotation/javax.annotation-api/1.2/javax.annotation-api-1.2.jar:/Users/apple/server/mavenrep/org/glassfish/jersey/bundles/repackaged/jersey-guava/2.22.2/jersey-guava-2.22.2.jar:/Users/apple/server/mavenrep/org/glassfish/hk2/osgi-resource-locator/1.0.1/osgi-resource-locator-1.0.1.jar:/Users/apple/server/mavenrep/org/glassfish/jersey/core/jersey-server/2.22.2/jersey-server-2.22.2.jar:/Users/apple/server/mavenrep/org/glassfish/jersey/media/jersey-media-jaxb/2.22.2/jersey-media-jaxb-2.22.2.jar:/Users/apple/server/mavenrep/javax/validation/validation-api/1.1.0.Final/validation-api-1.1.0.Final.jar:/Users/apple/server/mavenrep/org/glassfish/jersey/containers/jersey-container-servlet/2.22.2/jersey-container-servlet-2.22.2.jar:/Users/apple/server/mavenrep/org/glassfish/jersey/containers/jersey-container-servlet-core/2.22.2/jersey-container-servlet-core-2.22.2.jar:/Users/apple/server/mavenrep/io/netty/netty-all/4.1.17.Final/netty-all-4.1.17.Final.jar:/Users/apple/server/mavenrep/io/netty/netty/3.9.9.Final/netty-3.9.9.Final.jar:/Users/apple/server/mavenrep/com/clearspring/analytics/stream/2.7.0/stream-2.7.0.jar:/Users/apple/server/mavenrep/io/dropwizard/metrics/metrics-core/3.1.5/metrics-core-3.1.5.jar:/Users/apple/server/mavenrep/io/dropwizard/metrics/metrics-jvm/3.1.5/metrics-jvm-3.1.5.jar:/Users/apple/server/mavenrep/io/dropwizard/metrics/metrics-json/3.1.5/metrics-json-3.1.5.jar:/Users/apple/server/mavenrep/io/dropwizard/metrics/metrics-graphite/3.1.5/metrics-graphite-3.1.5.jar:/Users/apple/server/mavenrep/com/fasterxml/jackson/core/jackson-databind/2.6.7.1/jackson-databind-2.6.7.1.jar:/Users/apple/server/mavenrep/com/fasterxml/jackson/module/jackson-module-scala_2.11/2.6.7.1/jackson-module-scala_2.11-2.6.7.1.jar:/Users/apple/server/mavenrep/org/scala-lang/scala-reflect/2.11.8/scala-reflect-2.11.8.jar:/Users/apple/server/mavenrep/com/fasterxml/jackson/module/jackson-module-paranamer/2.7.9/jackson-module-paranamer-2.7.9.jar:/Users/apple/server/mavenrep/org/apache/ivy/ivy/2.4.0/ivy-2.4.0.jar:/Users/apple/server/mavenrep/oro/oro/2.0.8/oro-2.0.8.jar:/Users/apple/server/mavenrep/net/razorvine/pyrolite/4.13/pyrolite-4.13.jar:/Users/apple/server/mavenrep/net/sf/py4j/py4j/0.10.7/py4j-0.10.7.jar:/Users/apple/server/mavenrep/org/apache/commons/commons-crypto/1.0.0/commons-crypto-1.0.0.jar:/Users/apple/server/mavenrep/org/apache/spark/spark-sql_2.11/2.3.3/spark-sql_2.11-2.3.3.jar:/Users/apple/server/mavenrep/com/univocity/univocity-parsers/2.5.9/univocity-parsers-2.5.9.jar:/Users/apple/server/mavenrep/org/apache/spark/spark-sketch_2.11/2.3.3/spark-sketch_2.11-2.3.3.jar:/Users/apple/server/mavenrep/org/apache/spark/spark-catalyst_2.11/2.3.3/spark-catalyst_2.11-2.3.3.jar:/Users/apple/server/mavenrep/org/scala-lang/modules/scala-parser-combinators_2.11/1.0.4/scala-parser-combinators_2.11-1.0.4.jar:/Users/apple/server/mavenrep/org/codehaus/janino/janino/3.0.8/janino-3.0.8.jar:/Users/apple/server/mavenrep/org/codehaus/janino/commons-compiler/3.0.8/commons-compiler-3.0.8.jar:/Users/apple/server/mavenrep/org/antlr/antlr4-runtime/4.7/antlr4-runtime-4.7.jar:/Users/apple/server/mavenrep/org/apache/orc/orc-core/1.4.4/orc-core-1.4.4-nohive.jar:/Users/apple/server/mavenrep/com/google/protobuf/protobuf-java/2.5.0/protobuf-java-2.5.0.jar:/Users/apple/server/mavenrep/commons-lang/commons-lang/2.6/commons-lang-2.6.jar:/Users/apple/server/mavenrep/io/airlift/aircompressor/0.8/aircompressor-0.8.jar:/Users/apple/server/mavenrep/org/apache/orc/orc-mapreduce/1.4.4/orc-mapreduce-1.4.4-nohive.jar:/Users/apple/server/mavenrep/org/apache/parquet/parquet-column/1.8.3/parquet-column-1.8.3.jar:/Users/apple/server/mavenrep/org/apache/parquet/parquet-common/1.8.3/parquet-common-1.8.3.jar:/Users/apple/server/mavenrep/org/apache/parquet/parquet-encoding/1.8.3/parquet-encoding-1.8.3.jar:/Users/apple/server/mavenrep/org/apache/parquet/parquet-hadoop/1.8.3/parquet-hadoop-1.8.3.jar:/Users/apple/server/mavenrep/org/apache/parquet/parquet-format/2.3.1/parquet-format-2.3.1.jar:/Users/apple/server/mavenrep/org/apache/parquet/parquet-jackson/1.8.3/parquet-jackson-1.8.3.jar:/Users/apple/server/mavenrep/org/apache/arrow/arrow-vector/0.8.0/arrow-vector-0.8.0.jar:/Users/apple/server/mavenrep/org/apache/arrow/arrow-format/0.8.0/arrow-format-0.8.0.jar:/Users/apple/server/mavenrep/org/apache/arrow/arrow-memory/0.8.0/arrow-memory-0.8.0.jar:/Users/apple/server/mavenrep/joda-time/joda-time/2.9.9/joda-time-2.9.9.jar:/Users/apple/server/mavenrep/com/carrotsearch/hppc/0.7.2/hppc-0.7.2.jar:/Users/apple/server/mavenrep/com/vlkan/flatbuffers/1.2.0-3f79e055/flatbuffers-1.2.0-3f79e055.jar SparkTestJoin
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
19/09/04 23:28:34 INFO SparkContext: Running Spark version 2.3.3
19/09/04 23:28:35 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
19/09/04 23:28:35 INFO SparkContext: Submitted application: SparkTestJoin
19/09/04 23:28:35 INFO SecurityManager: Changing view acls to: apple
19/09/04 23:28:35 INFO SecurityManager: Changing modify acls to: apple
19/09/04 23:28:35 INFO SecurityManager: Changing view acls groups to: 
19/09/04 23:28:35 INFO SecurityManager: Changing modify acls groups to: 
19/09/04 23:28:35 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users  with view permissions: Set(apple); groups with view permissions: Set(); users  with modify permissions: Set(apple); groups with modify permissions: Set()
19/09/04 23:28:36 INFO Utils: Successfully started service 'sparkDriver' on port 59923.
19/09/04 23:28:36 INFO SparkEnv: Registering MapOutputTracker
19/09/04 23:28:36 INFO SparkEnv: Registering BlockManagerMaster
19/09/04 23:28:36 INFO BlockManagerMasterEndpoint: Using org.apache.spark.storage.DefaultTopologyMapper for getting topology information
19/09/04 23:28:36 INFO BlockManagerMasterEndpoint: BlockManagerMasterEndpoint up
19/09/04 23:28:36 INFO DiskBlockManager: Created local directory at /private/var/folders/s1/d29h6xhj3r7dnw9d5m2d626w0000gn/T/blockmgr-90bd4494-517f-455a-bba8-01688fbc77c1
19/09/04 23:28:36 INFO MemoryStore: MemoryStore started with capacity 912.3 MB
19/09/04 23:28:36 INFO SparkEnv: Registering OutputCommitCoordinator
19/09/04 23:28:36 INFO Utils: Successfully started service 'SparkUI' on port 4040.
19/09/04 23:28:36 INFO SparkUI: Bound SparkUI to 0.0.0.0, and started at http://192.168.1.2:4040
19/09/04 23:28:36 INFO Executor: Starting executor ID driver on host localhost
19/09/04 23:28:36 INFO Utils: Successfully started service 'org.apache.spark.network.netty.NettyBlockTransferService' on port 59924.
19/09/04 23:28:36 INFO NettyBlockTransferService: Server created on 192.168.1.2:59924
19/09/04 23:28:36 INFO BlockManager: Using org.apache.spark.storage.RandomBlockReplicationPolicy for block replication policy
19/09/04 23:28:36 INFO BlockManagerMaster: Registering BlockManager BlockManagerId(driver, 192.168.1.2, 59924, None)
19/09/04 23:28:36 INFO BlockManagerMasterEndpoint: Registering block manager 192.168.1.2:59924 with 912.3 MB RAM, BlockManagerId(driver, 192.168.1.2, 59924, None)
19/09/04 23:28:36 INFO BlockManagerMaster: Registered BlockManager BlockManagerId(driver, 192.168.1.2, 59924, None)
19/09/04 23:28:36 INFO BlockManager: Initialized BlockManager: BlockManagerId(driver, 192.168.1.2, 59924, None)
19/09/04 23:28:37 INFO SharedState: Setting hive.metastore.warehouse.dir ('null') to the value of spark.sql.warehouse.dir ('file:/Users/apple/IdeaProjects/spark_learning/spark-warehouse/').
19/09/04 23:28:37 INFO SharedState: Warehouse path is 'file:/Users/apple/IdeaProjects/spark_learning/spark-warehouse/'.
19/09/04 23:28:37 INFO StateStoreCoordinatorRef: Registered StateStoreCoordinator endpoint
Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`bronDate`' given input columns: [];;
'Project ['bronDate]
+- LogicalRDD false

	at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.failAnalysis(package.scala:42)
	at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:92)
	at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:89)
	at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$transformUp$1.apply(TreeNode.scala:289)
	at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$transformUp$1.apply(TreeNode.scala:289)
	at org.apache.spark.sql.catalyst.trees.CurrentOrigin$.withOrigin(TreeNode.scala:70)
	at org.apache.spark.sql.catalyst.trees.TreeNode.transformUp(TreeNode.scala:288)
	at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$transformExpressionsUp$1.apply(QueryPlan.scala:95)
	at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$transformExpressionsUp$1.apply(QueryPlan.scala:95)
	at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$1.apply(QueryPlan.scala:107)
	at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$1.apply(QueryPlan.scala:107)
	at org.apache.spark.sql.catalyst.trees.CurrentOrigin$.withOrigin(TreeNode.scala:70)
	at org.apache.spark.sql.catalyst.plans.QueryPlan.transformExpression$1(QueryPlan.scala:106)
	at org.apache.spark.sql.catalyst.plans.QueryPlan.org$apache$spark$sql$catalyst$plans$QueryPlan$$recursiveTransform$1(QueryPlan.scala:118)
	at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$org$apache$spark$sql$catalyst$plans$QueryPlan$$recursiveTransform$1$1.apply(QueryPlan.scala:122)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
	at scala.collection.TraversableLike$$anonfun$map$1.apply(TraversableLike.scala:234)
	at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
	at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:48)
	at scala.collection.TraversableLike$class.map(TraversableLike.scala:234)
	at scala.collection.AbstractTraversable.map(Traversable.scala:104)
	at org.apache.spark.sql.catalyst.plans.QueryPlan.org$apache$spark$sql$catalyst$plans$QueryPlan$$recursiveTransform$1(QueryPlan.scala:122)
	at org.apache.spark.sql.catalyst.plans.QueryPlan$$anonfun$2.apply(QueryPlan.scala:127)
	at org.apache.spark.sql.catalyst.trees.TreeNode.mapProductIterator(TreeNode.scala:187)
	at org.apache.spark.sql.catalyst.plans.QueryPlan.mapExpressions(QueryPlan.scala:127)
	at org.apache.spark.sql.catalyst.plans.QueryPlan.transformExpressionsUp(QueryPlan.scala:95)
	at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1.apply(CheckAnalysis.scala:89)
	at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1.apply(CheckAnalysis.scala:84)
	at org.apache.spark.sql.catalyst.trees.TreeNode.foreachUp(TreeNode.scala:127)
	at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$class.checkAnalysis(CheckAnalysis.scala:84)
	at org.apache.spark.sql.catalyst.analysis.Analyzer.checkAnalysis(Analyzer.scala:92)
	at org.apache.spark.sql.catalyst.analysis.Analyzer.executeAndCheck(Analyzer.scala:105)
	at org.apache.spark.sql.execution.QueryExecution.analyzed$lzycompute(QueryExecution.scala:57)
	at org.apache.spark.sql.execution.QueryExecution.analyzed(QueryExecution.scala:55)
	at org.apache.spark.sql.execution.QueryExecution.assertAnalyzed(QueryExecution.scala:47)
	at org.apache.spark.sql.Dataset$.ofRows(Dataset.scala:74)
	at org.apache.spark.sql.Dataset.org$apache$spark$sql$Dataset$$withPlan(Dataset.scala:3301)
	at org.apache.spark.sql.Dataset.select(Dataset.scala:1312)
	at org.apache.spark.sql.Dataset.select(Dataset.scala:1330)
	at org.apache.spark.sql.Dataset.select(Dataset.scala:1330)
	at SparkTestJoin.main(SparkTestJoin.java:42)
19/09/04 23:28:38 INFO SparkContext: Invoking stop() from shutdown hook
19/09/04 23:28:38 INFO SparkUI: Stopped Spark web UI at http://192.168.1.2:4040
19/09/04 23:28:38 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
19/09/04 23:28:38 INFO MemoryStore: MemoryStore cleared
19/09/04 23:28:38 INFO BlockManager: BlockManager stopped
19/09/04 23:28:38 INFO BlockManagerMaster: BlockManagerMaster stopped
19/09/04 23:28:38 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
19/09/04 23:28:38 INFO SparkContext: Successfully stopped SparkContext
19/09/04 23:28:38 INFO ShutdownHookManager: Shutdown hook called
19/09/04 23:28:38 INFO ShutdownHookManager: Deleting directory /private/var/folders/s1/d29h6xhj3r7dnw9d5m2d626w0000gn/T/spark-82b6c91d-ed14-4b65-bba2-efb4b7f2f38e

Process finished with exit code 1

 

 

处理方法 ，

添加getter  setter  方法即可 

 

收录于
spark-sql

当前文章被收录于：

spark-sql
2 篇文章 0 人学习
订阅专栏 查看详情
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
SAP 错误消息调试之七种武器：让所有的错误消息都能被定位 目录 长生剑 - SAPGUI Where Used List 碧玉刀 - ABAP调试器观察点 霸王枪 - ABAP调试器动态断点 多情环 - ABAP代码静态扫描 孔雀翎 - SAT 离别钩 - ST05 拳头 - 迷之方法？？？ Jerry在2018年开始用中文在微信公众号平台上写作之前，在SAP官方社区上总共写了639篇英文博客。 其中有一篇写于2013年介绍ABAP调试技巧的博客： 阅读详情

相关推荐

使用IDF和VSCode构建ESP32的开发环境

本文主要介绍构建使用IDF和VS-CODE 工具构建ESP32的开发环境的详细步骤，还应用IDF和VS CODE创建ESP32的项目文件，并实现编译和下载功能。

mftang的博客 6820

Spark任务提交-json参数踩坑

Spark提交任务时，需要传递两个参数，其中一个是json字段串json 参数如下：{ "dest_catalog":"测试文件1", "site":"tencent", "song_settings":{"lower_case":"true","remove_brackets":"true","simple_chinese":"true","remove_blank":"true","remove

我家有个艳的博客 3850

Xilinx Aurora 8B/10B IP核详解和仿真

Xilinx Aurora 8b/10b IP核的详解，以及使用与仿真示例，对IP核的配置和如何仿真有非常详细的说明，除了对IP核官方文档的内容进行了解析以外，还对GTX引脚的选择等比较容易混淆和不好理解的地方进行了说明。最后对IP核的仿真运行进行了STEP BY STEP 的说明，对仿真的结果也进行了简要的说明。 该文档对Xilinx FPGA和ZYNQ SOC下 AURORA 8B/10B IP核的使用提供了一个快速上手的指导。

weixin_43354598的博客 1万+

spark，rdd字段太多，无法写入文件的问题

spark将rdd写入文件，由于字段太多，无法写入 解决办法，将rdd中的字段转成对象，再输出 case class RefuceCodeResult( ID:String, TOTAL:Int, CS_D1:Doubl...

ningxue128的博客 710

ENVI 5.6保姆级教程：高分七号DLC影像从打开到融合的完整流程（附避坑指南）

本文详细介绍了ENVI 5.6处理高分七号DLC影像的完整流程，包括环境准备、数据解压、正射校正、图像融合等关键步骤。特别针对国产卫星数据处理的独特挑战，提供了实用的避坑指南和优化技巧，帮助用户高效完成光学影像的预处理和质量提升。

weixin_33269743的博客 382

深入理解EtherCAT状态机：从IGH代码看伺服电机如何从‘上电’到‘使能’

本文深入解析EtherCAT状态机的工作原理，重点探讨伺服电机从'上电'到'使能'的状态转换过程。通过分析状态字(Status Word)和控制字(Control Word)的交互机制，结合IGH代码实例，揭示DS402状态机的核心逻辑，帮助工程师解决60%以上的伺服控制问题，提升EtherCAT网络调试效率。

weixin_42549037的博客 289

Spark_SparkSql写入MySQL_将长字符串写入Mysql中的方法-Details:data too long for column `xxx` at row 1

我在将轨迹的经纬度转换为字符串入库时，遇到写入问题 Mysql数据入库报错： Caused by:java.long.exception:写入数据库表失败.Details:data too long for column `xxx` at row 1，我的xxx字段类型是string,在mysql库表中是text,text算是比较长的了，但是还是空间不足,。

Matrix70的博客 1657

避坑指南：RFSoC数据转换器多片同步配置的7个致命错误

本文深入剖析了在配置RFSoC多片同步功能时，工程师最常遇到的七个致命错误。从Tile 0的强制启用、时钟域与SYSREF时序，到跨代器件兼容性、电源序列以及动态重配置的陷阱，文章结合实战经验，提供了从原理到调试的完整RF数据转换器配置指南，旨在帮助开发者高效构建相位一致的大规模射频采样系统。

weixin_28452161的博客 534

sparkbug解决_value $ is not a member of StringContext val uniqueGenders = df.filter($“Country“ =

符号需要导入相关隐式转换。通常情况下，可以通过导入。未被正确识别的问题。在Spark中，使用。

Matrix70的博客 655

FreeFEM++下载安装和使用

最近要利用机器学习求解一些偏微分方程，对于一些复杂的偏微分方程，需要一些精度比较高的参考解，导师推荐了FreeFEM++软件。首次使用，特此记录一下，以备以后查阅。 1、FreeFEM++简介 FreeFEM是开源的有限元模拟系统，有法国利翁斯实验室、埃尔和玛丽居里大学共同开发，在世界范围内广泛使用。 2、FreeFEM++去何处下载？ 下载地址：https://freefem.org/ 点击Download，然后会跳转到 https://github.com/FreeFem/FreeFem-source

夜晓岚的博客 1万+

备战数学建模38-粒子群算法pso番外篇1(攻坚战2)

粒子群算法最初是根据鸟类群体行为得到的启发，对鸟群行为进行仿真的算法，是一种启发式算法，也就是智能优化算法，利用信息共享，通过中间信息进行改进搜索，从而获得问题的可行解。我们简单从下图去体会一下粒子群算法，就是有多个鸟，每个鸟相当于一个粒子，每只鸟的位置受自己认知的历史最佳位置和当前距离食物最近的鸟的位置的影响。我们进一步分析这个图，可以得到两个公式，第一个是速度公式，即每只鸟的当前速度受上一步的速度惯性，自我认知和社会认知三部分影响，第二个是位置公式，即每只鸟的位置受上一位置和上一位置的速度的影响。

nuist_NJUPT的博客 1666

spark-sql字段血缘实现

请注意，实现一个完整的字段血缘系统是一个复杂的任务，可能需要大量的工作和投资。在Spark SQL中实现字段血缘（Data Lineage）是一个复杂但有价值的功能，它可以帮助你追踪数据在处理和转换过程中的来源和去向。当你执行一个Spark SQL查询时，你需要解析这个查询以识别涉及的字段和它们之间的转换。由于SQL查询的复杂性和多样性，你的解析器可能会遇到无法解析的查询或错误的情况。随着Spark版本的更新和新功能的引入，你可能需要定期更新你的字段血缘实现以支持新的语法和功能。

IT深耕十余载，大道之简 1111

手把手教你学Simulink——基于Simulink的储能PCS（功率转换系统）离网V/f控制仿真示例

本文带你从零开始，在Simulink中硬核还原了一套完整的100kW 储能PCS离网V/f控制系统。通过引入：✅无PLL的自主角度生成机制（实现真正的“构网”能力）✅电压外环与电流内环的双闭环解耦架构（兼顾稳态精度与动态响应）✅黑启动软充电与有源阻尼等工程化手段（确保系统平滑建压与抗谐振）核心收获透彻理解了储能系统在无大电网支撑下的自主运行机理。掌握了从“跟网（Grid-Following）”向“构网（Grid-Forming）”跨越的控制算法核心差异。

MHD0815的博客 77

HIve修改字段或者增加字段后，Spark访问不生效问题

问题重现（例） 当我将数据存储格式改变，或者增加一列的时候，我习惯使用了alter table add …来实现 原来的表： ALTER TABLE test ADD COLUMNS (weight STRING) CASCADE 加上一列weight字段后（这里使用cascade就是为了同步到hivemetastore），我用spark向表插入一个带有weight字段的表，此时抛出异常 Exception in thread "main" org.apache.spark.sql.AnalysisEx

BackToMe的博客 3061

老版QQ原生表情gif动态

这是老版的QQ表情，不过全是动态的的，Windows照片查看器是不会动的，可以右击用浏览器打开查看，再说一遍是老版的，只是分享给宁愿用老版也要动态的人。

efm32 入门.pdf

本PDF共计22页，介绍的是操作驱动API，下载与否自己斟酌。

Spark sql 中 自定义实体类无法识别其中的 Date 字段

在使用过程中 创建了实体类 使用反射的方式将 rdd 转换为 df 但是在使用过程中 即使没有在 查询中使用该字段，依然会报错 主要提示为 `scala.MatchError: Thu Sep 05 10:16:25 CST 2019 (of class java.util.Date) ` 具体内容如下 19/09/05 10:16:30 ERROR Executor: ...

H.king的博客 946

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过，这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后，重新检测通过。

Spark SQL创建表，不能用null定义生成字段

如题，在Spark SQL中执行Hive SQL代码，遇到 create table testtable as select null as item from ... 时，会报错： Exception in thread "main" org.apache.spark.SparkException: Cannot recognize hive type string: null 报...

weixin_42240930的博客 2634

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

oracle sql和spark sql表达的差异

对oracle数据库和大数据类型数据库进行sql（spark sql）查询的异同本文的创作背景关于对问题实质的剖析功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表...

weixin_42167946的博客 2491

你的SQL在Spark内部是如何 “跑” 起来的？一段SQL带你拆解Spark内部执行全流程

当您执行一条 Spark SQL 查询时，是否思考过它背后究竟经历了怎样的旅程？看似简单的查询请求，实则蕴藏着分布式计算的精妙魔法——从语法解析到逻辑优化，从执行计划到分布式调度，每一个环节都如同精心编排的交响乐章，最终奏响高效计算的最强音。让我们一同揭开 Spark SQL 的神秘面纱，探索这条从 SQL 语句到查询结果的传奇之路。

涤生大数据 1325

[Spark-SQL 2.1] create view as select中NVL函数异常

环境： Hive client (version 1.2.1) Spark version 2.1.1.2.6.1.0-129 现有一测试表datadev.t_student，字段如下 col_name data_type comment id string score int 此时，我们在Spark-SQL中执行以下命令，会报错。 create view datadev.t_student_view as select NVL(id, ..

qq_37771475的博客 1737

Hudi（7）：Hudi集成Spark之spark-sql方式

默认情况下，如果提供了preCombineKey，则insert into的写操作类型为upsert，否则使用insert。hoodie.sql.bulk.insert.enable 和 hoodie.sql.insert.mode。不需要指定模式和非分区列（如果存在）之外的任何属性，Hudi可以自动识别模式和配置。同hoodie.datasource.write.table.type。为了提高向hudi表加载数据的性能，CTAS使用批量插入作为写操作。表的主键名，多个字段用逗号分隔。

yang_shibiao的博客 3897

spark指定hive字段_Spark(Hive) SQL数据类型使用详解(Python)

Spark SQL使用时需要有若干“表”的存在，这些“表”可以来自于Hive，也可以来自“临时表”。如果“表”来自于Hive，它的模式(列名、列类型等)在创建时已经确定，一般情况下我们直接通过Spark SQL分析表中的数据即可；如果“表”来自“临时表”，我们就需要考虑两个问题：(1)“临时表”的数据是哪来的？(2)“临时表”的模式是什么？通过Spark的官方文档可以了解到，生成一张“临时表”需要...

weixin_34162253的博客 1011

Spark SQL 简介

Spark SQL 是 Spark 用于结构化数据处理的模块，对于开发人员来讲，Spark SQL 可以简化 RDD 的开发，提高开发效率，且执行效率非常快，所以实际工作中，基本上采用的就是 Spark SQL。Spark SQL 为了简化 RDD 的开发，提高开发效率，提供了两个编程抽象，类似 Spark Core 中的 RDD。即 DataFrame 和 DataSet。

好记性不如烂笔头 851

Spark SQL优化方案总结

利用 Spark UI 和日志识别性能瓶颈（是 I/O 慢？Shuffle 数据量大？GC 严重？数据倾斜？确保资源（内存、CPU、并行度）分配合理。对于 Spark 3.x，这是最重要的开箱即用优化。使用列式格式（Parquet/ORC），合理分区/分桶，管理文件大小。编写高效 SQL（谓词下推、列裁剪、避免笛卡尔积、慎用全局排序去重），利用广播 Join，缓存策略得当。针对数据倾斜等问题应用特定优化。检查优化后的效果。没有放之四海而皆准的"最佳配置"，最优策略取决于你的。

走过冬季 1405

一条Sql的Spark之旅

背景 ​ SQL作为一门标准的、通用的、简单的DSL，在大数据分析中有着越来越重要的地位;Spark在批处理引擎领域当前也是处于绝对的地位，而Spark2.0中的SparkSQL也支持ANSI-SQL 2003标准。因此SparkSQL在大数据分析中的地位不言而喻。本文将通过分析一条SQL在Spark中的解析执行过程来梳理SparkSQL执行的一个流程。 案例分析 代码 val spark...

xingyuan8的专栏 938

Hudi-集成Spark之spark-sql方式

hudi 支持使用 bulk_insert 作为写操作的类型，只需要设置两个配置：hoodie.sql.bulk.insert.enable 和 hoodie.sql.insert.mode。（5）通过 CTAS (Create Table As Select)建表为了提高向 hudi 表加载数据的性能，CTAS 使用批量插入作为写操作。（4）在已有的 hudi 表上创建新表，不需要指定模式和非分区列（如果存在）之外的任何属性，Hudi 可以自动识别模式和配置。（2）创建一个 mor 非分区表。

迷雾总会解 2009

基于antlr4实现SQL动态添加字段

本身 ANTLR 提供的一个强大工具，用于在不直接修改原始记号流的情况下，对其进行动态改写。它通过记录操作指令并在需要时执行这些指令，提供了一个修改后的记号流视图，非常适合用于代码重构或源代码检测等场景。在前期的SQL解析实现中使用的是visit模式，一开始想继续使用这种方式进行处理，但对于复杂的SQL实现无法很好的兼容，于是本次使用到。项目用到的是spark SQL，在项目前期工作中已经实现了基于antlr4实时解析SQL语句的类型、表、字段等信息。拿到对应句段的结束点后，就可以在在后面添加字段了。

qq_34820963的博客 682
上一篇： spark sqlcontext 读取json 文件
下一篇： Spark sql 中 自定义实体类无法识别其中的 Date 字段
点赞 0
评论 0
书签 书签 0
H.King
H.King
博客等级 码龄10年 4粉丝 13原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值