spark中查询PG数据库老是报无法找到该列

PG_DUMP 问题记录 pg_dump: [archiver (db)] query failed: ERROR: column p.proisagg does not exist LINE 1: ...g_proc'::regclass AND pip.objsubid = 0) WHERE NOT p.proisagg ^ HINT: Perhaps you meant to reference the... 阅读详情

最近学习spark的过程中,发现在使用spark中的sql语句查询数据的时候老是报错:
16/11/30 19:38:42 ERROR Executor: Exception in task 0.0 in stage 2.0 (TID 2)
org.postgresql.util.PSQLException: ERROR: column “studentid” does not exist
建议:Perhaps you meant to reference the column “subsidy_train.studentID”.
位置:62
at org.postgresql.core.v3.QueryExecutorImpl.receiveErrorResponse(QueryExecutorImpl.java:2270)
at org.postgresql.core.v3.QueryExecutorImpl.processResults(QueryExecutorImpl.java:1998)
at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:255)
at org.postgresql.jdbc2.AbstractJdbc2Statement.execute(AbstractJdbc2Statement.java:570)
at org.postgresql.jdbc2.AbstractJdbc2Statement.executeWithFlags(AbstractJdbc2Statement.java:420)
at org.postgresql.jdbc2.AbstractJdbc2Statement.executeQuery(AbstractJdbc2Statement.java:305)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$$anon$1.(JDBCRDD.scala:399)
at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD.compute(JDBCRDD.scala:370)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)
at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)
at org.apache.spark.rdd.MapPartitionsRDD.compute(MapPartitionsRDD.scala:38)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:319)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:283)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:70)
at org.apache.spark.scheduler.Task.run(Task.scala:85)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:274)
at java.util.concurrent.ThreadPoolExecutor.runWorker(Unknown Source)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(Unknown Source)
at java.lang.Thread.run(Unknown Source)

弄了很久最后才发现在PG数据库对字段进行查询的时候会默认将字段名大写的变为小写,因此总是无法查找出该列,解决办法:
网上有一位说使用转义引号将变量名括起来/”colName/” ,可是这样还是会报错。最后只能将数据库中的大写字母全换成了小写。

spark postgresql查询后hive批量写入 从传统数据库中读取数据,然后一次性插入至hive表 阅读详情

相关推荐

大数据之数据仓库分层

大数据之数据仓库分层1. 什么是数据分层?2. 数据分层的好处一种通用的数据分层设计3. 举例4. 各层会用到的计算引擎和存储系统5. 大数据相关基础概念 1. 什么是数据分层? 数据分层是一套行之有效的数据组织和管理方法,使得数据体系更有序。 2. 数据分层的好处 (1)清晰数据结构 每一个数据分层都有它的作用域和职责,在使用表的时候能更方便的定位和理解。 (2)减少重复开发 规范数据分层,开发...

HW_870754395的博客 5840

pg数据库 不加引号查不出来

新使用的PG数据库,在建表的时候按照JAVA习惯使用驼峰命名法。 建表能成功,展示字段也是驼峰命名的字段,但是查询的时候使用驼峰命名的字段查询就查不出来数据。要查询出来就必须在字段名上加引号。 举个例子: create table user ( userId VARCHAR(10) not null, userName VARCHAR(4), ) 建表后 使用SQL select * from user u where u.userId = ‘0’ 会抛出异常 LINE 1:

a843013383的博客 9030

MindIE与vLLM-Ascend性能对决:Qwen3在昇腾910B上的推理效率实测

本文深度对比了昇腾910B平台上两大推理框架MindIE与vLLM-Ascend的性能表现。通过实测Qwen3系列模型,详细分析了二者在单卡、多卡场景下的推理效率、扩展性及生产环境适用性,为AI算力基础设施选型提供关键参考。

weixin_29214335的博客 1181

Perhaps you meant to reference the column “ewirsproce0_.update_userId“.

Hibernate: select ewirsproce0_.id as id1_0_, ewirsproce0_.approval_state as approval2_0_, ewirsproce0_.approval_time as approval3_0_, ewirsproce0_.approval_user as approval4_0_, ewirsproce0_.flow_id as flow_id5_0_, ewirsproce0_.flow_name as flow_nam6_0_, .

七月的专栏 7981

PCIe中ACS知识小记

虚拟机内部的访问数据显而易见是带的GPA地址。而目前几乎所有的PCIe 设备都带ACS control,所以它们可以单独assign给不同的VM,但是随之而来的就是即使两个GPU同时assign给同一个VM,由于ACS的存在,他们之间也不会有真正的物理层面的P2P访问。每一个TLP都自带一个address(寻址类TLP),同时每一个endpoint,PCIe switch都自带一段BIOS配置的地址空间范围,一旦这个TLP的address落入某个设备的地址范围,那么这个TLP就属于这个设备并消费。

Summer的博客 5077

别再只会插拔了!深入Linux内核,手把手调试USB热插拔中断(以高通平台为例)

本文深入探讨了Linux内核中USB热插拔中断的调试方法,特别针对高通平台提供了详细的实战指南。从硬件基础到内核机制,再到中断调试工具和常见问题排查,帮助开发者系统性地解决USB设备识别问题。通过监控中断状态、分析处理流程和高级调试技巧,提升USB热插拔的稳定性和性能。

weixin_29161785的博客 428

Perhaps you meant to reference the column "0_.的问题

我在通过JPA调用数据库出现这个问题,用了很多方法,最后发现问题出现在数据库里,数据库建表列名千万别大写不然就会c出现Perhaps you meant to reference the column "0_.的问题 ...

这就是快乐嘛 1万+

【AutoDL + Langchain-Chatchat】从零构建高效本地 RAG 知识库问答系统:实战保姆级教程(含避坑指南)

本文详细阐述如何在AutoDL云平台,如何利用Langchain-Chatchat构建高效的本地RAG知识库问答系统,并深入解析RAG架构。从环境搭建到实战部署,从问题排查到性能优化,提供一份全面实用的指南,助力开发者快速构建智能问答应用。

拾光夕拾的博客 1803

sqlalchemy.exc.ProgrammingError: -- psycopg2.ProgrammingError: column cons.consrc does not exist

psycopg2.ProgrammingError: column cons.consrc does not exist LINE 4: cons.consrc as src ^ HINT: Perhaps you meant to reference the column "cons.conkey" or the column "cons.conbin". The above exception was the dire

H_sen's Blog 2979

【WLAN】【基础知识】WIFI那些事儿之AP扫描周边AP和STA

如本文对你有些许帮助,欢迎大佬打赏: 支付宝及微信打赏方式

一介草民,只为生活。 2881

基于STM32设计的遥控灭火消防小车_296

随着城市化进程的加速和火灾发生频率的增加,传统的消防方式在应对初期火灾时存在反应慢、效率低等问题。为了提高火灾响应速度和灭火效率,本设计开发了一款基于STM32单片机的遥控灭火消防小车。该小车配备了烟雾检测、温湿度监测、火源定位、灭火操作等功能,能够通过蓝牙和WIFI实现远程控制与实时视频传输。设计采用了MQ2烟雾传感器、SHT30温湿度传感器、火光传感器和ESP32摄像头模块等硬件设备。系统不仅能够自动检测和定位火源,还可以手动调整灭火器对准位置,进行干粉灭火。此外,蜂鸣器用于火源报警,确保操作人员及时得

722

spark写入pg_spark sql 查询hive表并写入到PG中

import java.sql.DriverManagerimport java.util.Propertiesimport com.zhaopin.tools.{DateUtils, TextUtils}import org.apache.log4j.{Level, Logger}import org.apache.spark.sql.SparkSession/*** Created by xi...

weixin_35286137的博客 208

华为OD机考双机位A卷 - 开心消消乐(Java & Python& JS & C/C++ & GO )

华为OD机考双机位A卷 - 开心消消乐(OD上机考试双机位A卷)。提供在线OJ刷题。Java、C++、Python、GO语言、C语言、JavaScript题解,并提供完整思路讲解。

算法大师! 1266

spark sql 查询hive表并写入到PG中

import java.sql.DriverManager import java.util.Properties import com.zhaopin.tools.{DateUtils, TextUtils} import org.apache.log4j.{Level, Logger} import org.apache.spark.sql.SparkSession ...

anjieqing1102的博客 743

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

spark写入pg_Spark SQL访问PostgreSQL

随着Spark SQL的正式发布,以及它对DataFrame的支持,它可能会取代HIVE成为越来越重要的针对结构型数据进行分析的平台。在博客文章What’s new for Spark SQL in Spark 1.3中,Databricks的工程师Michael Armbrust着重介绍了改进了的Data Source API。我们在对结构型数据进行分析时,总不可避免会遭遇多种数据源的情况。这些...

weixin_31937319的博客 1064

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

spark数据查询语句select_spark数据查询语句select_Spark SQL数据查询的利器

介绍了弹性分布式数据集的特性和它支持的各种数据操作。不过在实际的开发过程中,我们并不是总需要在 RDD 的层次进行编程。就好比编程刚发明的年代,工程师只能用汇编语言,到后来才慢慢发展出高级语言,如 Basic、C、Java 等。使用高级语言大大提升了开发者的效率。同样的,Spark 生态系统也提供很多库,让我们在不同的场景中使用。今天,让我们来一起探讨 Spark 最常用的数据查询模块——Spar...

weixin_36002349的博客 473

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

spark数据查询语句select_Spark SQL数据查询的利器

介绍了弹性分布式数据集的特性和它支持的各种数据操作。不过在实际的开发过程中,我们并不是总需要在 RDD 的层次进行编程。就好比编程刚发明的年代,工程师只能用汇编语言,到后来才慢慢发展出高级语言,如 Basic、C、Java 等。使用高级语言大大提升了开发者的效率。同样的,Spark 生态系统也提供很多库,让我们在不同的场景中使用。今天,让我们来一起探讨 Spark 最常用的数据查询模块——Spar...

weixin_42682754的博客 586

数据仓库面试题

******************************************数据仓库相关问题****************************************************** 1.建模方式是什么,有哪些 2.星型模型和雪花模型各自的优缺点是什么 3.维度建模的四个步骤是什么 3.数据仓库里 实体表/维表/事务表的概念,事务表的类型 4.数据仓库里数据规范有哪些 5.数据质量是怎么做的 https://blog.youkuaiyun.com/An342647823/articl.

qq_38889342的博客 1627

Spark SQL与Hive on Spark的比较

简要介绍了SparkSQL与HiveonSpark的区别与联系 一、关于Spark 简介 在Hadoop的整个生态系统中,Spark和MapReduce在同一个层级,即主要解决分布式计算框架的问题。 架构 Spark的架构如下图所示,主要包含四大组件:Driver、Master、Worker和Executor。 Spark特点 Spark可以部署在YARN上 Spark原生支持对HDFS文件系统的访问 使用Scala语言编写 部署模型 单机模型:主要用来开发测试。特点:Drive..

weixin_42073629的博客 1037

influxdbJavaSDK的使用以及与spark的集成

influxdb中文文档 这个文档应该是个人翻译的,不是很全,也可以去官网看英文文档。 下载和安装 安装前先检查端口是否有占用,influxdb主要使用的端口是8086、8088和8083 netstat -tulnp|grep 8086 如果发现有占用的话选择停止掉或者修改influx默认端口。 rpm包安装 wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.2.x86_64.rpm yum localinstall influx

strelizia 1694

pg数据表同步到hive表数据压缩总结

pg同步hive

zcc_0015的专栏 1002

hive中spark SQL做算子引擎,PG作为MetaDatabase

hive架构原理1.客户端可以采用jdbc的方式访问hive2.客户端将编写好的HQL语句提交,经过SQL解析器,编译器,优化器,执行器执行任务。hive的存算都依赖于hadoop框架,所依赖的真实数据存放在hdfs中,解析好的mapreduce程序,提交给yarn。3.另外hive框架自带一个名为debay的数据库,其作用是用来记录hdfs上数据的存放位置,也就是说,在客户端提交任务之后,hive优先会去数据库中查询所需要数据在hdfs上面的路径信息,然后在拿着路径信息再去hdfs寻找数据。

weixin_73350116的博客 1145
上一篇: scala学习-trait学习
下一篇: TACOTRON:端到端的语音合成
左左左左想
博客等级 码龄12年 57粉丝 15原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值