工作中遇到的impala的小问题

【踩坑】double和BigDecimal的精度问题 其实double有精度问题,这个是大家都知道的. 解决精度问题用BigDecimal也是很常见的手段, 但是这里不知道为什么controller的接口使用了double来接收.double有精度问题使用BigDecimal最好用string来转化最坑是在debug的时候, 由于代码是第一个balanceFee是字符串转化计算而来的,是准确的, 第二个amt是double, 在debug模式下浮窗显示的值也是精准的, 然而最重要的却没有浮窗显示出值. 阅读详情

我从一个中间表vl_stat_tmp,需要将几个字段保留2位小数,数据类型是double类型的,查询的时候,结果是保留了2位小数。但是插入到最终表volte_nei190130的时候,发现有一个值变成了小数点后不止有2位小数。

下面这张截图是从中间表查询:

然后是插入到最终表后,查询的结果:

这两个字段的数据类型都是double类型。

sql语句如下:

insert into volte_nei_pro{yymmdd}
select 
province_id,
20{yymmdd}00000000,
coalesce(sum(VoLteAudCallSuccNbr),0) as VoLteAudCallSuccNbr,
coalesce(sum(VoLteAudCallNbr),0) as VoLteAudCallNbr,
coalesce(sum(VoLteAudSuccRate),0) as VoLteAudSuccRate,
coalesce(sum(VoLteAudOffLineNbr),0) as VoLteAudOffLineNbr,
coalesce(sum(VoLteAudCallReplyNbr),0) as VoLteAudCallReplyNbr,
coalesce(sum(VoLteAudOffLineRate),0) as VoLteAudOffLineRate,
coalesce(sum(VoLteOrigCallTimeVtoV),0) as VoLteOrigCallTimeVtoV,
coalesce(sum(VoLteVidCallSuccNbr),0) as VoLteVidCallSuccNbr,
coalesce(sum(VoLteVidCallNbr),0) as VoLteVidCallNbr,
coalesce(sum(VoLteVidSuccRate),0) as VoLteVidSuccRate,
coalesce(sum(VoLteVidOffLineNbr),0) as VoLteVidOffLineNbr,
coalesce(sum(VoLteVidCallReplyNbr),0) as VoLteVidCallReplyNbr,
coalesce(sum(VoLteVidOffLineRate),0) as VoLteVidOffLineRate,
coalesce(sum(VOLTEIniRegisterSuccNbr),0) as VOLTEIniRegisterSuccNbr,
coalesce(sum(VOLTEIniRegisterAttNbr),0) as VOLTEIniRegisterAttNbr,
round(coalesce(sum(VOLTEIniRegisterSuccRate),0),2) as VOLTEIniRegisterSuccRate,
coalesce(sum(SRVCCSwitchSuccNbr),0) as SRVCCSwitchSuccNbr,
coalesce(sum(SRVCCSwitchAttNbr),0) as SRVCCSwitchAttNbr,
coalesce(sum(SRVCCSwitchSuccRate),0) as SRVCCSwitchSuccRate
from vl_stat_pro_tmp group by province_id;

 

impala 专为 Hadoop 设计。与 Presto 类似,Impala 用于交互式分析,但架构和设计理念有所不同。通过以上配置和优化,Presto 可以高效处理 PB 级数据的交互式分析查询,成为企业数据湖的核心查询引擎。,它是 Cloudera 开发的开源。 阅读详情

相关推荐

miniDP与DP管脚定义差异详解及设计避坑指南

本文详细解析了Mini DisplayPort与标准DisplayPort接口在管脚定义上的核心差异,通过对比表格直观展示了两者20针脚的不同排列方式,特别是高速差分信号线的分布。文章结合真实设计案例,为硬件工程师提供了从原理图设计、PCB布局到信号完整性考量及故障排查的完整避坑指南,强调绝不能将两者视为简单的物理缩小版。

weixin_29248653的博客 362

Impala笔记-保留小数位问题

Impala笔记-保留小数位问题问题描述一段代码(最终代码)问题分析总结 问题描述 开发给了一段impala sql,表示Round函数保留小数位数时失效了,结果不准确。 一段代码(最终代码) --需要使用Cast As Decimal Select m.yn, m.int_ts, m.double_ts, m.decimal_ts, Rou...

wlei1825928的专栏 6745

Quartus ||———基于Verilog HDL的数字秒表设计实验

Quartus ||———基于Verilog HDL的数字秒表设计实验一、实验目的二、实验步骤(一)新建工程(二)添加设计文件(三)综合分析与功能仿真1、综合分析2、功能仿真 一、实验目的 用Verilog HDL设计一个数字跑表,所需引脚和功能如下: 二、实验步骤 (一)新建工程 在创建好工程名称后,选定芯片类型 (二)添加设计文件 新建Verilog文件,键入代码如下 module n_clk_top( input clk, input rese

TBMmagic的博客 5525

impala精度事故

impala精度问题0 在下游使用数据的时候发现一些数据精度有问题,本以为是sql中处理精度有问题,后面发现并没有处理精度,然后再将相关的sql放在hive中执行,发现在hive中执行并没有出现精度问题,但是切换成impala跑的时候却发现精度丢失了,一直只保留到4位精度。后面一步步排查sql,发现是在做除运算的时候,impala会默认保留除数和被除数中最大的精度,所以在做除法运算前先用cast ( ‘’ as Decimal())函数转换一下数据精度,这样除运算就会根据转换的最大精度来计算。 ...

y919610545的博客 2068

AUTOSAR进阶图解==>AUTOSAR_SWS_CANNetworkManagement

本文介绍了AUTOSAR架构中的CAN网络管理(CanNm)模块,主要内容包括: 模块概述:CanNm是协调CAN网络节点状态转换的基础组件,采用去中心化设计,通过周期性发送网络管理PDU保持网络活跃状态,支持网络唤醒、睡眠和部分网络功能。 架构设计:CanNm位于AUTOSAR中间层,连接上层通信管理器(ComM)和底层CAN接口(CanIf),包含状态管理、PDU处理和定时器管理等子组件。 状态机设计:定义了三种主要模式(总线睡眠、准备睡眠和网络模式)及其转换逻辑,网络模式又包含重复消息、正常操作和准备

一名留德华的,康德的信徒的,专注于汽车电子领域的博客 2037

利用autojs制作抢购支付宝消费劵的手机脚本

前期准备工作 1.打开支付宝,点击中间的抢消费券的广告 2.点击左上角,将抢购页面添加到首页 3.查看支付宝首页是否出现消费劵 . autojs代码 "auto"; functiontaskstart(){ sleep(1000); launchApp('支付宝'); toast("正在打开支付宝应用"); sleep(1000); varxf=textContains("消费").findOne().bounds(); ...

洛阳泰山的博客 1万+

Hive和Impala遇到的坑

Hive和Impala遇到的坑

Howe的博客 759

无人船 | 基于ROS的轻量级多无人艇自主导航仿真框架

无人水面艇USV是海上自主无人系统的关键组成部分,在民用、军用领域应用广泛,例如海上救援、水质测量、扫雷反潜等,因此对USV导航算法的研究具有重要意义。为了便于进行USV相关算法的验证与部署,本文介绍的这套基于ROS的多无人艇的自主导航仿真平台,轻量化地实现了建图、规划、控制等多种功能,同时自研框架保证了功能的高度可拓展和可定制

FRIGIDWINTER的博客 7993

double类型精度丢失问题以及解决方法

口算结果是0.01。可是用程序执行出来的结果却出乎意料,执行结果为0.009999999999999787。然后把15280.000000000002 - 15280 = 1.8189894035458565E-12这个结果返回给了前端,前端拿去和0比较, 结果就炸了原因:就是double的精度问题, 单个double数可能就有损失精度,,多个double数运算(减法和乘法都输入加法)可能导致损失的精度更多。。。

UrasakiNakajima的博客 3万+

Easy系列PLC远程IO模块的安装配置和地址访问(EtherCAT总线)

EtherCAT分布式时钟DC(SOEM源码解析)EtherCAT分布式时钟DC(SOEM源码解析)_soem dc同步-优快云博客文章浏览阅读1.2k次。分布式时钟(DC,Dsitributed Clock)可以使所有 EtherCAT设备使用相同的系统时间,从而控制各设备任务的同步执行。_soem dc同步1200PLC连接分布式IO组态编程应用(ES200SP固件版本不同解决方法)

RXXW_Dor的博客 171

js逆向-逆向部分技巧总结

js逆向-逆向部分技巧总结

Deng872347348的博客 2130

impala工作日志-日期问题1

工作总结

weixin_40490682的博客 1329

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

impala HA

目的: 为impala jdbc提供统一的接口,作用参照http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/impala_proxy.html 步骤: 安装haproxy 选择一台非impalad的机器安装haproxy yum install haproxy 编辑/etc/haproxy/h

空中的鱼 1621

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

impala v0.3使用和配置

一、Impala介绍 Cloudera Impala提供了快速,交互式的针对存储在hadoop(hdfs和hbase)上的数据的查询方案。impala采用了和hive相同的元数据、SQL语法(Hive SQL)、ODBC驱动程序和用户接口(HUE Beeswax),这样在使用CDH产品时,批处理和实时查询的平台是统一的。 Cloudera Impala是另外一个支持大数据查询的工具,但它并不是

快乐程序员的专栏 4742

RU DOS版、EFI版32bit/64bit BIOS常用工具

DOS版、EFI版的RU工具,可用来查看IO、MEM、PCI、SMBIOS等资源。亲测在EFI SHELL下可用。

Impala源码解析 - 了解Impala Catalog加载过程和到底加载了什么

在一个大型的应用系统,每天都有上百亿甚至上千亿的数据需要加载到Hadoop中,随着数据量达到海量的级别,原本可以轻松搞定的事情,现在都变得非常棘手,不管是在Oracle中还是以Impala作为实时查询引擎的Hadoop中,都会遇到很多让你日思夜想,难以入眠的问题。

简单如阿甘 3084

Impala源代码学习序

带着问题看源码,本文主要针对阅读impala源代码提出的一些针对性的问题,希望能够跟着这些问题学习impala源代码

Hello World 1634

Impala 安装与入门案例

2.1 集群准备 2.1.1 安装Hadoop,Hive Impala的安装需要提前装好Hadoop,Hive这两个框架, hive需要在所有的Impala安装的节点上⾯都要有,因为Impala需要引⽤Hive的依赖包 hadoop的框架需要⽀持C程序访问接⼝,查看下图,如果有该路径有.so结尾⽂件,就证明⽀持C 接⼝。 2.1.2 准备Impala的所有依赖包 Cloudera公司对于Impala的安装只提供了rpm包没有提供tar包;所以我们选择使⽤Cloudera的rpm包 进⾏Imp

weixin_44847293的博客 704

Hue的Editor检查配置问题

进去发现一堆提示,一个个解决。 oozie email 服务 配置中开启sla(oozie服务器等级协定),smtp中填写邮箱信息,问题解决。 HBase Thrift 服务 1. HBase配置中开启HBase Thrift和代理 2. 在HDFS配置中搜索core-site.xml,添加信息 2. Hue 的hue_safety_valve.ini...

攸的博客 807

大数据之hive与impala

在大数据处理的过程中hive为首选的数据仓库,hive基本兼容sql的查询语句,但是hive的响应速度非常慢只适合做非实时的数据挖掘任务,一般在集群规模小的情况下hive的延时会让人失去耐心,而impala则弥补了hive延时非常严重的这个问题,impala可以说是一个实时搜索引擎他必须依赖于hive,二者之间配合工作,impala在使用的过程中会发现很多问题,习惯使用mysql的人会发现hi...

f980548079的专栏 273

oozie使用shell刷新impala元数据

注意 如果不加PYTHON_EGG_CACHE环境变量会导致执行失败,impala-shell本身可以正常执行,估计是oozie调用shell时会使用到python的一个缓存文件,这里加上export PYTHON_EGG_CACHE=/tmp/python-eggs即可成功调用服务 代码 flush-impala-metadata.sh mkdir -p /tmp/python-egg...

Niki20034655的博客 439

impala--将一列多行数据合并到一行一列中

工作中遇到一个需求,前端传入参数peopleid(s),根据这个(些)参数去hive中查询旅馆,需要返回一个success字段,代表这些参数中查询有结果的个数。问题在于如何确定哪个peopleid在哪个旅馆住过? 一、问题分析: 假设前端传入两个id,id1和id2,通过查询返回结果两个旅馆lg1和lg2,①id1两个旅馆都住过,id2都没住过,那么success就是1。②id1住过lg1,id2...

GuessBUG的博客 1万+

hadoop com.mysql.jdbc.driver_hadoop – Impala找不到com.mysql.jdbc.Driver

我正在尝试在Red Hat 5上以伪分布式模式使用CDH4设置Cloudera Impala.我使用JDBC连接到MySQL Metastore的Hive,但是我在使用JDBC设置Impala时遇到了麻烦.我一直在按照这里的说明操作:http://www.cloudera.com/content/cloudera-content/cloudera-docs/Impala/latest/Instal...

weixin_29785723的博客 174

Impala主要RPC实现及执行过程浅析(以DataStreamService为例)

Impala目前主要使用Krpc和Thrift两种RPC框架,其中Krpc主要实现查询数据传输、状态控制等功能,Thrift主要用于在元数据同步、节点状态同步等功能。本文从DataStreamService::TransmitData和DataStreamService::EndDataStream出发,简要分析Impala中RPC的实现原理和执行过程。

a604947740的博客 1536

使用jdbc操作hive(impala)运行时报borken pipe错误

项目中需要使用hive来做查询,为了提高速度用了impala(jdbc地址没有变,驱动也还是hive,只是变了段口号)项目是springboot + gradle + dbcp + spring data hadoop项目中使用了spring新的HiveTemplate项目运行一段时间后,查询会报出borken pipe,有时也会报连接重置,这个问题找了很久,困惑了很久BasicDataSourc...

u011856283的博客 6077
上一篇: intellij idea 找不到import进来的类
下一篇: MariaDB-10.3.13集群版(多主模式)安装全过程
TheManOfCoding
博客等级 码龄9年 24粉丝 21原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值