思知-优快云博客

原创使用sql填充数据

使用sql填充数据1.创建表create table test (name string,activity string) row format delimited fields terminated by '\t';2.构造数据张三吃饭张三张三张三王五打豆豆王五王五赵四唱歌赵四赵四赵四赵四赵四赵四 3.处理思路使用sum()over()开窗函数特性进行累积分组将非空的数据筛选出来进行分组将上两步的数据进行关联得到相应的数据

2021-12-02 10:27:11 2840

原创 hive杂记

#在beeline内部执行两个参数设置，即可格式化!set showheader false!set outputformat tsv2

2020-09-09 10:56:56 216

原创 CDH安装之后各组件的目录

CDH安装之后各组件的目录/opt/cloudera/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702/lib/如hadoop组件的目录如下：

2020-08-09 21:51:50 1850

原创 hive on spark异常

hive on spark异常说明：hive on spark时因为之前在别的项目添加了超时参数：hive.server2.long.polling.timeout=600000; 所以本项目直接把conf直接拿来用了，但是运行时一直报以下超时错误，所以去掉就好了。搞了几个钟头，心疼自己，顺便刷完了《三十而已》，开心java.sql.SQLException: org.apache.thrift.transport.TTransportException: java.net.SocketTimeout

2020-08-03 05:00:14 713

原创记一次很坑的hive udf经历

需求：UDF返回一个数组类型数据最初想法：返回ArrayList<String> 类型的数据,但是始终都获取不到实际的值，而是返回空的{} ，很是郁闷。找了半天怎么返回Array类型，找不到了，然后就说拼接字符串算了，让udf函数返回String,然后再在sql中通过split函数转成数组，然而，奇迹发生了，这次返回的String类型数据自动将转成数组了。真的邪了门了，我怀疑是hive缓存问题了，先这么着吧，没有集群权限，明天再说吧。import org.apache.hadoop.hi

2020-06-23 00:26:24 871 1

原创 websocket前端页面

<!DOCTYPE html><html><head> <meta charset="utf-8"> <title>websocket通讯</title></head><script src="https://cdn.bootcss.com/jquery/3.3.1/jquery.js"></script><script>var socket; var us

2020-05-13 10:29:23 1442 1

原创测试类写法

普通java方法测试https://blog.youkuaiyun.com/dingjiajia_949/article/details/80183828涉及到spring boot web调用https://blog.youkuaiyun.com/dancer_one/article/details/89057364

2020-04-24 04:07:22 790

原创 Fastjson

Fastjson（1）JSON：fastJson的解析器，用于JSON格式字符串与JSON对象及javaBean之间的转换。（2）JSONObject：fastJson提供的json对象。（3）JSONArray：fastJson提供json数组对象。参考：序列化各种花式操作https://blog.youkuaiyun.com/xzp_12345/article/details/8027298...

2020-04-24 02:31:29 122

原创 hive 查询一个字段最大值的所在记录

hive 查询一个字段最大值的所在记录思路是： - 先查询出最大值 - 将这个最大值当做一张表然后去关联原有表 - 让这个原有表的字段和最大值这个字段去关联相等，则能找出最大值记录 select * from antenna a cross join (select max(VERTICAL) maxv from antenna ) as b where a.vertical=b.m...

2020-03-24 15:37:23 7658 2

原创 windows安装mysql

windows安装mysql-5.7.27-winx64.zip1.配置mysql环境变量2.在bin目录执行mysqld --initialize-insecure3.在mysql的home目录中新建my.ini文件，配置home目录和data目录，以及导入导出文件目录[mysqld]port=3306character_set_server=utf8basedir=E:\mysq...

2020-03-10 05:43:45 115

原创 Postgres库分批次批量导出一张表到另一张表中

Postgres库分批次批量导出一张表到另一张表中这个是pg库的函数模板，总是记不住啊--PG库函数模板 create or replace function func_name(v_batchcount integer) --参数名称和参数类型 return boolean --返回参数类型as $BODY$declare --声明变量begin --函数逻辑e...

2020-03-02 03:38:30 717

原创将Excel的表批量导入到powerdesigner中

将Excel的表导入到powerdesigner中创建Excel中的sheet按照以下格式中文表名6G扫频数据英文表名sweep_frequency_6g中文字段英文字段时间Time纬度Latitude经度Longitude小区IDCell ID打开powerdesigner按快捷键Ctrl+Shift+X 打开脚本执行...

2020-02-29 02:33:23 2243 3

原创 Windows下配置IDEA的Spark的开发环境

Windows配置IDEA下Spark的开发环境下载Spark-hadoop的文件包，spark-2.4.5-bin-hadoop2.7，官网进行下载http://spark.apache.org/downloads.htmlIDEA下载Scala语言的开发插件，进行安装重启；下载scala的包并进行安装，https://www.scala-lang.org/download/a...

2020-02-19 00:40:04 535

原创 org.hibernate.NonUniqueObjectException: A different object with the same identifier value was alread

org.hibernate.NonUniqueObjectException: A different object with the same identifier value was already associated with the session : [com.entity.User#4]

2016-06-03 03:44:28 496

转载 Spring的事务管理:

Spring的事务管理:手动编码的方式完成事务管理:需要事务管理器:真正管理事务对象. * Spring提供了事务管理的模板(工具类.)第一步:注册事务管理器: <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManag

2016-05-11 01:03:27 765

原创 spring的事务隔离级别和传播行为

spring的事务隔离级别ISOLATION_DEFAULT：使用数据库默认的隔离级别。 ISOLATION_READ_UNCOMMITTED：允许读取改变了的还未提交的数据，可能导致脏读、不可重复读和幻读。 ISOLATION_READ COMMITTED：允许并发事务提交之后读取，可以避免脏读，可能导致重复读和幻读。 ISOLATION_REPEATABLE_READ：对相同字段的多次读取

2016-05-11 00:46:57 4127

原创 hibernate注解

JPA：Java Persistence API类级别注解： Entity表明一个实体，name为表名称，catalog:mysql不支持，schema数据库名称，uniqueConstraints指定字段唯一 @Entity @Table(name=”student”,catalog=”“,schema=”hibernate”,uniqueConstraints={@

2016-05-10 17:57:37 816

原创 HQL总结

package com.HQL;import java.util.List;import java.util.Map;import org.hibernate.Session;import org.hibernate.SessionFactory;import org.hibernate.Transaction;import org.hibernate.cfg.Configuration;

2016-05-10 17:50:09 646

原创 WebListener

ServletContextLister ServletContextAttributeListener ServletRequestListener ServletRequestAttributeListener HttpSessionListener HttpSessionAttributeListener HttpSessionBindingListener HttpSessio

2016-05-10 14:32:33 469

转载 JNDI理解

NDI 是什么JNDI是 Java 命名与目录接口（Java Naming and Directory Interface），在J2EE规范中是重要的规范之一，不少专家认为，没有透彻理解JNDI的意义和作用，就没有真正掌握J2EE特别是EJB的知识。那么，JNDI到底起什么作用？要了解JNDI的作用，我们可以从“如果不用JNDI我们怎样做？用了JNDI后我们又将怎样做？”这个问题来探讨。没有JNDI

2016-04-30 21:28:37 364

转载 Struts2表单验证、模型驱动、防重复提交、数据回显笔记整理文章标题

1)表单验证 strus的表单验证通过使用struts内置的vlidation拦截器来完成。使用相对比较简单，有以下步骤需要完成。 a,写一个xml配置文件(和需要验证的action必须同包)，文件名字有要求必须为 actionName+methodName+validation.xml例如：InsertAction

2016-04-29 22:16:56 558

转载 Http协议详解

转自：http://blog.youkuaiyun.com/gueter/archive/2007/03/08/1524447.aspxAuthor :Jeffrey引言 HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。它于1990年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在

2016-04-29 00:02:19 320

原创安装linux（ubuntu）系统（双系统）

安装Ubuntu和window双系统

2016-04-13 13:47:40 553

转载 spring事务隔离级别

一、Propagation （事务的传播属性）Propagation ：　　key属性确定代理应该给哪个方法增加事务行为。这样的属性最重要的部份是传播行为。有以下选项可供使用：PROPAGATION_REQUIRED--支持当前事务，如果当前没有事务，就新建一个事务。这是最常见的选择。PROPAGATION_SUPPORTS--支持当前事务，如果当前没有事务，就以非事务方式执行。PRO

2016-04-02 20:02:26 269

转载 Spring的jar包描述

spring.jar 是包含有完整发布模块的单个jar 包。但是不包括mock.jar, aspects.jar, spring-portlet.jar, and spring-hibernate2.jar。spring-src.zip就是所有的源代码压缩包。除了spring.jar 文件，Spring 还包括有其它21 个独立的jar 包，各自包含着对应的Spring组件，用户可

2016-04-02 12:19:02 327

原创 JavaMail总结

JavaMail 总结1.发送邮件都是根据smtp协议基于socket发送到新浪smtp服务器,并保存在该新浪邮箱的存储器中。 2.然后发送到收件人的账户的搜狐的smtp服务器中，并保存在搜狐的存储器中。 3.搜狐收件人从pop服务器获取该邮件。

2015-12-23 00:11:19 512

原创数据库快速插入数据

数据库快速插入数据insert into book(name, image_src, short_intro, fee, type, content) select name, image_src, short_intro, fee, type, content from book;

2015-12-16 13:21:46 510

原创适配器模式

适配器模式: 一个笔记本需要三相插口充电，然而现在只有双相电，需要为其创建适配器。//提供双相电public class Two(){public void chargewithTwo(){ System out println("用双相电充电") }}//三相电接口public interface Three(){ public void chargewithThree(

2015-12-05 12:27:14 283

原创回调函数

Java回调函数详解为了了解什么是回调函数，在网上查阅了如下资料，整理如下：资料一：首先说说什么叫回调函数？在WINDOWS中，程序员想让系统DLL调用自己编写的一个方法，于是利用DLL当中回调函数（CALLBACK）的接口来编写程序，使它调用，这个就称为回调。在调用接口时，需要严格的按照定义的参数和方法调用，并且需要处理函数的异步，否则会导致程序的崩溃。

2015-11-12 23:25:18 356

原创在dos环境运行java程序

Demo.javaclass Demo{ public static void main(String[] args) { System.out.println("hello world!!!"); }}先转到 java文件目录–>javac编译–>执行程序。

2015-07-16 02:51:44 357

原创配置java的环境变量

配置java的环境变量1.成功安装之后，进行测试是否真的成功安装，点击【开始】—-【运行】—-输入 CMD，在命令提示符里面输入“Java -version”并按回车键，出现下图，即为安装成功。如图：2.右击【我的电脑】—【属性】—–【高级】—【环境变量】–选择【新建系统变量】–弹出“新建系统变量”对话框，在“变量名”文本框输入“JAVA_HOME”,在“变量值”文本框输入JDK的安装路径。3.在“

2015-07-16 02:31:36 273

我的的博客