- 博客(27)
- 收藏
- 关注
RSS订阅
原创 hive数据导入hbase
将hive数据导入hbase一、hive外部表映射hbase表1. hbase里面创建表2. 建立hive外部表并映射hbase表3.测试spark bulkload方式准备事项pom文件代码一、hive外部表映射hbase表1. hbase里面创建表create 'B_TEST_STU', { NAME => 'info', COMPRESSION => 'SNAPPY' }2. 建立hive外部表并映射hbase表create database yh_test;use yh_t
2021-01-26 15:41:03
1801
原创 mysql调优之sql调优
1. 无索引、索引失效导致慢查询1.1无索引、索引失效导致慢查询如果在一张几千万数据的表中以一个没有索引的列作为查询条件，大部分情况下查询会非常耗时，这种查询毫无疑问是一个慢 SQL 查询。所以对于大数据量的查询，我们需要建立适合的索引来优化查询。虽然我们很多时候建立了索引，但在一些特定的场景下，索引还有可能会失效，所以索引失效也是导致慢查询的主要原因之一。1.2 锁等待 我们常用的存储引擎有 InnoDB 和 MyISAM，前者支持行锁和表锁，后者只支持表锁。如果数据库...
2020-06-16 14:31:51
2373
1
原创 kafka源码编译准备
以我自己编译kafka为例。gradle5.2java8scala2.12.12kafka2.11.0idea社区版一、拉取kafka源码找到一个空文件夹，拉取kafka源码。例D:\yh\SourceCode打开cmd，执行如下命令：git clone https://github.com/apache/kafka.git## 切换到kafka0.11.0分支git checkout 0.11.0二、安装gradle并编译kafka源码配置gradle，新增用户变量
2021-12-27 11:39:44
1052
原创 java.math.BigDecimal cannot be cast to java.lang.String
今天在写spark bulkload 将hive数据导入到hbase的时候，sql有一个字段（AMT）类型为BigDecimal，我想将它转换为Stringrow.getAs[String]("AMT").toString()报错：java.math.BigDecimal cannot be cast to java.lang.String解决方式：scala.math.BigDecimal(row.getAs[java.math.BigDecimal]("AMT")).toString()
2021-01-26 15:55:19
954
原创 工厂模式【创建型】
1. 简单工厂模式又称为静态工厂方法模式，它属于类创建型模式。在简单工厂模式下，可以根据参数的不同返回不同类的实例。简单工厂模式专门定义一个类来负责创建其他类的实例，被创建的实例通常都具有相同的父类。1.1 举例jdk中的工具类DateFormat，根据参数的不同创建不同类的实例。private static DateFormat get(LocaleProviderAdapter adapter, int timeStyle, int dateStyle, Locale loc) {
2020-12-16 19:35:05
174
原创 phoenix连接hbase 抛出异常org.apache.hadoop.hbase.security.AccessDeniedException：Insufficient permissions
解决方法：1.在 C:\WINDOWS\system32\drivers\etc\hosts 文件配置本地映射，如：20.200.50.195 cplc19520.200.50.196 cplc19620.200.50.197 cplc19720.200.50.198 cplc19820.200.50.199 cplc19920.200.50.200 cplc2002.配置系统环境变量 新建变量名称：HADOOP_USER_NAME变量值：连接hbase的用户名最后最重要的..
2020-12-15 17:50:01
683
原创 单例模式
单例模式的核心：一个类只允许创建一个对象。根据需求实现一个单例：构造函数的访问权限为private，避免外部通过new创建实例 对象创建时的线程安全问题 是否支持延时加载（懒汉式、饿汉式） 性能（是否加锁）1、饿汉式在类加载的时候就创建对象并初始化。...
2020-12-15 15:08:54
211
1
原创 Dbeaver 连接 phoenix 报错Unexpected version format: 11.0.5
出现这个问题的原因应该是dbeaver的jdk版本与当前所用的jdk版本不一致，所以要将dbeaver使用的jdk版本改成当前所用jdk版本。在dbeaver.ini中添加：jdk的bin目录地址，且必须在-vmargs之前-vmC:\Program Files\Java\jdk1.8.0_111\bin...
2020-12-15 10:19:22
1014
原创 Presto UDF自定义函数开发
目录Presto函数大致有三种：1.scalar函数常用注解Presto-udf开源项目地址：https://github.com/qubole/presto-udfspresto推荐jdk版本：Zulu OpenJDK11，相比较openjdk，oracle jdk，jvm占用内存更少。Github的版本也是基于Zulu OpenJDK开发。Zulu OpenJDK11下载地址：https://www.azul.com/downloads/zulu-community/?ver
2020-12-11 16:35:17
1402
4
原创 Java面向对象编程
说到面向对象，首先应该了解几个名词：类、对象、方法和属性。类是一组相关的属性和行为的集合 对象是一类事物的具体体现，对象是类的实例 方法是一个事物的行为 属性是一个事物的特征信息1. 封装将类的某些信息隐藏在类的内部，不允许外部程序直接访问。只能通过该类提供的方法来实现对隐藏信息的操作和访问。2. 继承继承是类与类之间的一种关系，是一种“ is a ”的关系。比如狗类继承动物类。Java中的继承是单继承，即一个类只能有一个父类。子类拥有父类的所有非private修饰的属性和方
2020-12-07 12:52:03
168
2
原创 mybatis源码学习（一） 下载源码部署到idea
mybatisGitHub源码地址：https://github.com/mybatis/mybatis-3mybatis-parent源码地址：https://github.com/mybatis/parent注意：下载的mybatis-parent版本要和mybatis源文件pom.xml 版本一致。将文件下载后解压。把文件放在同一路径下，然后使用maven来构建项目。如我的存...
2019-12-12 21:38:50
317
原创 java基础之条件分支语句
1、if语句第一种形式：if(条件){ 语句1;}第二种形式：if(条件){ 语句1;}else{ 语句2;}第三种形式：if(条件1){ 语句1;}else if(条件2){ 语句2;}......else if(条件n){ 语句n;}else{ 语句n+1;}使用if语句时，要优先将范围...
2019-08-16 13:04:19
341
原创 Java枚举类
从java1.5开始产生的新特性，通过关键字enum来定义枚举类。枚举类一般用来表示一组相同类型的值，其中包含有限个命名的值。枚举类是一种特殊的类，它也可以有自己的成员变量、方法，可以实现一个或者多个接口，还可以定义自己的构造器。与一般类的区别：1、一般的类都是默认继承Object类，而枚举类默认继承的是Java.lang.Enum类。所以枚举类不能显示继承其他的父类；2、使用enum...
2019-08-15 16:58:03
253
原创 计算机原码、补码和反码
在java中的整数值有四种表示方式：十六进制：以0x或者0X开头，其中10~15分别用a~f来表示（不区分大小写）；十进制：最常见的一种进制，只有0~9八进制：以0开头，只有1~7二进制：以0b或者0B开头，只有0、1但是在计算机中，所有数字都是以二进制形式保存，最高位为符号位，1表示负数，0表示正数，且以补码的形式保存所有的整数，而原码是直接将一个数值换算成十进制数。补码的计...
2019-08-14 12:32:28
304
原创 运算符
1、数学函数在java中有一个Math类，其中包含了各种各样的数学函数，查看jdk1.8可知，Math类提供了两个常量。Math.PI：圆周率（π）的近似值；Math.E：自然对数的基（e）下面列举Math类提供的常用方法：Math.pow(x,a)：返回x的a次幂。参数都为double类型，返回值为double类型 double a = Math.pow(3,2);...
2019-08-13 21:54:58
265
原创 数据类型、数值类型转换、常量和变量
一、数据类型1、整型 ：没有小数部分的数值，可以是负数byte 8位（1个字节） short 16位（2个字节） int 32位（4个字节） long 64位（8个字节） 在java程序中，通常情况下，默认整数为int类型；long类型的整数需要加上后缀L或l来表示2.浮点类型：含有小数部分的数值，可以是负数float 32位（4个字节...
2019-08-10 22:42:11
535
原创 java命名与注释
一、命名package com.yh;/** * @Author ASUS * @Date 2019/8/10 10:01 * @Description 用户角色类 * @Version 1.0 **/public class UserRole { public String id; //用户id public String name; //用...
2019-08-10 10:34:22
141
原创 方法的重载
1.方法重载的理解同一个类中方法名相同，参数列表不同。至于方法的其他部分，如方法返回值类型、修饰符等与重载无关。2.为什么方法返回值类型不同不能作为区分重载的依据public class A{ public int test(){ System.out.println("test1"); }; public String test(...
2019-08-09 17:13:46
161
原创 oracle 插入date类型数据报错：文字与格式字符串不匹配
解决方法：update 表 set stu_submit_date = to_date('2019-8-6 14:40:39','yyyy-mm-dd hh24:mi:ss'),使用to_date函数
2019-08-09 14:41:48
2938
原创 radio取值和赋值
1、获取radio选中的值$("input[name='***']:checked").val(),//***代表radio的name属性名称2、根据条件来赋值if(true){ $("input[name='***'][value=1]").attr("checked",true); }else{ ...
2019-08-09 09:50:02
11809
原创 eclipse下配置maven
安装maven之前要做的事：安装jdk并配置好环境变量1. 官网下载maven到本地http://maven.apache.org/download.cgi2. 配置必要的环境变量2.1 右键单击此电脑 ==> 属性 ==> 高级系统设置 ==> 环境变量2.2 新建系统变量变量名：maven_home变量值：下载到本地的maven解压地址...
2019-07-16 21:58:15
114
原创 String、StringBuffer、StringBuilder小结
今天遇到一个关于字符串需要经常进行修改操作，怎样合理选择字符串对象的类的问题。通过查看jdk1.6官方文档，总结如下：1.Stringpublic final class String implements java.io.Serializable, Comparable<String>, CharSequence { /** The value ...
2019-07-01 15:35:19
135
原创 java跳出多重循环
普通的break和continue只能跳出一个循环或者终止某一次循环。System.exit(0)与return表示退出程序。最近碰到一个问题：在循环最里层跳出多层循环public class Test { public static void main(String[] args) { for (int k = 0; k < args.length; k++...
2019-07-01 13:16:58
258
原创 idea环境下springboot学习（一）（helloword项目）
1、说在前面的话 以前用过ssm框架来开发项目，确实比jsp+servlet的开发方式简单太多，所以在技术方面要与时俱进，不断的学习。废话不多说，直接分享经验，自勉。2、springboot简介个人认为可以将springboot看成是ssm的升级版，抛弃了繁琐的xml配置过程，采用大量的默认配置简化我们的开发过程.3.动手3.1 新建project3.2 选...
2019-06-13 10:40:59
316
原创 ssm开发时使用iframe加载页面报404
我的首页是很多页面嵌套在一起，用到了iframe，但是最后显示的时候，首页有东西，就那个iframe里面的页面404错误。一般来说，404错误就是找不到该资源，可能是路径错了，但我仔细看来一下，确定路径没错，这就很恼火。我猜可能是springmvc的前端控制器拦截了？首页：index.jsp对应页面文件位置：main.html运行截图：这个问题困扰了我半天，通过不断查找...
2019-01-22 14:40:24
5336
1
原创 记一次idea构建springmvc报错：No bean named 'cacheManager' available
第一次在idea中构建springmvc总是报错：后面发现原因竟然是idea的自动提示功能太强大造成的弊端！！！这里主要是因为我的spring-mvc.xml配置文件中由于IDEA自动配置了cache,但配置文件中又没有指定缓存的空间，JVM虚拟机中也有个cacheManage,这就导致spring进行bean管理时扫描到两个cache Manage 冲突导致都不能正常加载，报错。...
2019-01-08 20:42:47
2630
原创 struts2系列学习（一）
1. 项目结构：2. 流程分析：3. 将下载的struts2下载，然后解压。http://struts.apache.org 由于这只是一个简单程序，没必要用到所有的jar包，只需要一些核心jar包。告诉大家一个小技巧：解压之后，apps-->struts2-blank.war,复制一份struts2-blank.war并粘贴，同时改变文件名为struts2-blan...
2018-05-23 21:59:43
231
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人