- 博客(16)
- 收藏
- 关注
RSS订阅原创 连接oracle报错Error occurred while trying to connect to the database
报错场景：使用DS调度kettle连接oracle数据库。报错信息如图：问题原因：避免因随机数生成而导致的JVM延迟在UNIX平台上，Sun的JVM中用于随机数生成的库默认依赖于/ dev / random。可能会阻止WebLogic SIP Server进程，因为在某些操作系统上/ dev / random会在返回结果之前等待主机上产生一定量的“干扰”。尽管/ dev / random更安全，但如果默认JVM配置延迟WebLogic SIP Server启动，BEA建议使用/ dev / .
2020-08-20 15:31:03
3795
原创 clickhouse创建外部字典表
clickhouse创建外部字典表本次使用mysql的数据，利用ck的Dictionary 引擎创建外部字典表1.创建配置XML 将外部字典配置文件拷贝到每台集群服务器clickhouse的配置目录下：/etc/clickhouse-server/下，和config.xml同级，配置如下：以设备字典为例device_dictionary.xml<dictionaries> <dictionary> <name>devic
2020-08-06 23:00:06
1914
原创 clickhouse版本升级
clickhouse版本升级1.停掉服务2.升级包3.升级完成后验证3.配置systemctl （一般不用配置，做好检查一下）4.检查是否成功说明：本次是19.14.10.16-2版本升级到20.3.7.46-2。1.停掉服务查看正在运行的服务 ps -ef|grep clickhouse-server关闭相关服务， systemctl stop clickhouse-server ，如果不能关掉服务，使用kill -9 *** 命令rpm -qa|grep clickho
2020-08-06 22:37:10
3277
原创 部署kafka_2.11-2.2.0
1.基本环境Cenos7.6Zookeeper 3.4.62.安装部署本次部署的最简单的测试版本，开发测试使用，集群模式，请移步到: kafka集群安装.集群部署和单机部署区别：就修改参数而已2.1 下载安装包下载地址： kafka_2.11-2.2.0.tgz 下载 名字为 kafka_2.11-2.2.0.tgz 的安装包2.2 上传文件并解压tar -zxv...
2020-03-23 22:39:30
1127
原创 CK基本使用和常见问题
CK基本使用和常见问题1.客户端连接1.1 命令行使用客户端 连接ckclickhouse-client -h 10.20.8.16 -udefault --password ckdevcqmyg01 --port 9000 -m1.2 使用python连接ckfrom clickhouse_driver import Client# 轨迹库连接信息TyidTrackDatabase...
2020-02-25 23:11:04
5819
原创 zookeeper可视化工具ZooInspector的使用
前言：使用zk的同学都知道，zk自带的Zclit.sh在命令行查看很不友好，所以试用了可视化工具，感觉还可以。另外还有一个工具ZooViewer，但是本人自己觉得ZooInspector简单友好些。直接上干货。1.下载链接https://issues.apache.org/jira/secure/attachment/12436620/ZooInspector.zip2.解压后进入到 ...
2020-02-25 14:46:24
2669
1
原创 实现大整数数相加 算法
有时候，遇见两数大于long相加的情况怎么算呢？此时我选用字符进行处理，废话不多说，直接上代码，代码注释很详细；import java.util.Arrays;/** * @author kain.wang@embracesource.com * @date 2018/12/3 14:19 */public class BigDataPlus { public static ...
2018-12-03 15:34:37
405
原创 利用 策略模式+反射+枚举+单例 优化if-else 或者 switch case
在最近的项目中，涉及到根据传入的参数来新建不同的类，然后调用不同类的相同方法，因为太多if-else 或者 switch case ，但是这样的写的代码看起来很累赘（性能的提升我没去验证，感兴趣的朋友可以去试试），所以想到了如题的方法。其实这个也可以用策略模式去完成。废话不多说，直接上代码1.首先是枚举类：枚举类的作用就是...
2018-11-28 21:50:33
1492
原创 Centos7 安装Mysql 5.7
1.卸载系统自带的Mariadb[root@localhost ~]# rpm -qa|grep mariadb // 查询出来已安装的mariadb[root@localhost ~]# rpm -e --nodeps 文件名 // 卸载mariadb，文件名为上述命令查询出来的文件2.下载安装包地址： https://dev.mysql.com/downloads/mysql/...
2018-11-01 17:27:48
273
原创 CentOS 7 配置本地yum 源
1. 加载 CentOS的ISO镜像并挂载：（将ios文件上传）[root@localhost files]# mount /media/files/CentOS-7-x86_64-DVD-1804.iso /mnt/cdrom/mount: /dev/loop0 写保护，将以只读方式挂载2. 新建CentOS目录并把光盘上的文件复制到该目录下：[root@localhost files]...
2018-11-01 11:56:42
223
原创 Kafka生产者（producer）生产topic数据常见API
一.将本地数据用java语言（API）导入到topic1.本次主要是把文本文件所有数据导入到topic中废话不多说，直接上代码。代码说明：将本地文件所有内容逐行地 通过API 打入kafka 的 topic 中import java.io.BufferedReader;import java.io.FileReader;import java.util.Properties;i...
2018-09-19 23:35:13
3611
原创 hive内部表和外部表的区别简解
内部表 ：创建表： hive> create table wyp(id int, name string, age int, tele string) ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘\t’ STORED AS TEXTFILE; OK Time taken: 0.759 se...
2018-09-10 15:54:42
562
原创 Hive分区和分桶区别
一.定义上 分区： Hive的分区使用HDFS的子目录功能实现。每一个子目录包含了分区对应的列名和每一列的值。 Hive的分区方式：由于Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并不是一个实际字段。 所以可以这样理解，当我们在插入数据的时候指定分区，其实就是新建一个目录或者子目录，或者在原有的目录上添加数据文件。...
2018-09-08 15:58:10
12036
原创 查找一个数组的第二大的数（要求复杂度为时间o（n））
分析：不能用排序 ，因为排序 的最小复杂度都是O（nlgn）直接上代码：public class FindTheSecondNum { public static void main(String[] args) { int[] b={-1,-2000}; System.out.println(Func(b)); } publi...
2018-08-22 19:04:43
1650
原创 rdd重分区--repartition和coalesce
1.为什么分区？ ①spark数据倾斜（比如groupByKey（张三），那么所有key是张三的会分在一个区，如果张三比较多，别的 key少，造成数据倾斜） ②重分区解决spark小task问题： filter之后，每个partition数据量减小，此时可以用重分区合并成大task，所以repartition一般用在filter之后; 如果partition较...
2018-08-13 22:28:44
1137
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人