linjj91-优快云博客

原创 Gremlin学习笔记

Gremlin学习笔记，图语言，Apache TinkerPop

2021-02-20 11:23:38 2519 2

原创【Maven】 Malformed \uxxxx encoding

背景在使用CICD进行构建时，第一次构建成功，第二次之后就一直失败，异常信息如下[ERROR] Malformed \uxxxx encoding.java.lang.IllegalArgumentException: Malformed \uxxxx encoding. at java.util.Properties.loadConvert (Properties.java:574) at java.util.Properties.load0 (Properties.java:390

2022-01-20 09:29:10 1306

原创 hive稀缺大宽表去重

项目背景hive下有一张表，是从多张表整合进来的稀缺大宽表，需要按id字段去重，保留最新的值不为空的数据，示例数据如下图，可以看到有很多NULL字段值处理思路使用pandas dataframe 内置 fillna 函数填补数据代码from impala.dbapi import connectimport pandas as pdconn = connect(host='192.168.0.16', port=10000, user=None, password=None, da

2021-05-20 18:13:51 609

原创 mysql分表案例

背景介绍项目中有一张请求日志表，由于前期没有做好分表策略，数据量增长到了500w查询超时才发现问题，准备采用mysql分表处理需求分析请求日志表有统计报表需求请求日志月增量大概在50w左右原表结构CREATE TABLE `request_log` ( `id` int(11) NOT NULL AUTO_INCREMENT COMMENT 'id', `req_id` int(11) NOT NULL COMMENT '请求方id', `res_id` int(11) NO

2021-05-20 12:07:56 452 2

原创 elasticsearc 4T以上数据秒级查询响应

elasticsearch 性能查询秒级响应

2021-03-15 20:16:37 468

转载 HugeGraph基础

简介HugeGraph是一款易用、高效、通用的开源图数据库系统（Graph Database，GitHub项目地址），实现了Apache TinkerPop3框架及完全兼容Gremlin查询语言，具备完善的工具链组件，助力用户轻松构建基于图数据库之上的应用和产品。HugeGraph支持百亿以上的顶点和边快速导入，并提供毫秒级的关联关系查询能力（OLTP），并可与Hadoop、Spark等大数据平台集成以进行离线分析（OLAP）。特点HugeGraph支持在线及离线环境下的图操作，支持批量导入数

2021-03-05 14:42:35 632

原创 HugeGraph服务环境搭建

准备工作本文采用hbase作为hugegraph的数据存储，所以需要事先安装好hbase。使用其他存储引擎请参考官方文档Centos7安装 JDK8安装 HBase2下载 hugegraph-server-0.11.2下载 hugegraph-loader-0.11.1下载 hugegraph-hubble-1.5.0.tar.gz安装Server本文将 hugegraph-server 安装到 /app/hugegraph/server 目录下mkdir -p /app/h

2021-03-05 14:40:15 1295 2