六默的博客

1.简介Ranger作为大数据组件的权限管理工具，在大数据平台领域有很重要的地位。但由于Ranger是一个独立的组件，组件的注册，策略的修改等，都需要登录到ranger，才能进行操作，很不利于大数据平台的统一管理与操作。所以，平台需要通过内部接口集成ranger的能力。相比以往，需要手动调用http接口，最新的2.1.0版本中已经提供具体的更加方便的访问接口（对Http接口进行了二次封装）。2.引入jar<dependency> <groupId>org.apac

问题：apache ranger 编译的的过程中报如下错误[ERROR] Failed to execute goal on project ranger-kylin-plugin: Could not resolve dependencies for project org.apache.ranger:ranger-kylin-plugin:jar:3.0.0-SNAPSHOT: Failed to collect dependencies at org.apache.kylin:kylin-se.

问题：部署3.3.0版本的hadoop后，部署hive2.3.1版本部署后，发现出现下面的问题：com.google.common.collect.Iterators.emptyIterator...org.apache.hadoop.hive.ql.exec.FetchOperator解决：1.看报错异常发现是guava导致的2.后面看了相关文章，发现是版本不一致导致的，然后把hive版本升级到3.1.2版本3.升级后发现guava版本还是不兼容，后面用hadoop（share/hadoop

背景业务需要在转发app上传图片的form表单到通用能力的图片服务器实现这里采用okhttp实现，具体代码如下，直接将图片转换成字节来进行处理，以避免需要保存图片到本地再进行上传public static String post(String url, Map<String, Object> paramMap, boolean printLog) throws Exception{ MultipartBody.Builder builder = new Mul

背景：在项目中引入SpringBoot的autoConfig来管理组件，在集成redis后到沙箱环境运行一段时间后，发现客户端连接redis就会出现超时。现象：每次调用redis执行命令的时候会出现下面这个报错：Caused by: io.lettuce.core.RedisCommandTimeoutException: Command timed out after 1 minute(s)at io.lettuce.core.ExceptionFactory.createTimeou

昨天项目开发中遇到一个问题，在使用了shardingsphere组件的项目中，增加了一个新功能按照定时任务自动去维护数据库中天表（每月建一次2个月的天表）。开发过程中遇到下面这个报错：Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Identifier name 'uniq_house_id_site_extend_plan_status_l_house_advertised_record_20200606

这段时间在做业务开发时候，需要对数据进行按天分表存储，这里采取了shardingSphere中间件来管理sql路由。业务需求：支持按照esb消息中的时间戳，进行分表插入。 支持按照时间戳和其他参数进行rang查询鉴于上面的业务需求，这边采用shardingSphere的StandardShardingStrategyConfiguration作为分片实现算法具体的实现代码(shar...

1.简介mongoDb是一款性能非常优秀的nosql型文档数据库，横向扩展支持很大数据量和并发。主要特点： 存储数据模型是json 不需要提前创建数据模型 4.0后支持分布式事物 多形性（同一个集合可以包含不同字段（类型）的文档对象 动态性（线上修改数据模式，修改时应用于数据库无续修改schema） 数据治理（支持对collectio...