- 博客(13)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 About Hive
首先谈一下关于hive和hbase的区别的疑问（完全不是一个东西）： 本质上来说hive和hbase没什么关系，虽然都是表，查数据等，但是他们根本就不是一个层面的东西 hive就是一个rapduce的一个包装，hive就是将编写的sql转换成mapreduce任务 而hbase是什么呢？可以理解为是hdfs的一个包装，本质是数据存储的，一个nosql数据库，部署与hdfs之上的，...
2019-11-12 14:53:52
261
原创 Kafka 从入门到实战
1：最近发现有一个问题，原先我设计为了保证有序性，我将kafka 分区数设置为1， 生产者和消费者 按offset 消费 我生产者采用异步投递消息，速度非常快 我消费者采用手动提交，
2021-07-20 12:39:06
521
原创 Kafka 消费某些分区消费缓慢
Properties props = new Properties(); //kafka消费的的地址 props.put("bootstrap.servers", "master:9092,slave1:9092,slave2:9092"); //组名 不同组名可以重复消费 props.put("group.id", GROUPID); //是否自动提交 props.put("enable.auto.commit", "fa...
2021-06-07 23:49:52
1405
2
原创 利用 AWS api gateway Authorizers对访问进行 token校验 （JAVA开发）
前言：其实在AWS 官方文档上有写过demo,是采用的node.js 这里我将会用java 的写法展示 准备工作：1：创建一个 lambda (用于授权验证的lambda,以下简称 Auth-lambda) 2:在 api gateway 创建Authorizers 手把手教程如下：当然可以自行参考AWS官方文档，写得也很详细 2.1 3:Auth-lambda 的编写 3.1:入口函数 3.2 AuthPolicy 类的编写 package com.test.la...
2020-09-11 14:07:31
1385
1
原创 AWS api gateway 中 api gateway domain name 和 customer domain name (域名)关联设置
前言 AWS api gateway 中 api gateway domain name 和 customer domain name (域名)关联设置 首先 api name 其次 点击 customer domain name 然后 设置对应的 api mapping 配置 mapping 所有被选择添加到 api mapping 中的 api gateway name 会自动绑定到 api gateway domain name==>继而映射到...
2020-09-11 13:10:04
671
原创 java8 lambda 操作List 转Map结构
我之前在开发中遇到一个问题记录一下： 我从数据库查询后的结果是 Name project score 风清扬 舞蹈 100 张无忌 体育 90 张学友 音乐 20 张学友 数学 88 数据库结果如上： 最后经过查询得到一个 List<User> userList; 而我最终想要的结果是 Map<String,List<String>> resultMap 的结...
2020-06-17 09:23:58
749
原创 Hive 优化
首先hive本质就是mapreduce，那么优化就从mapreduce开始入手。 然而mapreduce的执行快慢又和map和reduce的个数有关，所以我们先从这里下手，调整并发度。 关于map的优化： 1.调整block 作业会通过input的目录产生一个或者多个map任务。set dfs.block.size 因为没份数据都是block，而block的大小直接影...
2019-11-12 14:57:10
198
原创 CenTos7 docker 的安装和卸载
卸载 1.查询安装过的包 yum list installed | grep docker docker-engine.x86_64 17.03.0.ce-1.el7.centos @dockerrepo 2.删除安装的软件包 yum -y remove docker-engine.x86_64 3.删除镜...
2018-12-28 15:00:00
691
原创 centos7 安装linux（爬坑篇）
第一、下载erlang和rabbitmq-server的rpm: http://www.rabbitmq.com/releases/erlang/erlang-19.0.4-1.el7.centos.x86_64.rpm http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.6/rabbitmq-server-3.6.6-1.el7.noa...
2018-12-27 16:51:43
624
原创 springboot启动报错
以下是启动报错信息: 首先说下我的层级目录和启动项 然后我在web 层加入了 @RestController 注解 在 Service 上面也加了 @Service 注解 mapper 层也加了 @Mapper 注解 因为一开始找不到Bean 我第一个想到的是 是不是没扫到包, 我这里用的 springboot 2.0.3 版本 org.springframework.bean...
2018-11-13 13:54:45
635
原创 springboot 启动报错
启动异常 *************************** APPLICATION FAILED TO START *************************** Description: Failed to configure a DataSource: no embedded datasource could be configured. Reaso...
2018-11-13 10:47:17
851
原创 XML文件中jdbcType=‘DATE‘ 和 TIMESTAMP 小记
今天做项目发现，数据库存的时间数据有年月日时分秒，但是页面上只有 年月日 时分秒为00-00-00.后来发现原来是 xml 文件中 我写的是DATE，他只能读取到年月日，改成TIMESTAMP ，就好了...
2018-08-10 16:39:06
2267
转载 Dubbo+zookeeper·
Dubbo 运行架构 Provider：服务提供方 Consumer：服务消费者 Registry：注册中心 Monitor：统计服务调用次数和调用时间的监控中心 调用流程 0.启动服务提供者。 1.服务提供者在启动时，向注册中心注册自己提供的服务。 2.服务消费者在启动时，向注册中心订阅自己所需的服务。 3.注册中心返回服务提供者地址列表给消费者，如果有变更，注册中心将基于长连接...
2018-07-23 15:22:25
230
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人