数据库
关注
分享
扫一扫
fct2001140269
大数据架构、地理信息系统
展开
-
docker安装redis-dump工具
离线安装redis-dump工具1 场景和问题1.1 redis-dump工具作用 redis-dump可以将redis数据库中的各个slot中的数据导出到文本中，方便迁移备份数据；1.1 为什么采用redis-dump容器的方式 使用普通的物理机直接安装redis-dump工具，需要下载各种各样的依赖，相对都比较麻烦（例如安装ruby2.2以上版本的依赖），各种rvm依...原创 2020-04-11 15:45:45 · 1139 阅读 · 1 评论 -
elasticsearch的知识点归纳
es的基本概念：索引、类型、文档；倒排索引的原理；elasticsearch集群节点、分片；对es的写过程（写入【重要】、删除、更新）、读过程（重要）；es中搜索中涉及的算法；...原创 2020-02-11 22:04:03 · 178 阅读 · 0 评论 -
elk消费kafka数据延迟过大的问题
elk消费kafka数据延迟过大的问题1.问题现象表述：当前elk作为日志系统消费kafka日志数据有很大的延迟，即elk的消费kafka中日志的速度（200条/s）远远低于maplearning生产日志的速度（平均3000条/s）（吐出的日志topic：log_trialproducetion）；导致从kibana中查询最新的es日志数据的时间远远低于当前时间，在实际生产环境或【预上线】...原创 2020-01-29 17:41:49 · 4836 阅读 · 0 评论 -
14 ，java 操作 s3 ( 详细教程 )
14 ，java 操作 s3 ( 详细教程 )https://blog.youkuaiyun.com/qq_34319644/article/details/101072107ceph s3 对象的上传和删除(JAVA demo)https://blog.youkuaiyun.com/yangkang1122/article/details/100095868...转载 2019-12-13 13:54:01 · 749 阅读 · 0 评论 -
docker下postgis12+postgis3.0搭建
docker下postgis12+postgis3.0搭建1.目的本来想找一个postgis3.0的镜像，由于postgis3.0是最新的版本（2019/10/20发布正式版），网上镜像很少，写出来放置自己忘了。2.过程geographica/postgishttps://hub.docker.com/r/geographica/postgisVersionsThis Docker...原创 2019-11-07 15:16:37 · 2587 阅读 · 2 评论 -
docker搭建postgresql9.4主从同步复制集群
docker搭建postgresql9.4主从同步复制集群参考文章：Docker + PostgreSQL 主从环境搭建 https://yq.aliyun.com/articles/641773postgresql9.5主从复制部署文档 https://blog.51cto.com/wn2100/2238996PostgreSQL建立H...原创 2019-10-29 09:40:09 · 1438 阅读 · 0 评论 -
docker搭建postgresql9.4主从同步复制集群
docker搭建postgresql9.4主从同步复制集群参考文章：Docker + PostgreSQL 主从环境搭建 https://yq.aliyun.com/articles/641773postgresql9.5主从复制部署文档 https://blog.51cto.com/wn2100/2238996PostgreSQL建立H...原创 2019-10-28 15:49:57 · 1711 阅读 · 7 评论 -
com.mongodb.MongoSocketReadException: Prematurely reached end of stream
异常情况描述com.mongodb.MongoSocketReadException: Prematurely reached end of stream一、异常发生场景当使用mongodb的一主一从一备节点构建的集群，使用java代码连接集群时候，测试主节点master和备用节点slave切换的时候；2019-10-23 20:21:05,972 WARN [org.mongodb.dri...原创 2019-10-24 17:24:34 · 4782 阅读 · 0 评论 -
docker搭建mongodb高可用集群
docker搭建mongodb集群参考资料：基于 Docker 的 MongoDB 主从集群http://www.imooc.com/article/details/id/258885mongodb: docker-compose一主两从一仲裁副本集模式https://blog.youkuaiyun.com/weixin_34117522/article/details/94609770...原创 2019-10-23 21:04:01 · 2986 阅读 · 2 评论 -
Redis Cluster 集群模式搭建
Redis集群模式搭建1.集群模式选型redis集群模式的选型https://dl.lenses.stream/d/?id=550f16d9-14ee-458e-97d8-8ecfcbb695e9https://dl.lenses.stream/d/?id=ac2a62f3-1fa5-41ac-95ec-fcbb33eb37fd2.文献参考搭建redis5.0集群https://ww...原创 2019-10-16 16:30:30 · 204 阅读 · 0 评论 -
使用java代码连接RedisCluster集群实现
Redis集群学习须知1.redis集群的常见搭建方式：划分大概是5种方式2.Redis集群的原理和机制3.学会搭建一个Redis集群4.测试搭建好的集群：连接测试，高可用性测试已经建设好的集群类似如下方式：采用对key做hash后，分到不同区段的slot的方式，同时master节点宕机，slave节点切换顶替。实现redis高负载和高可用。3.1 使用java代码连接RedisC...原创 2019-10-16 10:00:55 · 8897 阅读 · 6 评论 -
redis-dump导入导出Redis数据
使用redis-dump导入导出Redis数据一、环境说明1.我们是在docker虚拟机中搭建的redis，所以此处设计的导入导出分为两种情况：导入导出Redis中单个solt中数据；（目前我操作的是这种，可以指定要导出哪一个solt）导入导出所有solt中所有数据（是上面的特殊情况）2.redis库的备份与还原（这个暂时不讨论）涉及Redis持久化和相应命令（dump.rdb）...原创 2019-09-06 15:25:39 · 1064 阅读 · 0 评论 -
postgresql数据库表的备份与还原
postgresql数据库表的备份与还原备份pg_dump -U postgres -t shipping_shiptype_to_country -f ./shipping_shiptype_to_country.sql futures_data恢复 psql -U postgres -d futures_data_online -f ./shipping_shiptype_to_co...原创 2019-03-22 11:29:54 · 3089 阅读 · 0 评论 -
sql开窗函数
开窗函数rank（）跳跃排序，有两个第二名时后边跟着的是第四名dense_rank() 连续排序，有两个第二名时仍然跟着第三名over（）开窗函数：在使用聚合函数后，会将多行变成一行，而开窗函数是将一行变成多行；并且在使用聚合函数后，如果要显示其他的列必须将列加入到group by中，而使用开窗函数后，可以不使用group by，直接将所有信息显示出来。开窗函数适用于在每一行的最后一...原创 2019-01-15 09:32:39 · 667 阅读 · 0 评论 -
mongodb集群的数据库连接池
程序中使用到的mongodb数据库连接池package com.common.db;import com.mongodb.MongoClient;import com.mongodb.MongoClientOptions;import com.mongodb.MongoException;import com.mongodb.client.FindIterable;import co...原创 2018-10-18 15:34:58 · 1507 阅读 · 0 评论 -
数据库连接池--阿里巴巴的druid
一、 数据库连接池主要逻辑代码1.1数据库连接池需要的maven包:数据库连接的jdbc驱动包，阿里巴巴的druid数据库连接池包 <dependency> <groupId>org.postgresql</groupId> &a原创 2018-10-19 09:59:11 · 296 阅读 · 0 评论 -
Postgresql集群搭建与PostGIS安装
目录 > Postgresql集群搭建手册 1 Postgresql集群搭建手册 2 一、软件安装预先准备工作 2 二、Postgresql安装 (附带PostgreGIS安装) 3 2.1 potgresql安装 3 2.2 postgres常见错误说明 9 三、PostgreGIS安装 postGIS 12 四...原创 2018-06-26 11:06:15 · 8784 阅读 · 0 评论 -
mysql查询语句 和 多表关联查询 以及 子查询
1.查询一张表：     select * from 表名；2.查询指定字段：select 字段1，字段2，字段3….from 表名；3.where条件查询：select 字段1，字段2，字段3 frome 表名 where 条件表达式；例：select * from t_studect where id=1;转载 2018-11-04 23:07:40 · 226 阅读 · 0 评论 -
HBase的rowkey设计（含实例）
HBase的rowkey设计（含实例）转自：http://www.aboutyun.com/thread-7119-1-1.html对于任何系统的数据设计，我们都想提高性能，达到资源最大化利用，那么对于hbase我们产生如下问题：1.hbase rowkey设计如何才能提高性能？2.hbase rowkey如何设计才能散列到不同的节点上？访问hbase table中的行，只有三种方式：...转载 2018-11-05 00:27:43 · 2173 阅读 · 0 评论 -
mongodb重启失败--问题排查
用kill -9 杀进程mongodb后，重新启动，产生错误：about to fork child process, waiting until server is ready for connection此异常。错误如图：原因分析：出现这种错误的原因:大部分是因为mongodb 服务在不正常关闭的情况下,mongod 被锁,想想可能是上次无故死机造成的.情况1：一般般解决方法:...原创 2018-11-05 10:07:31 · 4229 阅读 · 0 评论 -
java连接mongoDB的高可用性实现
使用mongoDB集群实现高可用性HA,如果其中一台机器宕机，mongodb集群的连接主机自动会切换到其他主机，java实现代码如下package cetc.anji.judgeSpeed.topology;import java.util.ArrayList;import java.util.List;import org.bson.Document;import com.mon...原创 2018-11-26 20:00:49 · 722 阅读 · 0 评论 -
sql语句分组查询排序后取出前n条记录
1.sql语句分组排序后取出前n条记录(SELECT *FROM ( SELECT "row_number" () OVER ( PARTITION BY mmsi ORDER BY orginal_in_draught DESC ) AS rid, mmsi, orginal_in_draught FROM shipping...原创 2019-01-04 10:20:47 · 4299 阅读 · 0 评论 -
B+树相比B树的优势
B+树的优势在于查找效率上，具体说明： 首先，Ｂ＋树的查找和Ｂ树一样，类似于二叉查找树。起始于根节点，自顶向下遍历树，选择其分离值在要查找值的任意一边的子指针。在节点内部典型的使用是二分查找来确定这个位置。 （1）不同的是，Ｂ＋树中间节点没有卫星数据（索引元素所指向的数据记录），只有索引，而Ｂ树每个结点中的每个关键字都有卫星数据；这就意味着同样的大小的磁盘页可以容纳更多节点元素，在相同的数...转载 2019-01-12 23:48:43 · 6136 阅读 · 0 评论 -
深入理解Mysql——锁、事务与并发控制
深入理解Mysql——锁、事务与并发控制转载：https://www.toutiao.com/a6599928079051653646/mysql服务器逻辑架构每个连接都会在mysql服务端产生一个线程（内部通过线程池管理线程），比如一个select语句进入，mysql首先会在查询缓存中查找是否缓存了这个select的结果集，如果没有则继续执行 解析、优化、执行的过程；否则会之间从缓存...转载 2018-09-11 23:38:30 · 184 阅读 · 0 评论