
database
wzyzzu
这个作者很懒,什么都没留下…
展开
-
PostgreSQL在CentOS下的源码安装
下面主要是PostgreSQL在CentOS下的安装步骤,和Linux步骤基本类似。1.环境:操作系统:CentOS-6.2-x86_64虚拟机:Vmware-workstation 6.5数据库:postgresql-9.1.3工具: SecureCRT 5.1.22.加用户和组(root下操作)#groupadd postgres#useradd pos转载 2015-11-03 16:51:19 · 390 阅读 · 0 评论 -
PostgreSQL 硬件性能调整
POSTGRESQL 是一个对象关系型数据库,由来自全球一组网络开发者开发。它是一个可代替如Oracle、Informix商业数据库的开源版本。POSTGRESQL 最初由加州大学伯克利分校开发。1996年,一个小组开始在互联网上开发该数据库。他们使用email分享想法,用文件服务器分享代码。POSTGRESQL现在在功能方面、性能方面以及可靠性上可与商业数据库比肩。它支持事务、视图、存储转载 2015-12-03 14:21:42 · 456 阅读 · 0 评论 -
PostgreSQL 妙用explain Plan Rows快速估算结果集数量
http://people.planetpostgresql.org/dfetter/index.php?/archives/80-Approximate-Counts.html通过这种方法,我们可以快速的估算一个表,视图的记录数,当然也包括带条件的查询中,最终结果的返回集。例如:postgres=# EXPLAIN (FORMAT JSON) SELECT 1 FROM t limit转载 2015-12-22 18:43:39 · 2106 阅读 · 0 评论 -
海量数据问题
1. 给定a、b两个文件,各存放50亿个url,每个url各占64字节,内存限制是4G,让你找出a、b文件共同的url?方案1: 可以估计每个文件安的大小为50G×64=320G,远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。s 遍历文件a,对每个url求取,然后根据所取得的值将url分别存储到1000个小文件(记为)中。这样每个小文转载 2015-12-07 13:41:24 · 379 阅读 · 0 评论 -
NoSQL数据库类型
本文摘自 Introducing Data Science,我们将向您介绍四大NoSQL数据库类型。有四大NoSQL类型:键值存储(key-value store),文件存储(document store),列导向的数据库(Column-Oriented Database)和图形数据库(graph database)。每种类型都解决了传统关系数据库无法解决的问题。实际的实现往往是这些组合的组合转载 2016-03-10 09:10:00 · 545 阅读 · 0 评论 -
数据库对象命名参考
本文是一个参考,不是一个规范,更不是一个标准。它仅代表了我个人的观点和建议,并只考虑了通常条件下的规则,你可以根据实际情况随意修改它。引言编码规范是一个优秀程序员的必备素质,然而,有很多人非常注重程序中变量、方法、类的命名,却忽视了同样重要的数据库对象命名。这篇文章结合许多技术文章和资料,以及我自己的开发经验,对数据库对象的命名规则提出了一点建议,希望能为大家提供一些参考。NOTE:虽转载 2016-03-10 13:54:23 · 572 阅读 · 0 评论 -
从Postgres95到PostgreSQL9.5:新版亮眼特性
萧少聪(花名:铁庵),广东中山人,阿里云 RDS for PostgreSQL/PPAS 云数据库产品经理。2011 年开始与李元佳等组建 Postgres 中国用户会,现任用户会主席。自 2007 年起支持中国 Postgres 数据库发展,多年来,在中国及台湾地区协助众多企业成功从 MySQL,Oracle 等数据库转型使用 Postgres 系列数据库。Postgres95 介绍转载 2016-03-10 14:10:21 · 3126 阅读 · 0 评论 -
如何设计一个优秀的数据库
目录(?)[+]第 1 部分 - 设计数据库之前第 2 部分 - 设计表和字段第 3 部分 - 选择键和索引第 4 部分 - 保证数据的完整性第 5 部分 - 各种小技巧 一个成功的管理系统,是由:[50% 的业务 + 50% 的软件] 所组成,而 50% 的成功软件又有 [25% 的数据库 + 25% 的程序] 所组成,数据库设计的好坏是一转载 2016-04-08 16:44:23 · 2272 阅读 · 0 评论 -
如何设计数据库
为什么需要设计数据库 这里我们思考两个问题:修建茅屋需要设计吗?修建大厦需要设计吗?结论是:当数据库比较复杂(如数据量大,表较多,业务关系复杂)时,我们需要先设计数据库;因为,良好的数据库设计能够:q 节省数据的存储空间q 能够保证数据的完整性q 方便进行数据库应用系统的开发糟糕的数据库设计:q 数转载 2016-04-08 16:45:09 · 17755 阅读 · 6 评论 -
sql经典题目
一些外面公司笔试用的的SQL题目及答案,供大家学习参考:一.有下列三张表:CARD 借书卡。 CNO卡号,NAME姓名,CLASS班级BOOKS 图书。 BNO 书号,BNAME 书名,AUTHOR 作者,PRICE 单价,QUANTITY 库存册数BORROW 借书记录。 CNO 借书卡号,BNO 书号,RDATE 还书日期备注:限定每人每种书只能转载 2016-04-08 16:48:51 · 687 阅读 · 0 评论 -
优化SQL查询:如何写出高性能SQL语句
优化SQL查询:如何写出高性能SQL语句1、 首先要搞明白什么叫执行计划?执行计划是数据库根据SQL语句和相关表的统计信息作出的一个查询方案,这个方案是由查询优化器自动分析产生的,比如一条SQL语句如果用来从一个 10万条记录的表中查1条记录,那查询优化器会选择“索引查找”方式,如果该表进行了归档,当前只剩下5000条记录了,那查询优化器就会改变方案,采用 “全表扫描”方式。可见,转载 2016-04-08 17:06:23 · 428 阅读 · 0 评论 -
pgpool FAQ
1、配置的网卡不一样pgpool.conf中的配置信息必须完全一致(ip除外),包括网卡信息,否则切换有时会有异常。原创 2015-10-19 15:25:42 · 483 阅读 · 0 评论 -
mysql基本命令操作
win7运行mysql时并不是以管理员的身份运行cmd程序的!所以不能启动mysql提示发生系统错误 5;拒绝访问!那我们就需要以管理员的身份运行cmd。具体步骤如下:1、在开始菜单的搜索框中输入cmd,然后右键单击,并选择以管理员身份运行!在以管理员运行的cmd命令框中就可以正常使用net start /stop mysql 命令了,我这里mysql服务名称是mysql登陆原创 2016-12-12 11:05:54 · 316 阅读 · 0 评论 -
PostgreSQL 9.5.5主从实现之异步流复制(Hot Standby)
版权声明:本文为博主原创文章,转载请标明出处(http://blog.youkuaiyun.com/wlwlwlwl015)Thanks.目录(?)[-]前言Standby数据库原理详细配置主库配置从库配置总结前言简单记录一下postgresql主从的实现方式之一——基于Standby的异步流复制,这是PostgreSQL9.x版本(2010转载 2016-11-25 09:59:06 · 6711 阅读 · 0 评论 -
PgSQL · 特性分析 · PG主备流复制机制
PostgreSQL在9.0之后引入了主备流复制机制,通过流复制,备库不断的从主库同步相应的数据,并在备库apply每个WAL record,这里的流复制每次传输单位是WAL日志的record。而PostgreSQL9.0之前提供的方法是主库写完一个WAL日志文件后,才把WAL日志文件传送到备库,这样的方式导致主备延迟特别大。同时PostgreSQL9.0之后提供了Hot Standby,备库在应转载 2017-03-02 14:33:49 · 757 阅读 · 0 评论 -
PgSQL · 特性分析 · PostgreSQL Aurora方案与DEMO
前言亚马逊推出的Aurora数据库引擎,支持一份存储,一主多读的架构。这个架构和Oracle RAC类似,也是共享存储,但是只有一个实例可以执行写操作,其他实例只能执行读操作。相比传统的基于复制的一主多读,节约了存储和网络带宽的成本。我们可以使用PostgreSQL的hot standby模式来模拟这种共享存储一主多读的架构,但是需要注意几点,hot standby也会对数据库有写的动作,转载 2017-03-02 14:41:00 · 1023 阅读 · 0 评论 -
PgSQL · 特性分析 · pg_receivexlog工具解析
最近遇到这样一个需求:在做时间点恢复时,需要从主库获取最近生成的那些xlog文件(需要获取的xlog文件名是已知的)。怎么办?一个想法是,利用scp等工具,直接从主库下载,这要求我们处理整个下载过程,比较麻烦。其实PG已经为我们准备了一个xlog传输工具——pg_receivexlog。这个工具可能很多人都没注意到,而且官方文档中介绍的很少。在这里我们为大家解析一下这个工具。能做什么pg_转载 2017-03-02 14:44:15 · 1615 阅读 · 0 评论 -
PostgreSQL 如何潇洒的处理每天上百TB的数据增量
摘要: 本文主要介绍并测试一下PostgreSQL 在中高端x86服务器上的数据插入速度,帮助企业用户了解PostgreSQL在这种纯插入场景的性能。(例如运营商网关数据,金融行业数据,产生量大,并且要求快速插入大数据库中持久化保存。) 测试结果写在前面:每32K的block存储89条记录, 每条记录约3本文主要介绍并测试PostgreSQL 在中高端x86服务器上的数据插入速度(目标转载 2017-03-02 17:28:44 · 3941 阅读 · 0 评论 -
数据库大数据量处理问题讨论
一、我从事过6年的数据库高负载解决方案,处理过很多的海量数据问题。我的经验是: 1。优化数据存储的算法,保证io的读写最小,这一点最容易被人忽视,而这一点确实整个问题的关键。 2。确保可读数据在磁盘上连续存储,使得磁盘指针不会“空转”。二、实现读写分离是一种方法,不足的是这样还是没有解决表数据量大,使查询运算耗时的问题.三、我这边的mysql也到了单表到2G快了转载 2015-12-03 16:58:29 · 1758 阅读 · 0 评论 -
提高数据库插入效率
插入数据,是MySQL数据库的基本任务。不过不要小看这个插入数据的动作。在数据库性能优化上,可以在这上面做很大的文章。如果利用MySQL作为一些即时信息化管理软件的后台数据库,如ERP系统。由于其数据插入的作业非常频繁,而且对性能的要求也比较高。此时数据库管理员就需要采取措施来提高数据插入的效率。针对这块内容,笔者认为数据库工程师在应用程序与数据库设计时,需要注意如下几个细节问题。 细节转载 2015-12-03 14:40:04 · 2040 阅读 · 0 评论 -
大数据量数据库优化
一、数据库结构的设计 如果不能设计一个合理的数据库模型,不仅会增加客户端和服务器段程序的编程和维护的难度,而且将会影响系统实际运行的性能。所以,在一个系统开始实施之前,完备的数据库模型的设计是必须的。 在一个系统分析、设计阶段,因为数据量较小,负荷较低。我们往往只注意到功能的实现,而很难注意到性能的薄弱之处,等到系统投入实际运行一段时间后,才发现系统的性能在降低,这时再转载 2015-12-03 14:35:58 · 530 阅读 · 0 评论 -
Mysql千万级别数据优化方案
目录目录... 1一、 目的与意义... 21) 说明... 2二、 解决思路与根据(本测试表中数据在千万级别)... 21) 建立索引... 22) 数据体现(主键非索引,实际测试结果 其中fid建立索引)... 23) MySQL分页原理... 24)转载 2015-11-04 10:54:22 · 371 阅读 · 0 评论 -
PostgreSQL表的行数统计
PostgreSQL表的行数统计 在很多情况下我们需要知道一个表的记录数有多少。如果你发现你有这样的需求,你还应该问问这样的统计的精确度到底又多高。如果你在做会计报表,你需要非常的精确。如果你做一个网页的记数器,可能有一些误差也是允许的。 使用count(*) 传统的计算一个表的行数的方法是使用count(*),但是count(*)非常的慢,尤其是对于一个大表而转载 2015-11-04 16:45:58 · 10922 阅读 · 2 评论 -
SQL UNION 和 UNION ALL 操作符
SQL UNION 和 UNION ALL 操作符原创 2015-11-06 10:09:28 · 293 阅读 · 0 评论 -
java事务的处理
java的事务处理,如果对数据库进行多次操作,每一次的执行或步骤都是一个事务.如果数据库操作在某一步没有执行或出现异常而导致事务失败,这样有的事务被执行有的就没有被执行,从而就有了事务的回滚,取消先前的操作..... 注:在Java中使用事务处理,首先要求数据库支持事务。如使用MySQL的事务功能,就要求MySQL的表类型为Innodb才支持事务。否则,在Java程序中做了commi转载 2015-10-06 17:05:08 · 761 阅读 · 0 评论 -
pgsql FAQ
1,./pgadmin3: error while loading shared libraries: libpq.so.5: cannot open shared object file: No such file or directory解决方法:1: Know the path of "libpq.so.5"find / -name libpq.so.5Output原创 2015-10-06 16:28:19 · 538 阅读 · 0 评论 -
PostgreSQL基于预写日志的复制
PostgreSQL是一款优秀的开源关系型数据库,从1989年至今已有22年历史,经过多次转折,如今乃是业界流行度仅次于MySQL的开源数据库系统。比起MySQL,PostgreSQL有更好的索引支持和更稳固的ACID保证,也提供了诸多非常优秀的复制(Replication)解决方案,同时以更自由的开源许可协议发布。在PostgreSQL 9.0之前,PostgreSQL就有了许多的第三方的复制方转载 2015-10-09 15:09:29 · 1463 阅读 · 0 评论 -
kettle FAQ
1、kellte could not find the main class org.pentaho.commons.launcher.launcher. program will exit原因:jdk版本低解决方案:换成jdk1.7及以上原创 2015-11-10 14:49:04 · 1238 阅读 · 0 评论 -
MySQL和PostgreSQL的比较
特性MySQLPostgreSQL实例通过执行 MySQL 命令(mysqld)启动实例。一个实例可以管理一个或多个数据库。一台服务器可以运行多个 mysqld 实例。一个实例管理器可以监视 mysqld 的各个实例。通过执行 Postmaster 进程(pg_ctl)启动实例。一个实例可以管理一个或多个数据库,这些数据库组成一个集群。集群是磁盘上的一个区域,这个区域在转载 2015-10-25 22:17:14 · 403 阅读 · 0 评论 -
PostgreSQL 性能优化
每次看postgresql的设定,好像每次都忘记。过一段时间又要看。今天终于决定,开始blog吧。postgresql 优化与维护1. 硬件数据库最重要的就是 I/O了。所以一切从I/O开始。RAID: 这个基本不用说,数据库放RAID10上面,只读的备份数据库可以放RAID0,反正挂了没关系。谨记:数据库是Random ReadRAID卡的选择:RAID卡一定要带转载 2015-10-25 22:41:23 · 1098 阅读 · 0 评论 -
通过JDBC进行简单的增删改查(以MySQL为例)
目录前言:什么是JDBC一、准备工作(一):MySQL安装配置和基础学习二、准备工作(二):下载数据库对应的jar包并导入三、JDBC基本操作(1)定义记录的类(可选)(2)连接的获取(3)insert(4)update(5)select(6)delete四、测试转载 2015-10-26 17:41:49 · 386 阅读 · 0 评论 -
postgresql之WAL(Write Ahead Log)
oracle中存在重做日志文件(redo log),其作用是保证数据的一致性和事务的完整性,防止在系统崩溃时最近的事务无法恢复。在postgresql中引入了WAL(write ahead log),作用相同。有不同之处的是postgresql数据库可以通过调整WAL参数控制日志写入磁盘的先后顺序。先将日志写入磁盘能够完全保证数据的完整性,在崩溃时可以恢复最近的事务;后写入磁盘,很难保证在崩溃时事转载 2015-10-13 10:13:46 · 659 阅读 · 0 评论 -
利用pgpool-II搭建postgresql集群的并行查询模式
备注:主要是参考pgpool-II官方文件搭建,但某些步骤可能是因为版本问题和实际环境,需略作修改本文环境:操作系统Version:Ubuntu 14.10 postgresql Version:9.3.1 pgpool-II Version:pgpool-II-3.3.6 2台服务器:1台放置pg和pgpool-II(localhos转载 2015-10-29 11:46:16 · 2932 阅读 · 0 评论 -
PostgreSQL实用日常维护SQL
整理了postgresql的系统表关联的常用SQL,如下:--查看数据库select * from pg_database;--查看表空间select * from pg_tablespace;--查看语言select * from pg_language;--查看角色用户select * from pg_user;select * fr转载 2015-10-14 11:37:23 · 503 阅读 · 0 评论 -
PostgreSQL vacuum原理一功能与参数
从上篇“PostgreSQL MVCC 源码实现 【http://www.linuxidc.com/Linux/2015-05/117969.htm】”中,我们知道,PG并没有像Oracle那样的undo来存放旧版本;而是将旧版本直接存放于relation文件中。那么带来的问题就是dead tuple过多,导致relation文件不断增大而带来空间膨胀问题。为了解决这个问题,PG中引入了vac转载 2015-12-29 14:46:26 · 2095 阅读 · 0 评论 -
postgresql AutoVacuum系统自动清理进程
《PostgreSQL数据库内核分析》第2章PostgreSQL的体系结构,本章从宏观上对PostgreSQL的控制和处理流程进行了简要介绍,说明了各个模块之间是如何协同工作,以使得整个数据库系统能够稳定、正确地处理用户的各种操作和请求的。至于每个模块是如何各司其职,其内部具体是如何运作的,将会在后续的章节进行专门的介绍。本节为大家介绍AutoVacuum系统自动清理进程。AD:51CTO转载 2015-12-29 14:51:15 · 3927 阅读 · 0 评论 -
DB-Engines Ranking
The DB-Engines Ranking ranks database management systems according to their popularity. The ranking is updated monthly.Read more about the method of calculating the scores.289 systems转载 2015-12-17 11:48:28 · 914 阅读 · 0 评论 -
PostgreSQL:关于 socket 文件 "/tmp/.s.PGSQL.nnnn" 丢失处理
在学习 PostgreSQL 的过程中,相信很多人都遇到过下面这个错误,错误代码如下:1、解决方法:export PGHOST=localhost 一 问题描述--1.1 错误代码 [pg92@redhatB ~]$ psqlpsql: could not connect to server: No such file or directory转载 2015-12-01 18:14:51 · 3349 阅读 · 0 评论 -
数据库连接池性能比对(hikari druid c3p0 dbcp jdbc)
背景对现有的数据库连接池做调研对比,综合性能,可靠性,稳定性,扩展性等因素选出推荐出最优的数据库连接池 。 NOTE: 本文所有测试均是MySQL库测试结论 1:性能方面 hikariCP>druid>tomcat-jdbc>dbcp>c3p0 。hikariCP的高性能得益于最大限度的避免锁竞争。 2:druid功能最为全面,sql拦截转载 2017-04-06 19:46:25 · 358 阅读 · 0 评论