thomas0yang的专栏

PLSQL课堂笔记<br />第一课<br /> <br />编写一个存储过程，该过程可以向某表中添加记录<br />1.创建一个简单的表<br />  Create table mytest (name varchar2(30),passwd varchar2(30));<br />2.创建过程<br />  Create or replace procedure sp_pro1 is <br />  Begin<br />    Insert into mytest values(‘韩顺平’,’m123

basedir = path使用给定目录作为根目录(安装目录)。character-sets-dir = path给出存放着字符集的目录。datadir = path从给定目录读取数据库文件。pid-file = filename为mysqld程序指定一个存放进程ID的文件(仅适用于UNIX/Linux系统); Init-V脚本需要使用这个文件里

昨天晚上mysql又碰到一个奇怪的问题。数据库异常终止。重启成功后过就马上崩溃，不能正常运行。查看错误警告是InnoDB: Doing recovery: scanned up to log sequence number 1924612226346121103 21:29:24  InnoDB: Starting an apply batch of log records to th

http://www.youkuaiyun.com/article/2012-04-05/313922MySQL开源数据库有多个重要分支，目前拥有的分支分别为：MySQL Cluster、MySQL 5.1、MySQL 5.5、MySQL 6.2。每个分支都有着同样的的MySQL数据库版本，分别为：Development版本、Alpha版本、Beta版本、RC版本和GA版本。Dev

1. 总体原则1.    使用合适的数据类型，满足要求，提高效率2.    优先使用数字类型的字段，mysql处理数字类型字段较快1.1 三大类型1.1.1 数字类型整型1. TINYINT(1byte)2. SMALLINT(2byte)3. MEDIUMINT(3byte)4. INT、INTEGER(4byte)5. BIGINT(8byte)

mysql集群搭建配置1.        确保主从服务器是版本一致的。2.        主服务器创建一个MySQL帐号为同步专用，并且授予replicationslave权限。Mysql > grant  replication slave on *.* to 'repl'@'192.168.0.184' identified by '1234+asdf';

一、每天做的（一）确保mysql启动并运行。查看mysql进程是否运行正常，具体命令是ps -ef|grep mysql；top检查mysql的运行。以下是一个例子：（二）检查管理员错误日志和慢查询日志。管理员错误日志为DBA准备，它记录了mysqld当启动和停止，以及服务器在运行过程中发生的任务号严重错误是的相关信息。用—log-error指定路径。命令：命令

1. Mysql问题归类1.1 SQL类问题这类问题通常是由用户习惯不好导致的问题，比如大表没有索引，SQL语句不规范等。查找到错误的sql，修改处理。1.2 配置类问题这类问题属于mysql数据库的配置不合理的问题，导致数据库操作较慢。需要修改响应配置。1.3 BUG类问题这类问题比较少见，碰到了mysql的bug，需要根据错误日志或者网络查询解决。2

最近整了很长一段时间才了解了map reduce的工作原理，shuffle是mapreduce的心脏，了解了这个过程，有助于编写效率更高的mapreduce程序和hadoop调优。自己画了一幅流程图（点击查看全图）：另外，还找到一篇文章，很好，引用一下。Hadoop是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive 和

一、概述一：NameNode1：主要功能提供名称查询服务，内嵌jetty服务器；NameNode主要保存metadata信息；2：metadata信息包括：文件的权限，某一上传文件包含哪些Block块，Bolck块有保存在哪些DataNode上面；3：DataNode在启动时候也会上报block信息（此功能一些作用后面会写到）；4：NameNode的me

1.1设计前提和目标：１）硬件错误是常态而不是异常。错误检测并快速自动恢复是HDFS的最核心设计目标２）流式数据访问。运行在HDFS上的应用主要是以流式读为主，做批量处理；更注重数据访问的高吞吐量。３）超大规模数据集。HDFS的一般企业级的文件大小可能都在TB级别或者PB级别，支持大文件存储，而且提供整体上高的数据传输带宽，一个单一的HDFS实例应该能支撑数以千万计的文件，并且能在一个

1、mapreduce的体系结构2、mapreduce作业运行机制2.1运行图2.2运行解析2.2.1作业的提交1)此方法调用submit(). 在Submit()方法里面连接JobTracker，即生成一个内部JobSummitter（实际上是new JobClient(),在new           JobClient()里面生成一个JobSubm

1、RPC框架概述1.1 RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。1.2

经过一轮面试，发现自己的很多知识是混沌状态，处于一种感性的状态，没有深究。也可能是当时没有看懂，就掠过了。现在重读，温故知新。1、脏读。就是读到了脏数据。（dirty，脏的，不对的。）stepSession ASession A0SET @@tx_isolation='read-uncommited';

一、数仓经常会碰到的几类问题： 1、两个数据报表进行对比，结果差异很大，需要人工核对分析指标的维度信息，比如从头分析数据指标从哪里来，处理条件是什么，最后才能分析出问题原因。 2、基础数据表因某种原因需要修改字段，需要评估其对数仓的影响，费时费力，然后在做方案。二、问题分析： 数据源长途跋涉，经过大量的处理和组件来传递，呈现在业务用户面前，对数据进行回溯其实很难。元数据回溯在有效决策、策略制定

1. 作用1.1 作用帮助 MySQL 高效获取的数据的数据结果。它对于高性能非常关键，但是人们通常会忘记或误解它，因此建立索引（indexing）是现实中性能问题的首要原因。1.2 原理索引页面相对于数据页面来说小得多。当进行数据检索时，系统先搜索索引页面，从中找到所需数据的指针，再直接通过指针从数据页面中读取数据。从某种程度上，可以把数据库看作一本书，把索引看作书的目录，通

这个mysql数据库是队列数据库,5.5.21版本，用于频繁的增删查操作。平时使用正常，但是在16日凌晨数据库服务器wait IO突然增高，由原来的7%飙到了34%。导致很多连接一直都处于等待状态。1、排查了已知的配置参数，没有什么变动，配置也正常，没有离谱的。2、又检查了索引，也是之前的操作，没有多大的变动。3、后来又查询了慢语句，发现都是平时执行的那些普通的sql，没有特殊的。

http://www.livingelsewhere.net/life/book/view/111很好，留着备用

事务的6种传播特性    1.    PROPAGATION_REQUIRED: 如果存在一个事务，则支持当前事务。如果没有事务则开启    2.    PROPAGATION_SUPPORTS: 如果存在一个事务，支持当前事务。如果没有事务，则非事务的执行    3.    PROPAGATION_MANDATORY: 如果已经存在一个事务，支持当前事务。如果没有一个活动的事务，则抛出异常。    4.    PROPAGATION_REQUIRES_NEW: 总是开启一个新的事务。如果一

<br /> <br /> <br />1、    ISOLATION_READ_UNCOMMITTED： 这是事务最低的隔离级别，它充许令外一个事务可以看到这个事务未提交的数据。<br />         这种隔离级别会产生脏读，不可重复读和幻像读。<br />2、    ISOLATION_READ_COMMITTED： 保证一个事务修改的数据提交后才能被另外一个事务读取。另外一个事务不能读取该事务未提交的       数据<br />3、    ISOLATION_REPEATABLE_

HBase是Hadoop中的一个简单数据库。它与Google的Bigtable特别相似，但也存在许多的不同之处。 数据模型HBase数据库使用了和Bigtable非常相似的数据模型。用户在表格里存储许多数据行。每个数据行都包括一个可排序的关键字，和任意数目的列。表格是稀疏的，所以同一个表格里的行可能有非常不同的列，只要用户喜欢这样做。 列名是“:”形式，其中和可以是任意字符串。一个表格的集合（又叫“列族”集合）是固定的，除非你使用管理员权限来改变表格的列族。不过你可以在任何时候添加新的。HBas

<br /><br />实际上，您可以把索引理解为一种特殊的目录。微软的SQLSERVER提供了两种索引：聚集索引（clustered index，也称聚类索引、簇集索引）和非聚集索引（nonclustered index，也称非聚类索引、非簇集索引）。下面，我们举例来说明一下聚集索引和非聚集索引的区别：<br />其实，我们的汉语字典的正文本身就是一个聚集索引。比如，我们要查“安”字，就会很自然地翻开字典的前几页，因为“安”的拼音是“an”，而按照拼音排序汉字的字典是以英文字母“a”开头并

HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapRe

1. 背景数据库的扩展是一个永恒的话题。对于传统的关系数据库，采用的是纵向扩展（ScaleUp）的方式，即买更好的机器添加更多的资源来取得更好的性能（如硬件升级、更快更多的CPU、更大的内存、更多更大的磁盘等）。而形式上采用的是并行数据库、分布式数据库的模式，具体细节依赖水平分区或者垂直分区的技术。关系数据库通过ScaleUp方式已在传统的企业应用环境中统治了将近三十多年。但是近年来随着数

http://roclinux.cn/?p=1647言归正传，今天为大家介绍一个好朋友，名字叫sar，它的脑子里全是机器系统性能的信息，你只要和它搞好关系，以后想获得任何这方面的信息，可就不愁了！1 sar是做什么的？主要负责收集、汇报与存储系统运行信息的。2 sar怎么控制信息输出的时间间隔和次数？有两个参数非常非常常用，就是“时间间隔”和“输出次数”

HBase简介HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapRe

【导读】    与朋友或同事谈到mysql查询缓存功能的时候，个人喜欢把Query Cache比作荔枝，是非常营养的东西，但是一次性吃太多了，就容易导致上火而流鼻血，虽然不是特别恰当的比喻，但是有很多相似的地方，另外Query Cache有其特殊的业务场景，也不像其他数据库产品，缓存查询语句的执行计划等信息，而是直接缓存查询语句的记录集和对应的SQL语句。本文就给大家介绍下查询缓存的相关知

mysql下tuner-primer使用说明mysql tuner-primer是检测mysql的主配置文件my.cnf的有力工具，当然还有其他工具，比如mysqlreport，今天先介绍这个工具的使用。下载并改变执行权限：wget http://www.day32.com/MySQL/tuning-primer.sh chmod a+x tuning-primer

原文链接：http://coolshell.cn/articles/7829.html下面是Kristóf Kovács收集的28个Unix/Linux下的28个命令行下的工具（原文链接），有一些是大家熟悉的，有一些是非常有用的，有一些是不为人知的。这些工具都非常不错，希望每个人都知道。本篇文章还在Hacker News上被讨论，你可以过去看看。我以作者的原文中加入了官网链

数据库的主要瓶颈在io。下面是设计到一下影响innodb io性能的主要参数。 1、innodb_buffer_pool_size概念：为[InnoDB]数据表及其索引而保留的RAM内存量(默认设置是8MB)。这个参数对速度有着相当大的影响，如果计算机上只运行有[MySQL]/[InnoDB]数据库服务器，就应该把全部内存的80%用于这个用途。 2、innodb_addit

最近学习了spark，现根据任务提交分析处理过程总结一下相关的主要模块和任务提交处理流程。一些重要术语client，用户编写的spark任务提交程序master，spark主节点，负责任务和资源调度、节点管理，类似于Yarn的ResourceManagerworker，spark工作节点，可以在上面启动Executor进程，类似于Yarn的NodeManagerdriver，w...