牧海归来-优快云博客

原创 keepalived + redis高可用方案

前言主机：172.17.209.25172.17.209.26软件版本：keepalived-1.2.19.tar.gzredis-2.8.1.tar.gz一、安装Redis(1)安装tar -xvf redis-2.8.1.tar.gzcd redis-2.8.1makemkdir -p /usr/local/redis/varcd srccp redis...

2017-10-20 16:24:25 741

原创 Redis中带空格的key的批量删除步骤

带空格的key的批量删除步骤如下：==============================1.把所有的命令都保存到一个文件中redis-cli -n 0 keys "*关键字*" >> /home/bi_dev/b.txt2.将/home/bi_dev/b.txt下载到本周，在每一行的头和尾加上"，由于key可能存储空格，导致无法匹配删除(1)在行头添加":通过Not

2017-09-20 10:03:14 3066

python -Vyum -y updateyum groupinstall -y developmentyum install -y zlib-dev openssl-devel sqlite-devel bzip2-develwget https://www.python.org/ftp/python/3.5.2/Python-3.5.2.tar.xztar -xvf Python-3.5.2

2016-09-03 13:55:48 1417

原创 HDFS常用命令

HDFS常用命令 hadoop fs -mkdir /tmp/input 在HDFS上新建文件夹hadoop fs –put input1.txt /tmp/input 把本地文件input1.txt传到HDFS的/tmp/input目录hadoop fs –get input1.txt /tmp/

2016-06-26 20:10:22 569

原创 spark：scala读取mysql的4种方法

spark：scala读取mysql的4种方法1. 引入mysql的驱动包到/usr/local/spark/spark-1.6.0-bin-hadoop2.6/lib/hbase（目录根据配置而不同）mysql-connector-java-5.1.7-bin.jar并在mysql创建表stock:CREATE TABLE `stock` ( `id` dec

2016-06-26 20:07:10 19975 1

原创 spark: scala实现worldcount

spark: scala实现worldcount1. 首先创建hdfs目录在master节点（OPENFIRE-DEV）上创建hdfs目录，创建步骤如下：//创建hdfs目录，普通目录是读取不到文件hdfs dfs -mkdir /alidata #将要统计单词的文件拷贝到hdfs目录中hadoop fs -put /usr/local/hado

2016-06-26 19:52:14 3259

原创 CentOS安装PostgreSQL数据库

CentOS安装PostgreSQL数据库1. 安装PostgreSQL1) 解压linux-postgresql-9.4.1.tar.bz2bzip2 -d linux-postgresql-9.4.1.tar.bz2tar -xf linux-postgresql-9.4.1.tar2) 进入解压后的postgresql-9.4.1目录cd postgresq

2015-06-05 19:41:33 1919

原创 Postgres-XL集群的搭建和测试详解

Postgres-XL集群的搭建和测试详解CentOS6.5 192.168.0.101CentOS6.5 192.168.0.102CentOS6.5 192.168.0.103CentOS6.5 192.168.0.104一、主机规划 cnode1 (gtm)cnode2 (gtm_proxy,coordinator,datanode)cnode3 (gtm_pr

2015-06-05 19:24:07 11511 1

原创 PGPool集群的搭建和测试

PGPool集群的搭建和测试CentOS6.5 192.168.0.101 cnode1 //pgpool1，datanode1CentOS6.5 192.168.0.102 cnode1 //pgpool2，datanode2CentOS6.5 192.168.0.103 cnode1 //datanode3一、主机规划 cnode1 (pgpool1

2015-06-05 19:20:26 4276

原创 Linux: centos软件包管理的3种方式

Linux: centos软件包管理的3种方式centos软件管理的方式大概有3种：(1).通过rpm管理软件包；(2).通过yum管理软件包；(3).手动管理软件包。前言软件包管理器的核心功能： (1).制作软件包； (2).安装，卸载，升级，查询，校验。 rpm包是由发布人定制

2015-05-30 23:14:51 3490

原创 Json转换工具类

Json转换工具类=============package com.util;import java.beans.IntrospectionException;import java.beans.Introspector;import java.beans.PropertyDescriptor;import java.util.List;public class

2015-05-14 17:27:26 702

原创 Java实现数据库连接池例子

Java实现数据库连接池例子======================ConnectionPoolUtil.javapackage com.util;import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.IOException;import java.io

2015-05-14 17:21:18 2247

原创 Java发送邮件例子

Java发送邮件例子MailUtil.javapackage com.util;import javax.mail.*;import javax.mail.internet.*;import java.util.*;import java.util.logging.Level;import java.util.logging.Logger;import java

2015-05-14 17:16:27 513

原创 JavaScript实现异步调用例子

JavaScript实现异步调用例子======================js部分：var url = "/servlet/AjaxCheckCallListServlet?assignCallIdList="+assignCallIdStr; var checkResult = ""; $.ajax({ async : false, //false表示同步，true表

2015-05-13 17:38:55 689

原创 Technology Note

总结：====1.查看某个表的索引------------------select * from user_ind_columns where table_name = upper('agent_master') // agent_master为表名创建主键：ALTER TABLE QC_MASTER ADD PRIMARY KEY (AGENT_CODE);

2015-05-13 17:22:22 688

原创死锁的产生与预防

死锁的产生与预防=================1. 产生死锁的原因主要是：（1）因为系统资源不足。（2）进程运行推进的顺序不合适。（3）资源分配不当等。如果系统资源充足，进程的资源请求都能够得到满足，死锁出现的可能性就很低，否则2. 产生死锁的四个必要条件：（1）互斥条件：一个资源每次只能被一个进程使用。（2）请求与保持条件：一

2015-05-13 17:21:03 609

原创线程同步的2种方法

线程同步的2种方法==============同步的实现方式有两种，同步方法和同步块，这两种方式都要用到synchronized关键字。(1)同步方法给一个方法增加synchronized修饰符之后就可以使它成为同步方法，这个方法可以是静态方法和非静态方法，但是不能是抽象类的抽象方法，也不能是接口中的接口方法。下面代码是一个同步方法的示例：public

2015-05-13 17:14:10 776

原创 Java新建线程的3种方法

Java新建线程的3种方法===================Java创建线程有3种方法：(1)继承Thread;(2)实现Runnable接口；(3)实现Callable接口;由于Java只支持单继承，所以用继承的方式创建线程，比较死板，不够灵活；用实现接口的方式创建线程，可以实现多个接口，比较灵活。Runnable和Callable接口的区别：(1

2015-05-13 16:25:15 3314

原创 Tomcat: Tomcat系列之组件详解及服务安装配置

Tomcat系列之组件详解及服务安装配置Servlet是一种CGI技术，任何程序的修改都会重新编译。引进jsp, 是得java可以嵌套到html中，jasper可以将Jsp装成java，依赖servletcontainer。 Engine: 就是一个servlet container的实现，一个server可以有多个engine,所以必须有一个组件把server

2015-05-06 00:45:54 1305

原创 Tomcat: Tomcat系列之java技术详解

Tomcat系列之java技术详解Tomcat PHP: 开发语言：脚本语言运行环境：解释进行 ZendEngine: Opcode Xcache , APC, eAccelerator .JAVA ------>.class(bytecode)JV

2015-05-06 00:42:05 2753

转载 Nginx: Nginx反向代理、负载均衡、缓存、URL重写及读写分离

Nginx反向代理、负载均衡、缓存、URL重写及读写分离设计高性能网站的时候首页静态化，都是html格式，可能有些子版块是动态生成的，但也是缓存的。由于网站越来越复杂，网站需要分区，分成图片组，搜索组等等：Xcache: 缓存Nginx特性：mapevent-driver:一个进程响应多个请求，单线程进程aio LEMP:

2015-05-06 00:38:21 829

原创 Linux: 配置Ngnix作为Web Server详解

配置Ngnix作为Web Server详解IO模型：阻塞：当一个进程发起的IO请求不能得到满足的时候，必须等待至对方把响应数据准备好，内核必须从磁盘把数据复制到内核缓存区，再从内核缓冲区复制到进程缓冲区，在此期间进程必须处在等待。非阻塞：轮询查看数据是否准备好同步：对方必须接收完数据，才回复异步：把二进制数据发送出去即可，从硬件的角度看，不同同步时钟信号同步阻塞

2015-05-05 00:02:32 1690

原创 Linux: Linux根文件系统详解(1).avi

Linux: Linux根文件系统详解(1).aviWindows：PE，可执行的连接的源文件Linux： ELF，可执行的连接的源文件文件系统：FHS:：Linux文件系统标准(1)/：rootfs根文件系统(2)/boot：系统启动相关的文件，如内核，initrd, 以及grub(bootloader)(3)/dev：设备文件系统，背景是黑色文字

2015-05-03 23:34:41 548

原创 Linux: Linux操作系统及常用命令

Linux操作系统及常用命令====================一、Linux操作系统开发一个操作系统，只需要提供内核，提供软件，如果软件需要库，提供库即可，最关键的应用程序是shell。(1)Bash需要1M(2)库需要1M(3)内核需要 2M所以，一个最小的linux可以为4m就可跑起来，最不过功能比较少。Linux的关键功能：

2015-05-03 23:13:33 567

原创 Axis: rt.jar和jaxrpc中javax.xml.namespace.QName冲突问题分析

Axis: rt.jar和jaxrpc中javax.xml.namespace.QName冲突问题分析================================================= 在项目中，已经加入了axis依赖包，原有的功能调用了axis开发web services，其中需要用到axis的依赖jar包jaxrpc.jar。另一个同事，在该项目中添加新的功

2015-04-30 16:31:32 9033

原创 Axis2: 复杂数据类型传输

Axis2: 复杂数据类型传输1.开发一个web services(1)新建一个java project，目录结构如下:IDataForm.javapackage service;public interface IDataForm { public String getName();}DataForm.javapackag

2015-04-28 23:36:58 5908 1

原创集群：集群基础概念

集群：集群基础概念搭建一个论坛，用LAMP,http, web object没有用长连接，是无状态的200个请求，其中有50个请求是动态的Apache工作在prefork模型，每一个进程占用2m内存每一个动态的进程占用的内存是10M资源占用计算：500M+150*2m = 800M随着用户的增加，增加到1000个用户，假如这个1000请求里面里面，有

2015-04-28 00:12:45 798

转载 JVM垃圾收集器使用调查：CMS最受欢迎

JVM垃圾收集器使用调查：CMS最受欢迎转载自：http://www.youkuaiyun.com/article/2013-11-29/2817660-study-ablout-jvm-garbage-cooolector摘要：近日，Plumbr公司对特定垃圾收集器使用情况进行了一次调查研究，研究数据使用了84936个案例。在明确指定垃圾收集器的13%的案例中，并发收集器（CMS）使用次数最多；

2015-04-27 00:58:24 505

原创 Redis: sentinel集群的搭建和测试

Sentinel集群的搭建和测试1.1 测试环境 master: 127.0.0.16379 slave1: 127.0.0.1 6380 slave2: 127.0.0.1 6381 master-sentinel: 127.0.0.1 26379 slave1-sentinel: 127.0.0.1 26380

2015-04-27 00:25:05 4736 4

原创 Apache: http虚拟主机

apache: 服务器，Host, 物理主机如果一个很小的站点就占用一个物理主机的话，很浪费，所以可以把物理主机虚拟成多个虚拟主机，服务多个不同的站点Apache：中心主机虚拟主机 IP, 80(1) 基于IP每一个虚拟主机使用一个IP地址(2) 基于端口IP地址只有一个，但端口不一样但客户不知使用的端口，一般很少用(3) 基于域名

2015-04-27 00:20:28 734

原创 Apache: Http的属性配置

###Section2:’Main’ server configuration – 主服务器###Section3:Virtual Hosts—虚拟主机2和3只能有一个生效。###Section2:’Main’ server configuration，表示只提供一个web服务器，不提供虚拟主机###Section3:Virtual Hosts—虚拟主机，表示禁用main serv

2015-04-27 00:19:42 561

转载 Apache: Httpd安装与配置

Apache 17年A Patchy Server = apache 一个充满补丁的服务器FSF:GNU, GFLASF: Apache Software FoundationWeb： httpd Tomcat HadoopHTTPD:2.2, 2.4,2.0配置有着巨大的差别Httpd特性：1.事先创建进程；请求来了，就分配以创

2015-04-27 00:19:13 1150

原创 TCPIP: Web服务器和HTTP协议

HTTP: HyperText Transfer Protocal: 超文本传输协议带超链接Web: http/0.9:仅支持纯文本（超链接），ASCII html: HyperTextMark Language,编写超文本的语言如：TitleBrowser: 客户端1.1.1.1： web, a.html2.2.2.2: web,a.html

2015-04-25 02:37:06 1743

原创 TCPIP: DNS服务相关概念详解

19_01_DNS服务相关概念详解DNS域名解析：BIND;Berkeley Internet Name DomainHTTP: Apache, LAMP, Nginx(EngineX),LNMP(lemp),MySQL,PHPVarnish(缓存)CDN:内容分发网络File Server: NFS, SMB/CIFS,FTPNetfilter:iptab

2015-04-24 00:39:12 937

原创 TCPIP: 主机接入网络

主机网络配置：IPNETMASKGATEWAYDNS1：DNS2：第一个不在线的时候，才用DNS2路由信息获取IP方式：手动指定，DHCP:HostConfiguration Protocol如果DHCP，会随机配置一个私有地址。对Linux，网络属于内核，地址属于内核，不属于网卡。因此无论网卡配置在那个网卡上，主要IP配置该主机上，都能够ping得

2015-04-23 01:55:24 575

原创 TCPIP: 传输层

令牌环网和以太网之间怎么通信？他们的网卡，连接介质可能都不一样，这时路由器就产生作用，在IP层，将这2个网络拟合起来。TCP: Transmission Control Protocal可靠的传输，但效率较低UDP:User Datagram Protocol已经知道对方存在，往外即可QQ用的是UDP，靠服务层的应用协议确保报文传输的。互联网上大多数的应用都

2015-04-23 01:52:24 961

原创 TCPIP: IP报头

IP version(4 bits): IPv4,或者IPv6Hdr Len(4 bits): 首部长度，包括可选段，可选段=首部长度-20bytes标记的是行数，不是字节数，2的4次-1=15行，一行4个字节Type of Service(TOS)(8 bits): 服务优先级，优先级高，能加快传输速度Total Length(16 bits): 整个IP报文的长度，包括头部和数

2015-04-22 00:54:57 1007

原创 TCPIP: IPv4分类

IP地址：点分十进制：0000 - 0000 – 1111 – 11110-255IP地址=网络地址+主机地址(1)IP地址分类A类：只有第一段表示网络地址，掩码255.0.0.00 000 0001 – 0 111 1111 共127个A类地址127是回环地址，浪费掉了，有效地址1-126，2的7次方-1个0开头容纳多少个主机：2的24次方-2主机位全

2015-04-22 00:51:27 541

原创 Linux: 操作系统

Linux: 操作系统=========计算机本身就是一堆硬件，最核心就是CPU和存储器设备，为了能够计算机获得数据，有输入设备和输出设备，输入输出设备通过南桥（北桥接入cache）接入系统的，彼此之间还有总线，比如内存到CPU的叫系统总线，各种键盘，鼠标需要的总线也是不一样的。为了进可能利用计算机的资源，需要一个协调器，叫操作系统。操作系统的内核负责管理硬

2015-04-20 21:58:07 514

原创 Linux（1）: 用户及权限详解

Linux（1）: 用户及权限详解=====================Linux的层次：进程（应用程序）库内核硬件一、前言在Linux中一切皆文件，文件有3中权限：（1）文件属主；（2）文件属组；（3）其它用户的访问权限。文件：r: 可读，可以使用类似cat等命令查看文

2015-04-15 00:01:55 579

58同城推荐系统设计与实现

网易离线数据分析平台实践

Web Service开发和测试

空空如也