ywq20011-优快云博客

翻译 Starting the Hive Metastore in CDH

Cloudera 推荐that you 部署the Hive metastore, which stores the 元数据 for Hive 表和分区, in "远程模式." In this mode the metastore service runs in 自己的 JVM 进程，其他服务比如 HiveServer2, HCatalog, and Apache Impala (incuba

2017-09-15 17:31:44 289

翻译 Configuring HiveServer2 for CDH

使用hiveserver2之间你必须做如下的配置变动，配置如果失败将产生不可预料的行为。Warning: HiveServer1 is deprecated in CDH 5.3, and will be removed in a future release of CDH. Users of HiveServer1 should upgrade to HiveServer2 as

2017-09-15 17:19:57 601

翻译 Configuring the Hive Metastore for CDH

The Hive 元数据存储服务存储the 元数据for Hive 表and 分区in a 关系型数据库， and provides clients (including Hive) 访问这些信息 using themetastore service API. This page explains deployment options and provides 指导for setting u

2017-09-15 16:32:28 602

翻译 Cloudera Manager 5 Overview

cloudera manager是一个end-to-end的应用，用于管理CDH集群。Cloudera Manager is an end-to-end application for managing CDH clusters. Cloudera Manager 为应用部署设置标准 by delivering granular visibility into and 控制CDH集群的每一

2017-09-15 12:25:37 448

转载 nginx反向代理若干指令

proxy_passproxy_hide_header 隐藏一些headerproxy_pass_header 一些被代理服务器的header信息不会被发送出去（Date,Server,X-Accel），如果想发送，可以使用这个指令进行设置。proxy_pass_request_body 是否将客户端请求的请求体发送给代理服务器，on or off

2017-09-13 10:03:54 352

转载 nginx反向代理之proxy_pass指令

该指令用来设置被代理服务器的地址，可以是主机名称、IP地址加端口号的形式。proxy_pass URL其中，URL为要设置的被代理服务器的地址，包括传输协议、主机名称或IP地址加端口号、URI等要素如果被代理服务器是一组服务器的话，可以使用upstream指令配置后端服务器组。例如：upstream proxy_svrs{server http://192.168.1.1:80

2017-09-12 15:36:48 1798

转载 nginx由ngx_http_gzip_module模块处理的9个指令

ngx_http_gzip_module模块主要负责Gzip功能的开启和设置，对响应数据进行在线实时压缩。该模块包含以下主要指令。1.gzip指令该指令用于开启或者关闭Gzip功能，语法结构为：gzip on | off ; 默认情况下，该指令设置成off，即不启用Gzip功能。只有将该指令设置为on时，下列各指令设置才有效。2.gzip_buffers指令该指令用于设置G

2017-09-11 21:43:55 428

转载 Nginx服务器的进程

Nginx服务器的三大类进程：一、主进程Nginx服务器启动时运行的主要进程。它的主要功能是与外界通信和对内部其他进程进行管理，具体来说有以下几点：1。读取Nginx配置文件并验证其有效性和正确性。2.建立、绑定和关闭socket3.按照配置生成、管理和结束工作进程4.接收外界指令，比如重启‘、升级及退出服务器等指令。5.不中断服务，实现平滑重启，应用新配置。6.

2017-09-11 21:00:18 413

实际上，事件驱动并不是计算机编程领域的专业词汇，他是一种比较古老的响应事件的模型，在计算机编程，公共关系，经济活动等领域有着广泛的运用。顾名思义，事件驱动就是在持续事务管理过程中，由当前时间点上出现的事件引发的调动可用资源执行相关任务，解决不断出现的问题，防止事务堆积的一种策略。在计算机编程领域，事件驱动模型对应一种程序设计方式，Event-Driven programming,即事件驱动程序设计

2017-09-11 13:35:05 1154

转载 Nginx服务器如何处理请求

Nginx服务器的一个显著优势是能够同时处理大量并发请求。它结合多进程机制和异步机制对外提供服务。异步机制使用的是异步非阻塞方式。Nginx服务器启动后，可以产生一个主进程（master process）和多个工作进程（worker processes）,其中可以在配置文件中指定产生的工作进程数量。Nginx服务器的所有工作线程都用于接收和处理客户端的请求。每个工作进程使用异步非阻塞方式，

2017-09-11 13:03:18 393

转载 web服务器和客户端完成并行处理请求三大方式

从设计架构上来说，Nginx服务器是与众不同的。不同之处一方面提现在它的模块化设计，另一方面，也是更重要的一方面。体现在它对客户端请求的处理机制上。Web服务器和客户端是一对多的关系，Web服务器必须有能力同时对多个客户端提供服务。一般来说，完成并行处理请求工作有三种方式：多进程方式、多线程方式和异步方式。多进程方式服务器每当接收到一个客户端时，就由服务器主进程生成一个子进程出来和该客

2017-09-11 10:59:40 3556

转载 Nginx服务器架构初探---模块化设计

什么是模块化设计？“没有统一的定义”。在20世纪50年代，欧美一些国家正式提出“模块化设计”的概念，把模块化设计提高到理论高度来研究，。目前，模块化设计的思想已经渗透到很多领域。在计算机领域，针对程序设计，常见的说法是把“模块化设计”定义为“以功能块为单位进行程序设计，实现其求解算法的方法”。从这个一般提法中，我们可以看到几层意思。第一，“功能块”是对模块的描述，一个模块就是一个功能，应该

2017-09-10 22:00:29 474

转载 Nginx服务器基础配置实例nginx.conf

nginx.conf###全局块开始###user nobody nobody;worker_processes 3;error_log logs/error/log;pid nginx.pid;###全局块结束######events块开始######http块开始###http{include mime.types;default_type

2017-09-10 21:42:39 291

转载基于IP配置Nginx的访问权限-

Nginx配置通过两种途径支持基本访问权限的控制，其中一种是由HTTP标准模块ngx_http_access_module支持的，其通过IP判断客户端是否拥有对Nginx的访问权限，这里有两个指令需要我们学习。allow指令，用于设置允许访问Nginx的客户端IP，语法结构为：allow address | CIDR | all;address : 允许访问的客户端IP，不支持同时设置

2017-09-10 21:25:27 589

转载 nginx-配置location块

在Nginx官方文档中定义的location的语法结构为：location [= | ~ | ~* | ^~ ] uri {...}其中，uri变量是待匹配的请求字符串，可以是不含正则表达的字符串，如/myserver.php等，也可以使包含正则表达式的字符串，\.php$.方括号里的是可选项，用来改变请求字符串与uri的匹配方式，在不添加此选项时，Nginx服务器首先在server

2017-09-10 19:15:30 389

转载 nginx-基于IP的虚拟主机配置

Linux操作系统支持IP别名的添加。配置基于IP的虚拟主机，即为Nginx服务器提供的每台虚拟主机配置一个不同的IP，因此需要将网卡设置成能够同时监听多个IP地址。在Linux平台可以使用ifconfig工具为同一块网卡添加多个IP别名。eth1为使用中的网卡，设其IP值为192.168.1.3。现在需要为eth1添加两个ip别名192.168.1.31 192.168.1.

2017-09-10 18:45:05 598

转载 nginx-基于名称的虚拟主机配置

这里的“主机”，就是指此server块对外提供的虚拟主机。设置了主机的名称并配置好DNS，用户就可以使用这个名称向此虚拟主机发送请求了。配置主机名称的指令为server_name,其语法结构为：server_name name ...;对于name来说，可以只有一个名称，也可以由多个名称并列，之间用空格隔开。每个名字就是一个域名，由两段或三段组成，之间由“.”隔开。下面是一个简单的

2017-09-10 18:29:14 467

转载 nginx-配置网络监听

配置监听使用指令listen,其配置方法主要有三种，我们先分别介绍三种配置的语法结构，然后统一介绍涉及的相关变量和标识符。第一种：配置监听的IP地址第二种：配置监听端口第三种：配置Unix domain socketlisten *:80 | *:8000 监听所有80和8000端口listen 192.168.1.10 监听具

2017-09-10 18:21:55 2493

转载 nginx - 配置连接超时时间

与用户建立会话连接后，Nginx服务器可以保持这些连接打开一段时间，指令keepalive_timeout就是用来设置此时间的。其语法结构为：keepalive_timeout timeout [header_timeout] timeout: 服务器端对连接的保持时间。默认值为75sheader_timeout : 可选项，在response应答报文头部的Keep-Alive域设

2017-09-10 18:19:05 4367

转载 nginx-设置网络连接的序列化

“惊群”，大致意思是，当某一时刻只有一个网络连接到来时，多个睡眠进程会被同时叫醒，但只有一个进程能够获得连接。如果每次唤醒的进程数目太多，会影响部分系统性能。在Nginx服务器多进程下，就有可能出现这样的问题。为了解决这个问题，Nginx配置中包含这样一条指令accept_mutex，当其设置为开启的时候，将会对多个nginx进程接收的连接进行序列化，防止多个进程对连接的争

2017-09-10 18:09:19 639

转载 nginx-配置文件的引入

在一些情况下，我们可能需要将其他的Nginx配置或者第三方的配置应用到当前的主配置文件中。Nginx提供了include指令来完成配置文件的引入，其语法结构为：include file其中file是要引入的配置文件，它支持相对路径。注意：新引用进来的文件同样要求运行Nginx进程的用户对其具有写权限，并且符合Nginx配置文件规定的相关语法和结构。此

2017-09-10 17:59:43 2647

转载 niginx.conf文件的结构说明

........ #全局块events{ #event块...}http{ #http块... #http全局块server{ #server块.. #server全局块location[pattern]{ #location块...}location[pattern]{#location块...}}ser

2017-09-10 17:04:59 263

转载挂载目录到数据库docker容器

默认情况数据库的数据库文件和日志文件都会存在容器的AUFS文件层，这不仅会使得容器变得越来越臃肿，不便于迁移、备份等管理，而数据库的性能也会受到影响。因此，建议挂载本地主机的目录到容器内，例如：docker run -d -P -v /opt/mysqldb:/var/lib/mysql mysql

2017-09-10 15:52:09 461

原创 tar命令

解压：tar -xzvf xxxx.tar.gzx:表示解压v:表示解压过程中显示解压的文件f:使用文件名，参数后要紧跟着要解压的文件名称。压缩tar -czvf xxx.tar.gz /etcc:表示压缩。z:是否需要gzip压缩

2017-09-08 20:06:39 199

ywq20011的博客