ACanswer的专栏

前提假设： 数据仓库中订单历史表的刷新频率为一天，当天更新前一天的增量数据； 如果一个订单在一天内有多次状态变化，则只会记录最后一个状态的历史； 订单状态包括三个：创建、支付、完成 创建时间和修改时间只取到天，如果原订单表中没有状态修改时间，那么抽取增量就比较麻烦，需要有个机制来确保能抽取到每天的增量数据； 原系统中订单表结构为： CREATE TABLE orders ( orderid INT, createtime STRING, modified

本篇介绍lvs负载均衡器，并使用keepalived增强lvs的稳定性。目录一、负载均衡模型简介1.1 逻辑模型简介1.2 动态NAT模式实现1.3四层DR（直接路由）模式实现1.4 隧道（ip嵌套ip）模式实现1.5 隐藏VIP（对于后端服务器）的方法二、lvs原理三、lvs-DR模型实验3.1 实验环境介绍3.2实验步骤四、keepalive...

本篇介绍nginx，nginx的作用是反向代理和负载均衡。目录一、nginx简介二、nginx安装三、nginx配置3.1 在nginx上部署两个项目3.2 nginx负载均衡四、nginx负载均衡时session问题4.1 安装memcached4.2 配置监听地址4.3 tomcat服务器中添加jar包4.4 tomcat配置4.5 nginx...

该ha搭建是在hadoop全分布式基础上搭建，关于hadoop全分布式搭建可以参考另一篇hadoop3分布式环境基础搭建。目录一、高可用简介二、配置hadoop三、zookeeper安装及配置四、namenode节点信息同步五、zookeeper格式化、ha启动及测试一、高可用简介多个namenode，增加namenode增加可用性。ha角色分配如下NN...

本篇问hadoop3最基础搭建。目录一、hadoop简介二、hadoop3伪分布式搭建2.1 安装及配置2.2 启动2.3测试三、全分布式搭建3.1 node01安装及配置3.2 node02~node04配置3.3 启动3.3测试一、hadoop简介二、hadoop3伪分布式搭建在虚拟机上配置一台hadoop伪分布式环境（一台机器上...

本篇介绍myeclipse下测试hdfs的操作，本篇是在另一篇博文hadoop ha 高可用搭建的基础上搭建的。目录一、windows下环境配置二、location 连接测试三、hadoop hdfs api 测试一、windows下环境配置1）创建hadoop_home文件夹，在此为D:\Program Files\Hadoop；2）将hadoop-2.6.5.tar...

更新中...一、linux和高并发1.1 linux下软件简单安装点此链接1.2 linux下设置帮助文件为中文点此链接1.3 linux脚本编程基础点此链接1.4 网络编程——1、协议基础点此链接1.5 网络编程——2、通信基础点此链接1.6 网络编程——3、服务器基础点此链接1.7 LVS高并发与负载均衡点此链接1.8 nginx...

本篇介绍MapReduce wordcount简单实例，在此之前请搭建好hadoop ha高可用环境和myeclipse上hadoop api环境配置，如果没有请参考hadoop ha 高可用搭建和hadoop hdfs的api简单使用。目录一、总体架构二、配置hadoop环境三、wordcount实例编写一、总体架构总体结构如下表所示，即hadoop ha 之上添加了RS...