zhuangxingzan的专栏

原创 大数据的开源工具

8个指标：AvgDeep 平均访问深度，深度值越高越好海量数据存储问题 Hadoop.HDFS,S3亚马逊 海量数据收集加工（清洗） flume+log4j 分析平台： 离线分析平台 Hadoop.MapReduce（基于破网络破机器，基于文件） 实时分析平台 Spark（内存，机器学习，吞吐量大）/Storm（流，速度最快） 从看似无用的海量数据中提炼出...

原创 一个Dockerfile的范例说明

Dockerfile：FROM index.alauda.cn/tutum/centos:6.5#install jdk1.7ADD jdk-7u51-linux-x64.tar.gz /usr/local/srcENV JAVA_HOME=/usr/local/src/jdk1.7.0_51ENV PATH=$JAVA_HOME/bin:$PATHENV CLASSPAT...

原创 Docker常见错误解决方式

1、docker创建新容器时，可能发生如下错误这个错误有时出现有时不出现解决办法：pkill dockeriptables -t nat -Fsystemctl restart docker

原创 JSOUP实现网页爬取实现范例

JSOUP介绍JSOUP介绍概念说明:JSOUP是java操作Html的工具包,操作类似于jQuery(#id, element, .class)入门案例获取静态数据页面分析入门案例/*** 1.爬取静态页面数据 获取页面标题* 2.定位目标网站的页面* 3.定位页面的元素内容...

原创 Durid数据库链接工具使用的一个范例

Durid数据库链接工具Durid介绍Druid 是目前比较流行的高性能的，分布式列存储的OLAP框架(具体来说是MOLAP)。它有如下几个特点：一. 亚秒级查询 druid提供了快速的聚合能力以及亚秒级的OLAP查询能力，多租户的设计，是面向用户分析应用的理想方式。二.实时数据注入 druid支持流数据的注入，并提供了数据的事件驱动，保证在实时和离线...

原创 企业级大数据全文快速检索范例（solr IK分词器 jsoup爬虫技术）

全文检索全文种类检索的示意图正向查询说明:将全部的数据进行检索.需要的数据一个一个的对比.知道查找成功.缺点:这样的检索速度会很慢特点:需要一个一个的循环遍历.直到找到数据倒排索引说明:索引的出现,可以大大提高检索的效率.先查询商品的索引关键字.之后将商品信息直接返回.这种方式叫做倒排索引Lucene介绍...

原创 RabbitMQ Spring配置实现范例

RabbitMQ项目搭建RabbitMQ引入工作过程说明:早期:通过tb-order直接将订单信息写入数据库中.现在:首先将order信息写入RabbitMQ消息队列中.再由消费者jt-rabbitMQ负责将Order信息存入数据库.实现了数据入库的异步操作.构建生产者引入配置文件说明:修改rabbitMQ的IP地址,关闭Linux系统的防...

原创 RabbitMQ的搭建和简单使用

业务需求传统设计的需求说明:如果遇到双11这样的节日,对于数据库的写库的能力是一个非常大的考验.如果面临12万/秒 传统的Mysql肯定不能应对.矛盾点:用户的写入的操作必须现在完成,不能等待.否则必须报连接超时了.解决方法:采用队列的机制,将用户的写库请求发往队列中.mysql处理从队列中获取数据并且执行.说明:当引入了消息队列的机...

原创 ZooKeeper集群搭建

作用:动态的关联注册信息要求:至少搭建3台1.克隆虚拟机:2.固定IP地址:3.配置JDK环境1.编辑文件.go 命令执行文件中的命令,跳转到执行目录下2.由于/etc/profile中的java代码已经配置完成,只需要按照指定的文件目录解压jdk即可解压jdk文件:3.查看jd...

原创 通过Mybatis实现关联查询的一个mapper范例

<?xml version="1.0" encoding="UTF-8" ?><!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd"><!--保留一个空的映射文件 ,满足mybatis的要求 -...

原创 JSONP的一个简单使用范例

数据分析说明:根据页面的分析商品分类信息最外层使用List集合进行包裹,名称为DataList[0][1][2] 一级菜单中的使用u:url n:name i:List[二级菜单]{u:xx,n:xx,i:xx} 二级菜单中使用u:url n:name i:List[三级菜单]{u:xx,n:xx,i:xx} 三级菜单 List<String&gt...

转载 【转】前端解决跨域问题的8种方案（最新最全）

1.同源策略如下：URL 说明 是否允许通信 http://www.a.com/a.js http://www.a.com/b.js 同一域名下 允许 http://www.a.com/lab/a.js http://www.a.com/script/b.js 同一域名下不同文件夹 允许 http://www.a.com:8000/a...

原创 Mycat配置读写分离：server.xml和shema.xml配置参数含义说明

schema.xml:<?xml version="1.0"?><!DOCTYPE mycat:schema SYSTEM "schema.dtd"><mycat:schema xmlns:mycat="http://io.mycat/"> <schema name="jtdb" checkSQLschema="false" sqlMaxLi...

转载 [转]Mysql基于Amoeba_读写分离搭架

一、Amoeba简介Amoeba是一个以MySQL为底层数据存储，并对应用提供MySQL协议接口的proxy。它集中地响应应用的请求，依据用户事先设置的规则，将SQL请求发送到特定的数据库上执行。基于此可以实现负载均衡、读写分离、高可用性等需求，Amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。需要结合使用MySQL的 Replic...

转载 【转载】修改CentOS默认yum源为国内镜像

国内主要开源的开源镜像站点应该是网易和阿里云了。修改为163yum源-mirrors.163.com1、首先备份系统自带yum源配置文件/etc/yum.repos.d/CentOS-Base.repo[root@localhost~]#mv/etc/yum.repos.d/CentOS-Base.repo/etc/yum.repos.d/CentOS-Base.repo.ba...

原创 数据库的高可用HA

一、问题数据库如果想实现高可用的性能.需要解决以下的问题：多个数据库如何实现数据同步. 用户如何选择链接哪个数据库 如果数据库宕机,如何实现高可用 如果数据库宕机,宕机后的数据如何实现数据同步二、解决思路：说明:经过架构的优化,让服务器将来不会直接连接真实的数据库.而是链接代理数据库.在代理数据库中进行相应的配置,实现读和写的分离.进一步提高数据库的性能.三、解决...

原创 CentOS-7-x86_64下Tomcat7的安装及配置

一、安装前准备安装Tomcat需要提供JDK支持：下载JDK安装包： jdk-7u51-linux-x64.tar.gz（自行下载）解压安装包（解压包假设放在/usr/local目录，解压后放在/usr/local/java目录）：tar -zxvf /usr/local/jdk-7u51-linux-x64.tar.gz -C /usr/local/java设置（全局）环境...

转载 [转载]Nginx负载均衡的详细配置及使用案例详解.

文章目录一、什么是负载均衡 二、 负载均衡策略 1、轮询（默认） 2、权重 weight 3、ip_hash（ IP绑定） 4、fair（第三方插件） 5、url_hash（第三方插件） 三、参数说明 四、配置实例： 五、Keepalived配置一、什么是负载均衡当一台服务器的单位时间内的访问量越大时，服务器压力就越大，大到超过自身承受能力时，服...

原创 SpringMVC实现文件上传的范例【结合KindEditor】

实现的思路：判断是否为图片的类型(jpg|png|gif) 判断是否为恶意的程序 准备本地磁盘路径用来保存图片信息 file:///C:/Users/LYJ/Pictures/Saved%20Pictures/%E6%89%8B%E6%9C%BA/5a0aa9abNde6ea381.jpg准备网络的请求路径(虚拟路径) https://img10.360buy...

转载 [转载]SpringMVC文件上传的配置

记述一下步骤以备查。准备工作：需要把Jakarta Commons FileUpload及Jakarta Commons io的包放lib里。我这边的包是：commons-fileupload-1.1.1.jarcommons-io-1.3.2.jar然后在spring-servlet.xml进行multipartResolver配置，不配置好上传会不好用。 ...

转载 深入了解 JPA

转载自：http://www.cnblogs.com/crawl/p/7703679.html前言：谈起操作数据库，大致可以分为几个阶段：首先是 JDBC 阶段，初学 JDBC 可能会使用原生的 JDBC 的 API，再然后可能会使用数据库连接池，比如：c3p0、dbcp，还有一些第三方工具，比如 dbutils 等，LZ为 JDBC 是贯穿始终的，即使到了框架部分，也会对 JDBC 进行整合...

原创 SSM配置的架构流程图

转载 【转载】Spring MVC中的拦截器/过滤器HandlerInterceptorAdapter的使用

转载自https://www.cnblogs.com/EasonJim/p/7704740.html一般情况下，对来自浏览器的请求的拦截，是利用Filter实现的而在Spring中，基于Filter这种方式可以实现Bean预处理、后处理。比如注入FilterRegistrationBean，然后在这个Bean上传递自己继承Filter实现的自定义Filter进入即可。而Spring...

转载 【转载】详解Spring框架AOP(面向切面编程)

最近在学习AOP,之前一直很不明白，什么是AOP？为什么要使用AOP，它有什么作用？学完之后有一点小小的感触和自己的理解，所以在这里呢就跟大家一起分享一下AOP(Aspect-OrientedProgramming)其实是OOP(Object-OrientedPrograming)思想的补充和完善。我们知道，OOP引进"抽象"、"封装"、"继承"、"多态"等概念,对万事万物进行抽象和封装...

原创 权限管理&Shiro安全框架

权限管理简介权限管理概述 权限管理属于系统安全的范畴，是实现对用户访问系统的控制，可以按照安全规则或者安全策略控制用户可以访问而且只能访问自己被授权的资源。 权限管理包括用户身份认证和授权两部分，简称认证授权。对于需要访问控制的资源用户首先经过身份认证，认证通过后用户具有该资源的访问权限方可访问。用户身份认证 认证概述： 身份认证，就是判断一个用户是否为合法用户...

原创 在Spring MVC中使用bootstrap JQuery实现的TreeGrid 范例

1、服务端设计及实现1.1创建表sys_menus:CREATE TABLE `sys_menus` (`id` int(11) NOT NULL AUTO_INCREMENT,`name` varchar(50) DEFAULT NULL COMMENT '资源名称',`url` varchar(200) DEFAULT NULL COMMENT '资源URL'...

转载 [转载]Shiro框架使用入门

Shiro简介SpringMVC整合Shiro，Shiro是一个强大易用的Java安全框架,提供了认证、授权、加密和会话管理等功能。Authentication：身份认证/登录，验证用户是不是拥有相应的身份；Authorization：授权，即权限验证，验证某个已认证的用户是否拥有某个权限；即判断用户是否能做事情，常见的如：验证某个用户是否拥有某个角色。或者细粒度的验证某个...

转载 【转载】MyBatis的动态SQL语句

目录1、动态SQL:if 语句 2、动态SQL:if+where语句 3、动态SQL:if+set 语句 4、动态SQL:choose(when,otherwise) 语句 5、动态SQL:trim 语句 6、动态SQL: SQL 片段 7、动态SQL: foreach 语句 8、总结　　前面几篇博客我们通过实例讲解了用mybatis对一张表进行的CRUD操作，但是我们...

转载 【转载】Spring MVC异常统一处理的三种方式

目录使用 @ ExceptionHandler 注解 实现 HandlerExceptionResolver 接口 使用 @ControllerAdvice+ @ ExceptionHandler 注解 参考资料正文Spring常用统一异常处理的基本步骤： 1、定义一个异常类，例如ServiceException处理业务层异常（该类继承RunTimeExceptio...

原创 在不联网情况下，配置Eclipse的编码提示

转载 [转载]存淘汰算法--LRU算法

1.LRU1.1.原理LRU（Leastrecentlyused，最近最少使用）算法根据数据的历史访问记录来进行淘汰数据，其核心思想是“如果数据最近被访问过，那么将来被访问的几率也更高”。1.2.实现最常见的实现是使用一个链表保存缓存数据，详细算法实现如下：1.新数据插入到链表头部；2.每当缓存命中（即缓存数据被访问），则将数据移到链表头部；3.当链表...

转载 [转载]Maven——快速入门手册

目录前言：目录：安装配置maven环境maven目录结构HelloMaven常用构建命令使用archetype插件自动建立目录坐标&仓库生命周期&插件的使用pom.xml常用标签介绍maven依赖（范围、传递、冲突）聚合&继承构建规范目录的web项目构建非规范目录的web项目构建web项目中使用tomcat插件正文：　　1.安装配置maven环境　2.maven目录结...

转载 【转载】代理模式（Proxy）

一、代理模式介绍代理模式：为其他对象提供一种代理以便控制对这个对象的访问。可以详细控制访问某个类（对象）的方法，在调用这个方法前作的前置处理（统一的流程代码放到代理中处理）。调用这个方法后做后置处理。例如：明星的经纪人，租房的中介等等都是代理代理模式分类：1.静态代理（静态定义代理类，我们自己静态定义的代理类。比如我们自己定义一个明星的经纪人类）2.动态代理（通过程序动态...

转载 [转载]Sping注解注入 @Autowired @Resource @Qualifier的区别

参考博文：http://www.cnblogs.com/happyyang/articles/3553687.htmlhttp://blog.youkuaiyun.com/revent/article/details/49203619http://blog.youkuaiyun.com/ad921012/article/details/49679745spring不但支持自己定义的@Autowired注解...

原创 JAVA学习-Spring MVC

原创 【转载】c3p0，dbcp与druid 三大数据库连接池的区别

　说到druid，这个是在开源中国开源项目中看到的，说是比较好的数据连接池。于是乎就看看。扯淡就到这。　　下面就讲讲用的比较多的数据库连接池。（其实我最先接触的是dbcp这个）　1）DBCP　　DBCP是一个依赖Jakarta commons-pool对象池机制的数据库连接池.DBCP可以直接的在应用程序中使用，Tomcat的数据源使用的就是DBCP。　2）c3p0　　c3p0...

转载 [转载]Windows 下 MariaDB (zip 免安装) 的手动安装与使用

介绍MariaDB数据库管理系统是MySQL的一个分支，主要由开源社区在维护，采用GPL授权许可。开发这个分支的原因之一是：甲骨文公司收购了MySQL后，有将MySQL闭源的潜在风险，因此社区采用分支的方式来避开这个风险。MariaDB的目的是完全兼容MySQL，包括API和命令行，使之能轻松成为MySQL的代替品。在存储引擎方面，10.0.9版起使用XtraDB（名称代号为Aria）来...

转载 [转载]servlet的转发与重定向

转发和重定向都能让浏览器获得另外一个URL所指向的资源，但两者的内部运行机制有着很大的区别。1、转发：有两种方式获得转发对象(RequestDispatcher)：一种是通过HttpServletRequest的getRequestDispatcher()方法获得，一种是通过ServletContext的getRequestDispatcher()方法获得；以前的request范围中存放的...

原创 tomcat8之前servlet的request对象参数的乱码处理方式

tomcat8之前默认是ISO8859-1,tomcat8及其以后，是UTF-8，这时get请求中的中文参数不需要再另行处理乱码问题了tomcat8之前乱码的解决方案：post：request.setCharacterEncoding("UTF-8");                                                get：new String(username...

转载 【转载】HTTP 头部详细解释

================================================告诉WEB服务器自己接受什么介质类型，*/* 表示任何类型，type/* 表示该类型下的所有子类型，type/sub-type。浏览器申明自己接收的字符集Accept-Encoding：浏览器申明自己接收的编码方法，通常指定压缩方法，是否支持压缩，支持什么压缩方法 （gzip，deflate...