Jia的博客-优快云博客

原创 [Kafka] Apache Kafka 简介、集群搭建及配置详解

Apache Kafka 简介、集群搭建及配置详解前言kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。Kafka中相关名词producer：生产者。consumer：消费者。topic: 消...

2018-10-31 21:28:16 512

原创 [Hadoop] 简介及集群搭建

前言Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high ...

2018-08-09 10:22:17 526

原创 [Solr] Apache Solr 集群

前言SolrCloud是Solr提供的分布式搜索方案，当你需要大规模，容错，分布式索引和检索能力时使用 SolrCloud。当一个系统的索引数据量少的时候是不需要使用SolrCloud，当索引量很大，搜索请求并发很高，这时需要使用SolrCloud来满足这些需求。SolrCloud需要Solr基于Zookeeper部署，Zookeeper是一个集群管理软件，由于SolrCloud需要由多台...

2018-08-08 19:50:55 440

原创 [ActiveMQ] Apache ActiveMQ 集群

前言前文中已经详细介绍了MQ以及在Java中对MQ的使用，由于本次搭建MQ集群使用到了ZK集群，本人已将所有细节写到了另一文章，若有需要请查看如下。传送门 : [Zookeeper集群搭建] [ActiveMQ消息中间件的概念及安装][ActiveMQ在Java中的使用]环境搭建mkdir /usr/activemqtar -xzvf /root/apache-a...

2018-06-30 22:56:14 323

原创 [Zookeeper] Apache Zookeeper集群

前言ZooKeeper是源代码开放的分布式协调服务，由雅虎创建，是Google的开源实现。ZooKeeper是一个高性能的分布式数据一致性解决方案，他将那些复杂的、容易出错的分布式一致性服务封装起来，构成一个高效可靠的原语集，并提供一系列简单易用的接口给用户使用。准备工作准备三台机器安装JDK 1.8查看时间是否同步 (统一时间 date -s “2018-06-30 21...

2018-06-30 22:35:18 388

原创 [Jenkins]集成工具的使用

前言Jenkins是一个开源软件项目，是基于Java开发的一种持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件的持续集成变成可能。下面我们进入正题环境准备Jenkins 2.107.3SVNJDK 1.8Tomcat 7Maven 3.5注：用JDK 1.7 可能会发生Jenkins 404准备工作一、SVN...

2018-06-19 15:32:13 727

原创 [Redis] 部署Redis及集群、哨兵应用

[Redis] Linux系统安装Redis

2017-04-11 10:01:07 4068

原创 [CAS] 单点登录简介

前言单点登录简称为 SSO，是目前比较流行的企业业务整合的解决方案之一。SSO的定义是在多个应用系统中，用户只需要登录一次就可以访问所有相互信任的应用系统。我们目前的系统存在诸多子系统，而这些子系统是分别部署在不同的服务器中，那么使用传统方式的session是无法解决的，我们需要使用相关的单点登录技术来解决。SSO单点登录访问流程主要有以下步骤：访问服务：SSO客户端发送请求访问...

2018-09-02 20:14:44 1075

前言Spring Security是一个能够为基于Spring的企业应用系统提供声明式的安全访问控制解决方案的安全框架。它提供了一组可以在Spring应用上下文中配置的Bean，充分利用了Spring IoC，DI（控制反转Inversion of Control ,DI:Dependency Injection 依赖注入）和AOP（面向切面编程）功能，为应用系统提供声明式的安全访问控制功能，...

2018-08-17 00:17:19 789

原创 [Solr] Apache Solr 入门案例

前言在上文中我们已经详细介绍了 Solr 的部署，本文我们将介绍 Solr 在 Java 中的使用。上文传送门 : [Solr] Apache Solr 简介及使用[Solr] Apache Solr 集群环境准备索引库 schema.xml 配置文件&amp;amp;amp;lt;?xml version=&amp;amp;quot;1.0&amp;amp;quot; encoding=&amp;amp;qu

2018-08-10 20:12:24 739

原创 [Solr] Apache Solr 简介及使用

前言Solr是一个独立的企业级搜索应用服务器，它对外提供类似于Web-service的API接口。用户可以通过http请求，向搜索引擎服务器提交一定格式的XML文件，生成索引；也可以通过Http Get操作提出查找请求，并得到XML格式的返回结果。Solr下载到solr的官网进行下载:http://lucene.apache.org/ 下载历史版本的网址: http://archi...

2018-08-07 22:49:45 8147

原创 [mybatis]逆向工程

前言MyBatis逆向工程需要用到的就是MyBatis官方提供的MyBatis Generator(MBG)。MBG是MyBatis和iBATIS的代码生成器，它将为所有版本的MyBatis以及版本2.2.0之后的iBATIS版本生成代码。MBG对简单CRUD（增删改查）的大部分数据库操作产生重大影响。但是您仍然需要为连接查询或存储过程手动编写SQL和对象代码。准备工作本文中使用到的一...

2018-08-07 20:05:28 298

原创 [Lucene]搜索引擎简介

前言搜索引擎指的是通过一定的策略, 从互联网中获取到数据, 将这些数据保存到自己的服务器当中, 然后提供用户一个页面, 用来做查询的, 这个就被称为搜索引擎例如: 百度、谷歌原始数据库查询的弊端1) 当数据量很大的时候, 当用户输入一个内容的时候, 我们很难在很快的时间进行返回2) 原始的数据库中模糊查询, 只能进行首尾的匹配3) 当用户输入错误, 那么原始的数据库将会和用户...

2018-08-04 17:00:53 1262

原创 [Shell]备份MySQL数据库

创建备份脚本，并且自动删除十天以前的备份文件#!/bin/bash#备份数据库命令#mysqldump -hHadoop1 -P3306 -uroot -proot mydb>/tmp.sql#备份到此目录mysqldump_dir=/usr/data/mysql/dump/#查看mysql备份目录是否存在if test ! -e $mysqldump_dirthen ...

2018-06-30 23:21:28 883

原创 [Shell]备份日志文件至HDFS服务器

#!/bin/bash#存放日志的文件夹log_dir=/opt/user/log/log/#待上传的日志临时目录log_upload_dir=/opt/user/log/upload/#上传到HDFS的目录hadoop_log=/test/log/num=0#创建日志文件夹if [ ! -e $log_dir ]then mkdir -p $log_dirfi#创...

2018-06-30 23:14:42 372

原创 [Cookie]解决Cookie跨域访问

前言随着工程的不断扩大，要部署很多不同的服务，这其中就避免不了Cookie的跨域问题，如何实现Cookie在不同域之前实现传输，本文将详细描述。Cookie介绍1、path Cookie路径是由path设置，例如我们设置path为 / ，代表当前工程下的所有请求均可访问此Cookie，若path为 /test ，代表当前工程下 /test 下的请求才能访问此Cookie。 2、...

2018-06-22 16:49:03 15561

原创 [SVN]权限分配

前言在上文中我们提到了在MyEclipse中创建分支并合并，这次我们将对SVN进行权限分配注：在MyEclipse中创建分支并合并请点击 [SVN]在MyEclipse中创建分支并合并下面我们开始对SVN进行权限划分①进入SVN资源目录,修改conf里面的配置cd /var/svn/repository/pro_oa/conf②备份配置文件cp authz au...

2018-06-18 10:36:55 1203

原创 [SVN]在MyEclipse中创建分支并合并

前言在上文中我们提到了在MyEclipse中创建SVN工程，这次我们将开始创建分支。注：在MyEclipse中创建SVN工程请点击 [SVN]在MyEclipse中创建SVN工程六种SVN合并方式注：本文中主要介绍以上前两种合并方式①分支合并到主干右击主干trunk工程之后选择第二个选项(从分支合并到主干)，如下图下面选择要合并的分支路径...

2018-06-18 10:26:05 2222

原创 [SVN]在MyEclipse中创建SVN工程

前言在上文中我们提到了SVN在服务器的构建，今天我将带领大家在MyEclipse中创建SVN工程。注：SVN服务器搭建请点击: [SVN]版本控制工具搭建及使用①在MyEclipse中找到SVN资源库视图 ②新建资源库,连接SVN 连接成功后如下图所示③上传项目至SVN新建web工程 test_svn④忽略文件上传工程时,有些文件我们是不用上传...

2018-06-17 23:32:40 1279

原创 [SVN]版本控制工具搭建及使用

前言Apache Subversion 通常被缩写成 SVN，是一个开放源代码的版本控制系统，Subversion 在 2000 年由 CollabNet Inc 开发，现在发展成为 Apache 软件基金会的一个项目，同样是一个丰富的开发者和用户社区的一部分。SVN相对于的RCS、CVS，采用了分支管理系统，它的设计目标就是取代CVS。互联网上免费的版本控制服务多基于Subversion...

2018-06-17 22:12:41 1830 1

原创 [Java]简单模拟ORM关系模型底层实现原理

前言对象关系映射（英语：(Object Relational Mapping，简称ORM，或O/RM，或O/R mapping），是一种程序技术，用于实现面向对象编程语言里不同类型系统的数据之间的转换。从效果上说，它其实是创建了一个可在编程语言里使用的–“虚拟对象数据库”。面向对象是从软件工程基本原则（如耦合、聚合、封装）的基础上发展起来的，而关系数据库则是从数学理论发展而来的，两套理论存...

2018-06-12 22:54:09 1077

原创 [Linux]权限详解

前言权限是操作系统用来限制资源访问的机制，权限一般分为读、写、执行。系统中每个文件都拥有特定的权限、所属用户及所属组，通过这样的机制来限制哪些用户、哪些组可以对特定的文件进行什么样的操作。每个进程都是以某个用户的身份运行，所以进程的权限与该用户的权限一样，用户的权限越大，该进程所拥有的权限也就越大。文件权限权限对文件的影响对目录的影响 ...

2018-06-09 20:22:03 359

原创 [Linux]运行级别及找回ROOT密码

一、运行级别说明:0: 关机 1: 单用户[找回丢失密码] 2: 多用户状态没有网络服务 3: 多用户状态有网络服务 4: 系统未使用保留给用户 5: 图形界面 6: 系统重启注:常用运行级别是3和5，要修改默认的运行级别可改文件二、查看当前运行级别who -r ：显示当前运行级别以及系统当前时间三、修改默认运行级别1、vim /etc//inittab2...

2018-06-08 23:29:42 321

原创 [Vmtools]文件共享

前言VMware Tools是VMware虚拟机中自带的一种增强工具，相当于VirtualBox中的增强功能（Sun VirtualBox Guest Additions），是VMware提供的增强虚拟显卡和硬盘性能、以及同步虚拟机与主机时钟的驱动程序。安装1、进入centos 2、点击vm菜单的->install vmware tools 3.、centos会出现一个vm的...

2018-06-06 22:13:11 1397

原创 [MySQL]事务的四个隔离级别详解

前言MySQL标准定义了4种隔离级别，包括了一些具体规则，用来限定事务内外的哪些改变是可见的，哪些是不可见的。低级别的隔离级一般支持更高的并发处理，并拥有更低的系统开销。今天想把这块整理出来，尽量用最简洁的语言描述出来，供新人参考。注:本文可以与上篇文章一同参考 Spring的七个事务传播行为事务的基本要素（ACID）　　1、原子性（Atomicity）：事务开始后所有操作，...

2018-04-11 17:01:27 2140

原创 [MyEclipse]常用的设置

前言大家对于开发工具的了解可能很少，但是仔细看看MyEclipse的各项功能，其实也提供了很多方便开发的选项，或许大家也都已经知道了，这也只是我自己常用的设置，在此记录一下。转换工作空间 File–>Switch Workspace，除了可以选择已有的工作空间，也可以创建新的工作空间，点击Other后出现下图：在Workspace中点击Browse可以选择已有的工作...

2018-04-11 10:27:47 453

原创 [Maven]自动打包资源目录文件

前言一般情况下，我们用到的资源文件（各种xml，properites，js文件等）都放在资源目录下面，利用maven打包时，maven能把这些资源文件打包到相应的目录里。Maven内置变量说明${basedir} 项目根目录${project.build.directory} 构建目录，缺省为target${project.build.outputDirectory} 构建过程输...

2018-04-09 18:12:00 3826

原创 [Spring]事务的七个传播行为

前言当我们调用一个基于Spring的Service接口方法时，它将运行于Spring管理的事务环境中，Service接口方法可能会在内部调用其它的Service接口方法以共同完成一个完整的业务操作，因此就会产生服务接口方法嵌套调用的情况， Spring通过事务传播行为控制当前的事务如何传播到被嵌套调用的目标服务接口方法中。事务传播是Spring进行事务管理的重要概念，其重要性怎么强调都不为...

2018-03-20 15:49:33 5719 1

原创 [Shiro]权限控制

前言Apache Shiro是Java的一个安全框架。目前，使用Apache Shiro的人越来越多，因为它相当简单，Shiro可以非常容易的开发出足够好的应用，其不仅可以用在JavaSE环境，也可以用在JavaEE环境。Shiro可以帮助我们完成：认证、授权、加密、会话管理、与Web集成、缓存等。准备工作log4j-1.2.16.jarshiro-all-1.3.2.ja...

2017-12-31 21:37:27 340