congzi0424的专栏

原创 BI系统ER图

BI系统开发ER图以及核心组件

原创 前端删除cookie

1、修改cookie因为cookie是和域名绑定的，所以要带上path、domain、secure，否则定位不到这条cookiedocument.cookie="_token=aaa;secure;path=/;domain=.xxx.com";2、删除cookie原理是设置一个过去的超时时间，但是这里的expires必须设置path在前面，具体什么原因不知道document.cookie="_token=;expires=Thu, 01 Jan 1970 00:00:00 GMT.

原创 用python构建一个文件服务器-支持文件夹的上传下载

1.工具：python2操作系统：MacOS思路：用http服务提供文件访问功能用ftp提供文件上传功能2.安装pip（应该是一个安装工具吧，第3步用到）：sudo easy_install pip3.安装ftp组件sudo pip install pyftpdlib4.创建python脚本touch pythonFtp.pyvi pythonFtp.py 输入脚...

原创 Spring事务

原创 Sentinel笔记

1.Sentinel 是什么Sentinel 是面向分布式服务架构的轻量级流量控制框架，主要以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度来帮助您保护服务的稳定性。2.Sentinel 基本概念资源资源是 Sentinel 的关键概念。它可以是 Java 应用程序中的任何内容，例如，由应用程序提供的服务，或由应用程序调用的其它应用提供的服务，甚至可以是一段代码。在接下来的...

原创 linux使用压缩包安装MySql

1. 下载安装包https://dev.mysql.com/downloads/mysql/按需选择版本，我这是使用的是5.6.392. 拷贝安装包到/home/mysql目录，并解压tar -zxvf mysql-5.6.39-linux-glibc2.12-x86_64.tar.gz* 安装目录如果选在/usr/local/mysql会省掉一些麻烦，因为有些配置默认的是/usr/local/m...

原创 spring qurtz执行两次

原因是因为web.xml配置错误导致ContextLoaderListener和DispatcherServlet扫描注解时，形成了两个上下文环境，quartz注解被扫描了两次ContextLoaderListener和DispatcherServlet的关系，请参考：https://www.cnblogs.com/weknow619/p/6341395.html解决办法（不一定适用所有情况）1....

原创 使gitbook在后台运行

1. 安装gitbook，看链接，不再说了（不需要可以不看）http://blog.youkuaiyun.com/wirelessqa/article/details/726164712. 一家叫字条的公司，修改了gitbook的ui，教程如下（不需要可以不看）http://zitiao.org/deploy/3. 运行gitbook serve .这个命令在用户退出终端时也会结束。为保持其后台运行须修改为s...

原创 git操作免用户名密码

进入用户根目录，然后创建文件cd ~touch .git-credentialsvim .git-credentials在文件中输入以下内容https://{username}:{password}@github.com在终端执行以下命令git config --global credential.helper store执行后在 ~/.gitconfig 文件

原创 微信开放平台找回过期的authorizer_access_token

  当微信公众号授权给第三方开发平台后，第三方开发平台执行某些操作时，如查询用户信息、用户打标签，需要使用authorizer_access_token。这个token从获得开始，2小时内有效，如果需要继续使用授权，就需要在有效期内主动刷新token。但是当某些原因导致刷新token失败时，仍然可以使用authorizer_refresh_token（自获得起30天内有效）重新获得authoriz...

原创 Mybatis3.1.1源码解析

1. Mybatis整合spring 这里配置文件中使用的SqlSessionTemplate类的参数，从源码中看到是SqlSessionFactory。但是配置文件中使用的是SqlSessionFactoryBeanpublic SqlSessionTemplate(

原创 数据库事务

数据安全问题：脏读、不可重复读、幻读（都是多个事务同时执行时才发生）1. 事务的定义事务指的是逻辑上的一组操作，这组操作要么全部成功，要么全部失败以下几个都可以看作一个事务：* 查询一个用户的信息（select）* 修改一个用户的年龄（update）* 两个账户之间的转账（多个update）* 删除一个用户（delete）...2. 事务的特性

原创 Nginx安装配置以及https

1. 安装pcrewget http://downloads.sourceforge.net/project/pcre/pcre/8.35/pcre-8.35.tar.gzyum install zlib gzip zlib-develyum install gcc gcc-c++ ncurses-devel perl ./configurema

原创 获取IP地址以及响应的区域信息

几个查询IP的站点：1）http://www.pcvpn.cn/?ip=2）http://www.cz88.net/ip/?ip=3）http://www.ipip.net/ip.html4）http://www.ip.cn/index.php?ip=5）http://ip.chinaz.com/6）http://www.ip138.com/ips138.aspip13

原创 搭建Hbase集群

教程：http://blog.youkuaiyun.com/lemon_tree12138/article/details/51607646Hbase依赖于Hadoop。如果使用Hbase自身的ZooKeeper，只能是单机，所以建议也事先搭好ZooKeeper环境。

原创 搭建ZooKeeper3.4.6集群

教程：http://www.cnblogs.com/huangxincheng/p/5654170.html这里遇到一个问题，启动以后，控制台输出一下内容：JMX enabled by defaultUsing config: /home/zookeeper-3.4.6/bin/../conf/zoo.cfgStarting zookeeper ... STARTED

转载 搭建Hadoop2.5.2环境

教程：http://blog.youkuaiyun.com/l1028386804/article/details/51536051部署期间遇到最主要的一个问题：hdfs-site.xml 这个文件，不论怎么改都不生效。现象是：执行hadoop namenode -format时，namenode的存放位置，是hadoop的默认路径；然后执行hadoop dfsadmin -report，提示

原创 Nutch2.3.1版本选择

1. Nutch主页：http://nutch.apache.org/#2. Nutch有1.X和2.X两个版本（1）1.X依赖于Hadoop，适合做分布式。目前最高版本为1.13（2）2.X与1.X最关键的不同是引入了Gora，数据持久化不再局限于某一种数据库。目前最高版本为2.3.13. 以下为官方建议的2.3.1依赖Apache Avro 1.7.6 Apache H

原创 linux异常：No space left on device

1. 首先使用df -h 命令查看磁盘使用量，并没有达到100%2. 使用df -i 命令查看inode使用量，达到100%3. （1）转至根目录：cd /（2）使用du -sh * 命令查看根目录下所有文件大小。inode空间占满是因为小文件太多了，所以执行du命令会卡在文件数量特别多的那个目录（3）转至卡住的那个目录，重复步骤（2）4.最终定位到odpscmd，odps/p

原创 CentOS6.7安装TeamViewer

1. 官网下载地址：https://www.teamviewer.com/zhCN/download/linux/要注意，centOS只有32位版本的，64位也可以用，但是需要额外安装一个东西，这个后面再说2.使用rpm命令安装rpm -i teamviewer.i686.rpm 但是报错（我安装的时候没有保存错误信息，下面这个图是从另一个博客拷贝过来的）：

原创 Jersey支持spring3配置

1. web.xml配置 contextConfigLocation classpath*:spring-*.xml org.springframework.web.context.ContextLoaderListener Jersey Web Application org.glassfish.jersey.servlet.Servlet

原创 linux shell 数值比较错误

这几天在写shell脚本，其中一个就是比较数值，测试的那几次都是正确的，但到了线上就出错了。脚本是这样的if [[ $fileCount > 20 ]]then echo "too much files, waiting for uploading."else echo "ok."fi看起来很简单的，实际这里有个坑："$fileCount > 20"这个条件的

原创 linux下运行tcpdump中断

背景：使用tcpdump命令抓包，每当数据文件达到100M，停止抓包，压缩文件。抓包命令如下：tcpdump -i br0 -s 0 -A 'tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x47455420' -w $filename & tdid='pgrep tcpdump'现象：但是昨天出现一台设备，没有产生新的数据包。使用命令：ps -

转载 Linux如何查看JDK的安装路径

如何在一台Linux服务器上查找JDK的安装路径呢？ 有那些方法可以查找定位JDK的安装路径？是否有一些局限性呢？ 下面总结了一下如何查找JDK安装路径的方法.1：echo $JAVA_HOME使用$JAVA_HOME的话能定位JDK的安装路径的前提是配置了环境变量$JAVA_HOME，否则如下所示，根本定位不到JDK的安装路径[root@localhost ~]# j

原创 shell中上传数据文件到odps

1. 遍历文件#!/bin/shdatapath='/var/ftphome/resolve_result/'odpspath='/usr/local/odps/bin'while [ "1" = "1" ]do cd ${datapath} for i in `ls` do cd ${odpspath} if [ -d "$i

转载 python上传文件到ftp服务器

__author__ = 'dacxu' __mail__ = 'xudacheng06.com' __date__ = '2013-10-29' __version = 1.0 import sys import os import json import time from ftplib import FTP _XFER_FILE = 'FILE

原创 shell脚本中使用tcpdump抓包

1. 启动脚本#!/bin/bashfilename='view_history_'`date +%F-%H:%M:%S`touch $filename#没有后面的tdid则无法退出tcpdump进程tcpdump -i br0 -s 0 -A 'tcp[((tcp[12:1] & 0xf0) >> 2):4] = 0x47455420' -w $filename & tdid='pg

转载 为开放ftp配置iptables

安装服务器时也顺便使用iptables，不用不知道，一用才发现iptables还有很多东西可以学的，比如开放ftp服务。iptables 的filter表的INPUT链的默认策略设为了DROP，其余的链均为ACCEPT。 该服务器即要作ftp服务器，也要连上别的ftp服务器。即是说要把源端口和目的端口都开放21才行：      # iptables -A INPUT -p tcp --

原创 阿里开源项目dataX简介

一、安装教程http://www.myexception.cn/open-source/1866902.htmlhttp://yangyoupeng-cn-fujitsu-com.iteye.com/blog/1832143二、应用程序入口在Engine.java类中/** * Program entry > NOTE: The DataX Process exists c

原创 Linux（centOS）安装ant

这里是1.9.7的版本，如需最新版本，请到http://ant.apache.org/bindownload.cgi查找1、转到/usr/ant目录2、wget http://mirror.bit.edu.cn/apache//ant/binaries/apache-ant-1.9.7-bin.tar.gz下载完成后解压tar -xvf apache-a

原创 linux卸载rpm

rpm安装后的服务名称与rpm安装包的名称是不一样的，因此在安装了以后，需要查询已安装服务的名称才可以准确卸载1. 安装rpm -i t_dp_datax_hdfswriter-1.0.0-1.noarch.rpm 2. 卸载，此时会提示没有安装。其实是因为安装后的服务名称与安装包名称不同引起的rpm -e --allmatches t_dp_datax_hdfswri

转载 Maven的pom.xml中的scope节点和依赖传递

Maven工程的dependency（依赖）有一个范围属性，描述这个依赖的作用范围。有4个值，分别是：1. test，指的是测试范围有效，编译和打包时都不会使用这个依赖2. compile，指的是编译范围有效，编译和打包时都会使用这个依赖3. provided，在编译和测试范围有效，但在打包时不会引入这个依赖。典型如servlet，因为tomcat默认提供了这个依赖，不需要额外引入。

原创 开发工具集

java web1. redis命令大全：http://doc.redisfans.com/2. dubbo中文文档：http://dubbo.io/User+Guide-zh.htm3. 数据迁移工具DataX：http://code.taobao.org/p/datax/wiki/DataX%E4%BA%A7%E5%93%81%E8%AF%B4%E6%98%8E/4. Mave

转载 Wireshark基本介绍和学习TCP三次握手

之前写过一篇博客：用 Fiddler 来调试HTTP，HTTPS。 这篇文章介绍另一个好用的抓包工具wireshark， 用来获取网络数据封包，包括http,TCP,UDP，等网络协议包。记得大学的时候就学习过TCP的三次握手协议，那时候只是知道，虽然在书上看过很多TCP和UDP的资料，但是从来没有真正见过这些数据包， 老是感觉在云上飘一样，学得不踏实。有了wireshark就能截获这

原创 记一次JVM内存调整

背景线上环境的java进程，内存占用持续增高，没有下降的迹象。到网上看了几篇文章，结合以前看的书，对JVM参数进行了调整。运行环境：linux + jetty过程如下1. 使用'top'命令查看java进程的'pid'(同时也能看到cup和内存使用率)2. jmap -heap pid使用该命令查看JVM的内存分配情况，举个例子（不是真实环境）：[root@lo

原创 读文件异常：java.nio.charset.MalformedInputException

今天写一个读文件的程序Path path = Paths.get("d:" + File.separator + "medical.txt"); BufferedReader reader = Files.newBufferedReader(path); Path resultPath = Paths.get("D:" + File.separator +"medical dic

原创 记一次java内存分析

昨天遇到了内存溢出，之前看过java虚拟机，还记得dump和MAT以及大概的定位方法（虽然没用过）。于是，开始。1. 下载MAT，地址：http://www.eclipse.org/mat/downloads.php选择自己需要的版本，下载前可以选择比较近的镜像，可以提高下载速度：2. 下载后解压，结构如下（我的是win64）：3. 设置虚拟机参数为

原创 如何通过maven库查找pom中dependency

1. 访问：http://mvnrepository.com/2. 通过搜索栏搜索你需要的jar，如spring。Maven会列出spring相关jar包的一个列表。点击相应jar包下方的超链接3. 进入jar包首页后，下方倒序列出了该jar的版本。点击所需版本的超链接4. 这里就是该版本jar包的写法了，拷贝进pom即可

原创 String.replaceFirst无效

replaceFirst(String regex, String replacement)如果regex参数中有‘正则中的特殊符号‘，如我遇到的就是‘+’，那么该方法有可能失败，因为这些符号作为条件而不是内容去匹配了。解决方法是对这些特殊符号进行转义。举个例子：String img = " xxx xxx "; img = img.replaceFirst("44+44", "

原创 正则工具类-匹配格式相同的多个组

工具方法： /** * 解析target，并返回pattern匹配到的结果集合，不包括整个字符都匹配的情况 * @param target * @param pattern * @return */ public static List patternParseGroup(String target, String pattern) { List