czx33859066的专栏

原创 Linux环境下安装Redis

1.环境安装Redis上传Redis的安装包redis-5.0.6.tar.gz解压我们的Redis安装包tar -zxvf redis-5.0.6.tar.gzmkdir /usr/redismake install PREFIX=/usr/redis启动Rediscd /usr/redis/bin ./redis-server2.将Redis设置为后台启动cp /usr/redis-5.0.6/redis.conf /usr/redis/b...

原创 Linux环境Nginx安装

1.安装gcc gcc-c++(如新环境,未安装请先安装)yum install -y gcc gcc-c++2.安装wgetyum -y install wget3.安装PCRE库cd /usr/local/wget https://netix.dl.sourceforge.net/project/pcre/pcre/8.40/pcre-8.40.tar.gztar -zxvf pcre-8.40.tar.gzcd pcre-8.40./configuremake

原创 基于Callable+FutureTask实现异步线程执行 带返回结果

可以基于Callable+FutureTask可以实现异步线程执行 带返回结果代码如下：public interface MyCallable<V> { V call();}public class MyCallableImpl implements MyCallable<Integer> { @Override public Integer call() { try { System.out.pr

原创 几种多线程的创建方式

目录1）继承Thread类创建线程2）实现Runnable接口创建线程3）使用匿名内部类的形式创建线程4）使用lambda表达式创建线程5）使用Callable和Future创建线程6）使用线程池例如用Executor框架7）spring @Async异步注解 结合线程池1）继承Thread类创建线程public class ThreadDemo01 extends Thread {@Overridepublic void run() {...

原创 linux环境下如何排查cpu飙高的问题

一般Cpu飙高产生的原因：1.CAS自旋没有控制自旋次数; 乐观锁2.死循环---Cpu飙高的 问题;控制循环的次数3.阿里云Redis被注入挖矿程序;Redis端口不要能够被外网访问4. 服务器被DDOS工具导致cpu飙高; 限流、ip黑名单、图形验证码防止机器模拟攻击使用arthas(阿尔萨斯)排查cpu飙高的问题1.下载阿尔萨斯curl -O https://arthas.aliyun.com/arthas-boot.jar2.java -jar arthas-boot.jar

原创 大数据分析之Hive学习

一、课前准备●安装并配置好Hadoop, 保证Hadoop集群是正常启动的。●在Hive的安装目录下启动，执行bin/hive。二、Hive简介1.Hive是什么?●基于Hadoop的开源数据仓库工具,用于存储和处理海量结构化数据●Hive把HDFS中结构化的数据映射成表。●Hive通过把HiveSQL进行解析和转换, 最终生成-系列基于hadoop的map/reduce任务, 通过执行这些任务完成数据处理。2.Hive与传统数据库的比较Hive的优势●把海量

原创 Hadoop概述及shell操作

一、Hadoop概述1.hadoop生态圈2.hadoop的组成Hadoop由三个模块组成:分布式存储HDFS、分布式计算MapReduce、资源调度引擎Yarn3.HDFS:块级别的分布式文件存储系统1) NameNode (nn) :存储文件的元数据，如文件名，文件目录结构,文件属性(生成时间、副本数、文件权限)，以及每个文件的块列表和块所在的DataNode等2) DataNode(dn): 在本地文件系统存储文件块数据，以及块数据的校验和。3) Seconda..

原创 Hadoop 学习环境部署

1.准备环境Linux系统，准备root和hadoop两个用户把hadoop、hive、jdk等包上传到linux系统目录下2.关闭selinux在linux下，切换到root用户su - root进入vim /etc/selinux/config把SELINUX=disabled3.切换到hadoop用户，配置免密登陆（解决多次登录，多个集群，要多次输入用户密码的问题）cd 进入hadoop用户的家目录ssh-keygen -t rsa [输入完后连按...

原创 大数据分析之环境部署

目录一、需要准备的软件VMwareXshell6Xftp6CentOS7系统hadoop(服务器上)jdk(服务器上)hive(服务器上)二、安装vmware并配置网络1.安装vmware安装过程中，以下两项可以取消掉2.配置vmware网络步骤三、安装CentOS 7操作系统新建虚拟机器2.编辑虚拟机3.安装CentOS7操作系统调整日期和时间软...

原创 访问VM虚拟机操作系统的ORACLE数据库

一.VMware设置桥接模式1.VMware -> 编辑->虚拟网络编辑器->更改设置2.选择VMnet0（桥接模式），选择与主机同名网卡 ，主机可在在网络中心查看网卡名称3.选中虚拟机，右键设置，选择网络适配器，更改网络连接模式4.重启虚拟机后，自动获取ip地址，cmd下根据ipconfig查看ip地址后，通过plsql工具直接连接；5.如果用ping命令，需要关闭防火墙...

原创 mysql Row_number()分组排序函数

1.mysql8.0的版本才有这个函数MySQL8.0 :select sales_name , sum(sales) ,Row_number() OVER(ORDER BY sum( sales)DESC) as 'rank' from spm_ordergroup by sales_name2.mysql5.7需要另外一种写法MySQL5.7:#@变量名=赋值只要使用变量必须加@@rank:=@rank + 1每查询到一条结果,就会进行+1SET@rank= 0;select A

原创 为什么使用DevOps？

DevOps的理念中包含了很重要也是众多互联网公司非常关注的两大点：敏捷+精益；也就是我们要用最少的成本+最快的速度+最高的品质，来满足客户/用户的各种需求场景。1 速度——更短的开发周期，更快的创新 可以更快速地针对客户进行创新、更好地适应不断变化的市场，同时更有效地推动业务成果。DevOps 模式能够帮助开发人员和运营团队实现这些目标，确保更快速地发布更新。2 快速交付——减少部署失败，回滚和恢复时间提高发布的频率和速度，以便更快速地进行创新并完善产品，发布新功能和修复错误的速度越..

转载 Java 现场排查CPU飙升占用过高的方法

linux 环境下，使用top -c 命令，查看服务器上各进程的CPU使用情况。b+ x，然后就能把所关注的列和运行的行给高亮了。如我第一张截图。在记下CPU占用率高的pid之后，按键q退出top命令，然后再top -Hp pid，我这就是 top -Hp 426476 查看单个进程里面是哪些线程在实际消耗CPU。选择占比较大的几个线程id，使用命令 printf "%x\n" 54956 把进程id给转成16进制使用jstack命令查看栈信息，具体：jstack 53514 | gr...

原创 kettle的内存大小修改

原创 项目管理六个大坑

原创 如何解决团队效率低，没有凝聚力，有效的工作汇报

原创 windows 7指定kettle的jdk版本

Kettle安装1）把pdi-ce-8.1.0.0-365.zip右击解压到当前文件夹如图：2）将data-integration文件夹剪切到d:盘下3）右击D:\data-integration文件夹下的Spoon.bat以管理员身份运行到此安装完成注意：第一次启动需要一定的时间，耐心等待。PS:如果有多个版本的JDK，则右键编辑Spoon.bat增加set PENTAHO_JAVA_HOME=C:\Program File...

转载 Oracle大表数据导出导入

大数据表导出expcensus_dc/password @census_bifile=x:\census\DC_FW_DL_CBSJ.dmptables=(DC_FW_DL_CBSJ)direct=ybuffer=200000数据重新导入impcensus_bi/password @census_bifile=x:\census\DC_FW_DL_CBSJ.dmptables=(DC_FW_DL_CBSJ)expcensus/password @census_dsfile=f...

原创 oracle11g中impdp导入dump文件

1.先创建impdp_dir 目录create directory impdp_dir as 'F:\backup';2.为hljs0505用户赋权限grant read,write on directory impdp_dir to hljs0505;3.在dos窗口中执行如下命令impdp hljs0505/bssoft@orcl DIRECTORY=impdp_dir DUMPFILE=hl...

原创 导库摘记20180510

****要先创建好用户：hljs0505，密码bssoft****执行命令(创建用户、授权、表空间)****create user 用户名 identified by bs ;****grant dba,connect,resource to 用户名 ;****grant write ,read on directory DATA_PUMP_DIR to 用户名;***杀掉连接的用户，并删除数据库...

转载 oracle数据库数据导入导出步骤（入门）

说明： 1.数据库数据导入导出方法有多种，可以通过exp/imp命令导入导出，也可以用第三方工具导出，如：PLSQL 2.如果熟悉命令，建议用exp/imp命令导入导出，避免第三方工具版本差异引起的问题，同时效率更高，但特别注意：采用命令时要注意所使用的用户及其权限等细节。 3.在目标数据库导入时需要创建与导出时相同的用户名（尽量一致），并赋予不低于导出时用户的权限；同时还需创建与原数据库相同的表...

转载 Git版本管理方法

Git和SVN是我们代码开发中，最常用的两款代码管理软件。在这里我来写写我在工作中如何使用Git来管理我们的代码开发。  首先，我们是一个多人开发的团队，因此在开发过程中，少不了要进行多人协作的时候。不同的功能分支就成了家常便饭的事情了。咱先来看一副图：GitFlow.png  这幅图里画的是我日常工作中，代码管理中Git分支的存在形式。从最上层的一行中可以看到，一般会存在一些这样的分支：&gt;...

转载 spring定时器一些时间配置例子参考

"0/10 * * * * ?" 每10秒触发 "0 0 12 * * ?" 每天中午12点触发 "0 15 10 ? * *" 每天上午10:15触发 "0 15 10 * * ?" 每天上午10:15触发 "0 15 10 * * ? *" 每天上午10:15触发 "0 15 10 * * ? 2005" 2005年的每天上午10:15触发 "0 * 14 * * ?" 在每天下

原创 SQL号段整理

表A1 125cf80b44b742f4a2e919db8b61a50123090117 00000000012 125cf80b44b742f4a2e919db8b61a50123090117 00000000023 125cf80b44b742f4a2e919db8b61a50123090117 00000000034 125cf80b44b742f4a2e919d

转载 eclipse下设置tomcat,修改Java代码不必重启tomcat

1.本文目的：用tomcat进行web开发时，修改Java代码往往要重启代码，当工程较大启动较慢时，严重影响效率，本文通过eclipse下tomcat开发和发布web程序时，对一些Java代码一般修改（不是增减方法、变量，或变更名称等“较巨大”的操作），可以不必重启机器的设置。     2.步骤：              3.参考文献：    tomcat的r

原创 eclipse中访问不了tomcat首页server Locations变灰无法编辑

解决办法：1、首先将Servers中部署的工程全部清空2、然后对Tomcat v7.0 Server at localhost，点右键进行clean处理，再重新双击打开server服务即可。

原创 PermGen space(eclipse)

java.lang.OutOfMemoryError: PermGen space解决方法：window--Preferences--Java--Installed JREs --EditDeafult VM arguments:-server -XX:PermSize=128m -XX:MaxPermSize=512m

转载 eclipse打开当前文件所在文件夹的两种方法

很郁闷，现在的MyEclipse越来越大，越来越慢，没办法，打算回归Eclipse的怀抱，还好现在的Eclipse有很多功能可以直接替代Myeclipse.:)先写一个最常用的打开文件夹吧。以后的等我总结了并证实好用了再说；）如果你经常需要在Eclipse里打开相关资源文件所在的文件夹，比较麻烦，要右键，属性，在Location一栏中把所在的文件夹拷贝一下，然后再去资源

转载 写得蛮好的linux学习笔记

linux目录架构/   根目录/bin    常用的命令 binary file 的目錄/boot   存放系统启动时必须读取的档案，包括核心 (kernel) 在内     /boot/grub/menu.lst   GRUB设置     /boot/vmlinuz   内核     /boot/initrd     核心解壓縮所需 RAM Disk/dev    

转载 一次Oracle11g数据库导入Oracle10g数据库操作笔记

一次Oracle11g数据库导入Oracle10g数据库操作笔记 11g备份，导入10g的时候会抛错，直接阻止导入。但是有时候还必须得把11g的数据库导入到10g，我今天就遇到了这种情况。一开始只是把11g中的表全部备份，成功导入10g。但是缺少视图、存储过程等。一个个sql创建累死人，方法太笨。请教了一下资深DBA，重新备份，重新导入，成功

原创 IE 浏览器Spring mvc 返回json的下载提示

实际上就是ie不支持application/json、text/json的mime类型，在注册表中添加即可。[HKEY_CLASSES_ROOT\MIME\Database\Content Type\application/json]  "CLSID"="{25336920-03F9-11cf-8FD0-00AA00686F13}"  "Encoding"=dword:000800

转载 Servlet 学习总结-2

#重定向与转发的区别开发Web应用中会遇到从一个页面跳转到另一个页面的问题，在JSP中有两种跳转方式： 1.重定向2.转发（转向）    重定向：首先服务器受到浏览器客户端请求之后，服务器发送新的链接到客户端浏览器，浏览器接收到新的链接之后又重新请求收到的链接地址，在整个过程中完成之后在客户端浏览器看来是发生了一次跳转，其实是客户端浏览器请求了两次而已，所以在浏览器

转载 Servlet 学习总结-1

JavaWeb应用程序中所有的请求-响应都是由Servlet来完成的。Servlet是Java Web的核心程序，所有的网址（请求-响应）都交给Servlet来处理。 Servlet在Web应用中被映射成一个URL(Uniform Resource Locator)，该URL可以被客户端浏览器请求，当用户向指定URL对象的Servlet发送请求时，该请求被Web服务器接收到，该We

转载 SqlServer中select语句引起的死锁

最近在项目中使用SqlServer中发现在高并发情况下，频繁更新和频繁查询引发死锁，最后通过设置数据库的 READ_COMMITTED_SNAPSHOT 选项为 ON ，使得已提交读事务使用行版本控制解决死锁问题。解决问题的文章应用如下。   死锁，简而言之，两个或者多个trans，同时请求对方正在请求的某个对象，导致双方互相等待。简单的例子如下：   trans1      

转载 说说SQL Server 2005中的一致性读

实验环境和代码SQL Server 2000中的查询问题查询的阻塞问题数据不一致的问题SQL Server 2005的解决之道事务级别的行版本管理SNAPSHOT与查询阻塞SNAPSHOT与读一致性数据库级别的行版本管理总结延伸阅读实验环境和代码本来实验的环境为12

转载 maven构建项目自动部署到tomcat中遇到的各种问题总结

本教程主要解决两个问题：(主要是部署到Tomcat 6.x 和 Tomcat 7.x也有区别,请各自座号入座.)1.苦逼的401问题[ERROR] Failed to execute goal  org.codehaus.mojo:tomcat-maven-plugin:1.1:deploy(default-cli) on project  my_struts: Can

原创 JAVA服务端分解

String total ="";String head ="";String state ="";int size = 10240;int sysmbolCount =1;long startByte =0;String symbol="#";StringBuilder messageStr=new StringBuilder();//生成文件流F

原创 JAVA服务端合并多个文件

BufferedOutputStream outputStream=null;         try {               //创建读取文件流的目录             outputStream = new BufferedOutputStream(new FileOutputStream(outputFile,true));             Strin

原创 JAVA服务端多个文件合并传到客户端分解

If Not FileExists(fromFileName) Then Exit;      Filestream:= TFilestream.Create(fromFileName,fmOpenRead);    vSize := 1024;    Filestream.Position := 0;    count :=1;    vStart := 0;

原创 一个文件（又N个文件组成的）分解成多个文件

procedure DecompressFiles(const Filename, DestDirectory: string; AFileList: TStringList);var  dest, s: string;  decompr: TDecompressionStream;  infile, outfile: TFilestream;  i,c,l : integer