- 博客(48)
- 收藏
- 关注
原创 mysql优化
mysql千万级数据增删查改优化:第一优化你的sql和索引;第二加缓存,memcached,redis;第三以上都做了后,还是慢,就做主从复制或主主复制,读写分离,可以在应用层做,效率高,也可以用三方工具,第三方工具推荐360的atlas,其它的要么效率不高,要么没人维护;第四如果以上都做了还是慢,不要想着去做切分,mysql自带分区表,先试试这个,
2017-07-25 17:23:50
317
原创 杂乱
SELECT stu.sname,AVG(s.score) FROM student stu,sc s WHERE stu.sno=s.sno and stu.sno in(SELECT sno from sc WHERE sc.score=2) GROUP BY stu.sno;SELECT stu.sname,AVG(s.score) FROM student stu,sc s W
2017-07-25 17:22:19
365
原创 java相关优秀微信公众号推荐
java相关优秀微信公众号推荐转载请注明出处:http://blog.youkuaiyun.com/u014731752/article/details/72932036转载请注明出处:http://blog.youkuaiyun.com/u014731752/article/details/72932036作者简介:java开发小菜鸟一枚,喜欢收藏和阅读java方面相关的数据
2017-06-08 18:46:40
6623
3
原创 java相关优秀博文收藏
深入理解Java G1垃圾收集器 - OPEN 开发经验库使用CMS垃圾收集器产生的问题和解决方案 - God is a Coder..触发JVM进行Full GC的情况及应对策略 - Java我人生的技术博客 - 博客频道 - youkuaiyun.com什么时候会发生FullGC - God is a Coder..Tomcat 系统架构与设计模式,第 1 部分: 工作原理redis中
2017-06-08 18:11:13
942
转载 java程序猿必修技能
JAVA 基础1. Java 中的几种基本数据类型是什么,各自占用多少字节。 2. String 类能被继承吗,为什么。 3. String,Stringbuffer,StringBuilder的区别。 4. ArrayList 和 LinkedList 有什么区别。 5. 讲讲类的实例化顺序,比如父类静态数据,构造函数,字段,子类静态数据,构造函数,字段,当 new 的时候,
2017-04-07 16:12:55
2335
1
原创 UUID
GUID是一个128位长的数字,一般用16进制表示。算法的核心思想是结合机器的网卡、当地时间、一个随即数来生成GUID。从理论上讲,如果一台机器每秒产生10000000个GUID,则可以保证(概率意义上)3240年不重复。UUID是1.5中新增的一个类,在java.util下,用它可以产生一个号称全球唯一的IDpackage com.mytest;import java.util.UU
2017-04-07 15:53:02
440
转载 基于Token的WEB后台认证机制
基于Token的WEB后台认证机制原文链接:http://www.cnblogs.com/xiekeli/p/5607107.html几种常用的认证机制HTTP Basic AuthHTTP Basic Auth简单点说明就是每次请求API时都提供用户的username和password,简言之,Basic Auth是配合RESTful API 使用的最
2016-12-15 13:24:33
3644
原创 java 动态代理
主要用来做方法的增强,让你可以在不修改源码的情况下,增强一些方法,在方法执行前后做任何你想做的事情(甚至根本不去执行这个方法),因为在InvocationHandler的invoke方法中,你可以直接获取正在调用方法对应的Method对象,具体应用的话,比如可以添加调用日志,做事务控制等。
2016-11-30 15:25:26
279
原创 Future和FutureTask
Future和FutureTask Executor框架使用Runnable 作为其基本的任务表示形式。Runnable是一种有局限性的抽象,然后可以写入日志,或者共享的数据结构,但是他不能返回一个值。许多任务实际上都是存在延迟计算的:执行数据库查询,从网络上获取资源,或者某个复杂耗时的计算。对于这种任务,Callable是一个更好的抽象,他能返回一个值,并可能抛出一个异常。Fut
2016-11-30 14:35:22
932
原创 CountDownLatch与CyclicBarrier
CountDownLatch使用CountDownLatch的一个非常典型的应用场景是:有一个任务想要往下执行,但必须要等到其他的任务执行完毕后才可以继续往下执行。假如我们这个想要继续往下执行的任务调用一个CountDownLatch对象的await()方法,其他的任务执行完自己的任务后调用同一个CountDownLatch对象上的countDown()方法,这个调用await()方法的任
2016-11-30 10:35:42
295
转载 Java实现简单的RPC框架
一、RPC简介RPC,全称为Remote Procedure Call,即远程过程调用,它是一个计算机通信协议。它允许像调用本地服务一样调用远程服务。它可以有不同的实现方式。如RMI(远程方法调用)、Hessian、Http invoker等。另外,RPC是与语言无关的。 RPC示意图如上图所示,假设Computer1在调用sayHi()方法,对于Comp
2016-11-29 17:57:40
1502
转载 Java并发编程:线程池的使用
Java并发编程:线程池的使用 在前面的文章中,我们使用线程的时候就去创建一个线程,这样实现起来非常简便,但是就会有一个问题: 如果并发的线程数量很多,并且每个线程都是执行一个时间很短的任务就结束了,这样频繁创建线程就会大大降低系统的效率,因为频繁创建线程和销毁线程需要时间。 那么有没有一种办法使得线程可以复用,就是执行完一个任务,并不被销毁,而是可以继续执行其他的任
2016-09-23 11:57:16
299
转载 正则表达式
正则表达式,一个十分古老而又强大的文本处理工具,仅仅用一段非常简短的表达式语句,便能够快速实现一个非常复杂的业务逻辑。熟练地掌握正则表达式的话,能够使你的开发效率得到极大的提升。正则表达式经常被用于字段或任意字符串的校验,如下面这段校验基本日期格式的JavaScript代码:var reg = /^(\\d{1,4})(-|\\/)(\\d{1,2})\\2(\\d{1,2})$/; v
2016-08-14 15:17:53
725
转载 快照技术原理
一、概念解释 像照相机一样,机器快门一闪,很快就把刚刚的人像停留在了相纸上。存储系统中的数据“快照”与我们生活中所说的“照片”非常相似,所不同的是,照片的对象不是人,而是数据。如同照片留住了我们过去的摸样和岁月,快照把数据在某一时刻的映像也保留了下来。因此我们可以根据快照查找数据在过去某一时刻的映像,常常用来作为增强数据备份系统的一种技术,它可以很大的缩短RTO和RPO两个指标。
2016-07-08 11:33:57
2264
原创 通过变量名获取变量值
public static Object getAllComponentsName(Object f, String name) { Object obj = null; // 获取f对象对应类中的所有属性域 Field[] fields = f.getClass().getDeclaredFields(); for (int
2016-04-20 11:31:50
3521
转载 mysql存储过程语法及实例
存储过程如同一门程序设计语言,同样包含了数据类型、流程控制、输入和输出和它自己的函数库。--------------------基本语法--------------------一.创建存储过程create procedure sp_name()begin.........end二.调用存储过程1.基本语法:call sp_name()注意:存储过
2016-03-25 09:34:46
350
原创 js对象或json对象深拷贝
// 深拷贝js对象var deepCopy = function(obj) {var newO = {};if (obj instanceof Array) {newO = [];}for ( var key in obj) {var val = obj[key];newO[key] = typeof val === 'object' ? argument
2016-01-28 14:44:25
2141
原创 js对象转json字符串,并保留js对象中的javascript脚本
/** * json对象转字符串 * @param obj json对象 * @returns */ function obj2Str(obj){ switch(typeof(obj)){ case 'object': var ret = []; if (obj instanceof Array){
2016-01-28 14:43:31
1127
转载 数据库中视图的作用
转自:http://database.e800.com.cn/articles/2009/719/1248015564465_1.html 视图是从一个或几个基本表(或视图)导出的表。它与基本表不同,是一个虚表。数据库只存放视图的定义,而不存放视图对应的数据,这些数据仍存放在原来的基本表中。所以基本表中的数据发生变化,从视图中查询出的数据也就随之改变了。从这个意义上讲,视图就像一个窗口,透
2015-10-15 11:23:59
442
转载 数据库中的水平分割和垂直分割
转自:http://coach.iteye.com/blog/854354分割表分为水平分割表和垂直分割表两种。分割表增加了维护数据完整性的代价。 水平分割表:一种是当多个过程频繁访问数据表的不同行时,水平分割表,并消除新表中的冗余数据列;若个别过程要访问整个数据,则要用连接*作,这也无妨分割表;典型案例是电信话单按月分割存放。另一种是当主要过程要重复访问部分行时,最好将被重复访问的这
2015-10-15 11:09:47
1744
转载 数据库表结构设计
转载自:http://www.javaeye.com/topic/2816111. 原始单据与实体之间的关系 可以是一对一、一对多、多对多的关系。在一般情况下,它们是一对一的关系:即一张原始单据对应且只对应一个实体。 在特殊情况下,它们可能是一对多或多对一的关系,即一张原始单证对应多个实体,或多张原始单证对应一个实体。 这里的实体可以理解为基本表。明确这种对应关系后,对我们
2015-10-15 11:01:30
3318
转载 数据库表结构设计原则
转载自:http://hi.baidu.com/yzx110/blog/item/0159fadc7b7839a4cd116686.html数据库表结构设计浅谈 这篇文章如题所述,只打算谈一下数据库表本身设计,同时讲到和表结构相关的性能和扩展性问题。下面讲到的东西大多是从实际经验中总结而来,算是对这项技术的一个反思。 基本上在设计数据库表的时候,首先考
2015-10-15 10:28:31
3263
转载 tomcat配置集群负载均衡
作者:niumd Blog:http://ari.iteye.com 转载请注明出处,谢谢 开发的应用采用F5负载均衡交换机,F5将请求转发给5台hp unix服务器,每台服务器有多个webserver实例,对外提供web服务和socket等接口服务。之初,曾有个小小的疑问为何不采用开源的apache、Nginx软件负载,F5设备动辄几十万,价格昂贵?自己一
2015-08-25 18:31:50
380
转载 Hadoop集群(第10期副刊)_常用MySQL数据库命令
1、系统管理1.1 连接MySQL 格式: mysql -h主机地址 -u用户名 -p用户密码 举例: 例1:连接到本机上的MySQL。 首先在打开DOS窗口,然后进入目录 mysqlbin,再键入命令"mysql –u root –p",回车后提示你输密码,如果刚安装好MySQL,超级用户"root"是没有密码的,故直接回车即可进入到MySQL中了,MySQL的提
2015-08-05 18:39:14
364
转载 Hadoop集群(第10期)_MySQL关系数据库
1、MySQL安装 MySQL下载地址:http://www.mysql.com/downloads/1.1 Windows平台 1)准备软件 MySQL版本:mysql-5.5.21-win32.msi 2)安装环境: 操作系统:Windows 7旗舰版 3)开始安装 第一步:双击"msi"安装文件,出现如图1.1-1界面——"MySQL安装
2015-08-05 18:37:57
475
转载 Hadoop集群(第8期)_HDFS初探之旅
1、HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来
2015-08-05 18:36:25
415
转载 Hadoop集群(第7期)_Eclipse开发环境设置
1、Hadoop开发环境简介1.1 Hadoop集群简介 Java版本:jdk-6u31-linux-i586.bin Linux系统:CentOS6.0 Hadoop版本:hadoop-1.0.0.tar.gz1.2 Windows开发简介 Java版本:jdk-6u31-windows-i586.exe Win系统:Windows 7 旗舰版
2015-08-05 18:34:53
567
转载 Hadoop集群(第6期)_WordCount运行详解
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中,用于执行MapReduce任务的机器角色有两个:一个是JobTrac
2015-08-05 18:33:17
397
转载 Hadoop集群(第5期副刊)_JDK和SSH无密码配置
1、Linux配置java环境变量 1.1 原文出处 地址:http://blog.youkuaiyun.com/jiedushi/article/details/6672894 1.2 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录,执行命令 ./jdk-6u14-linux-i586.bin 这时会出
2015-08-05 18:31:38
353
转载 Hadoop集群(第5期)_Hadoop安装配置
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Had
2015-08-05 18:30:07
372
转载 Hadoop集群(第4期)_SecureCRT使用
1、SecureCRT简介 SecureCRT是一款支持SSH(SSH1和SSH2)的终端仿真程序,同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进行加密文件的传输。有流行CRTTelnet客户机的所有特点,包括:自动注册、对不同主机保持不同的特性、打印功能
2015-08-05 18:28:38
536
转载 Hadoop集群(第3期)_VSFTP安装配置
1、VSFTP简介 VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件,它的全称是Very Secure FTP 从此名称可以看出来,编制者的初衷是代码的安全。 安全性是编写VSFTP的初衷,除了这与生俱来的安全特性以外,高速与高稳定性也是VSFTP的两个重要特点。 在速度方面,使用ASCII代码的模式下载数据时,VSFTP的速度是Wu-FTP的两
2015-08-05 18:26:18
391
转载 Hadoop集群(第2期)_机器信息分布表
1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构 其中有一台机器是Master节点,即名称节点,另外三台是Slaver节点,即数据节点。这四台机器彼此间通过路由器相连,从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet,实验网页文档的采集。2、集群机器详细信息2.1
2015-08-05 18:23:38
387
转载 Hadoop集群(第1期)CentOS安装配置
1、准备安装 1.1 系统简介 CentOS 是什么? CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持(通过安全更新方式)。新版本的 CentOS 每两年发行一次,而每个版本的 CentOS 会定期(大概每六个月)更新一次,以便支持新
2015-08-05 18:21:44
414
转载 Hadoop集群(第9期)_MapReduce初级案例
1、数据去重 "数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1 实例描述 对数据文件中的数据进行去重。数据文件中的每行都是一个数据。 样例输入如下所示: 1)file1: 2012-3
2015-08-05 15:59:02
866
转载 详解java线程状态
Java并发编程:Thread类的使用 出处:http://www.cnblogs.com/dolphin0520/p/3920357.html在前面2篇文章分别讲到了线程和进程的由来、以及如何在Java中怎么创建线程和进程。今天我们来学习一下Thread类,在学习Thread类之前,先介绍与线程相关知识:线程的几种状态、上下文切换,然后接着介绍Thread类中的方法的具体使用。
2015-08-05 15:40:53
769
转载 玩转html5<canvas>画图
玩转html5画图原文出处:http://www.cnblogs.com/tim-li/archive/2012/08/06/2580252.html导航前言基本知识绘制矩形清除矩形区域圆弧路径绘制线段绘制贝塞尔曲线线性渐变径向渐变(发散)图形变形(平移、旋转、缩放)矩阵变换(图形变形的机制)图形组合给图形绘制阴影绘制图像(图片平铺、裁剪、像素处理[不只图像、包括其他绘
2015-08-05 10:20:53
418
转载 数据挖掘中所需的概率论与数理统计知识
目录(?)[-]前言第一节微积分的基本概念11极限111数列的极限112函数的极限12导数13微分14积分 15偏导数第二节离散连续多维随机变量及其分布21几个基本概念点22随机变量及其分布221何谓随机变量222离散型随机变量的定义223随机变量分布函数定义的引出224连续型随机变量及其概率密度225各种分布的比较第三节从数学期望方差协
2015-07-03 13:27:56
1215
转载 文本分类,数据挖掘和机器学习
转自:http://blog.chinaunix.net/uid-446337-id-94440.html分类: 机器学习的有概率分类器(probabilistic) ,贝叶斯推理网络(bayesian inference networks) , 决策树分类器(decision tree) ,决策规则分类器(decision rule) ,基于回归的线性最小二乘llsf
2015-04-29 11:21:20
1221
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人