- 博客(65)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 git 合并两个仓库代码（主仓库合并到分支仓库）
首先说下背景：现在我是从公司主仓库fork到我自己的仓库中，开发完后要先将主仓库代码合并到我自己的仓库中，然后解决冲突后再提pr。主仓库：company:master我的仓库：yoyocheknow:master合并步骤：1:将主仓库的地址添加到自己本地的远程仓库中//git remote add 仓库名称 地址git remote add companyMaster git@gith...
2018-11-08 12:14:00
13160
2
转载 static、final、this、super关键字总结
https://mp.weixin.qq.com/s/HM-p7Ym4HeVZH_Q93IJOhQ
2018-09-15 10:15:13
363
转载 ZooKeeper 概念讲的最清楚的一篇文章
转载于公众号的一片文章： https://mp.weixin.qq.com/s/WNdovBpvJJanJArS2R1emg
2018-09-11 09:50:58
268
原创 Redis分布式锁实现秒杀业务(乐观锁、悲观锁)
1、业务场景 所谓秒杀，从业务角度看，是短时间内多个用户“争抢”资源，这里的资源在大部分秒杀场景里是商品；将业务抽象，技术角度看，秒杀就是多个线程对资源进行操作，所以实现秒杀，就必须控制线程对资源的争抢，既要保证高效并发，也要保证操作的正确。2、一些可能的实现 刚才提到过，实现秒杀的关键点是控制线程对资源的争抢，根据基本的线程知识，可以不加思索的想到下面的一些方法：1)、秒杀在技术层面...
2018-08-31 11:51:18
1435
原创 Spark源码编译及使用
这一篇我们来把Spark环境搭建起来。我们使用编译源码的方式来生成Spark的安装包，为什么不直接用官方的安装包呢？因为我们在使用spark的时候会结合Hadoop来使用，有自己的需求，所以我们使用源码来编译。首先去官网上来下载源码。我们选择2.1.0版本。然后解压。spark源码使用maven构建的，所以在编译之前我们最好下载一个maven，maven版本至少在3.3.9至少，另外J...
2018-08-17 10:45:37
9838
5
原创 Spark及生态圈概述
1.Spark概述及特点先看下官网的描述：Spark:快如闪电般的统一分析引擎。 Apache Spark 是一个专门为大数据集处理的统一分析引擎。有以下特点： Speed Run workloads 100x faster. Apache Spark achieves high performance for both batch and streaming d...
2018-08-16 11:53:12
3615
原创 Hive了解一下
本文分为5部分：Hive产生背景&Hive是什么？为什么使用Hive&Hive发展历程Hive体系架构及部署架构Hive环境搭建Hive基本使用1. Hive产生背景&Hive是什么？MapReduce编程的不便性： 前面的博文我们介绍了Map Reduce的使用。我们首先要申明一个Map和一个Reduce才能处理作业。代码量大，复杂。而且需要...
2018-08-10 18:31:21
693
原创 Hadoop之 集成Spring的使用
spring有专门支持Hadoop的使用。我们看一下官网的介绍：https://spring.io/projects/spring-hadoop Spring for Apache Hadoop simplifies developing Apache Hadoop by providing a unified configuration model and easy to use API...
2018-08-09 20:12:41
6648
原创 Hadoop 无法启动NameNode节点。报错： Cannot assign requested address
主要参考了此博文https://blog.youkuaiyun.com/zhaobudaofangxia/article/details/69333758的解决方法。学习hadoop的时候。刚开始nameNode还能启动成功，但是后来不知道为什么突然又无法启动了。通过hadoop/logs的输入日志发现是如下错误：java.net.BindException: Problem binding to...
2018-08-05 17:08:41
1421
1
原创 Hadoop 之Mapreduce wordcount词频统计案例
首先我们来看一张描述MapReduce运行过程的图。首先input就是输入文件。 spliting:把文件按行经行拆分。 Mapping：把每行的word进行计数。 Shuffing:混洗。将相同的word分发到相同的节点。 Reduceing：对每个节点的word进行统计。以上就是简单的Mapreduce作业过程。下面看下官网的介绍： A MapReduce job ...
2018-08-05 16:56:45
8035
1
原创 Hadoop 之 YARN
Yarn 是一个资源管理，作业调度的框架。 Yarn产生背景： Hadoop1.x时，MapReduce是Master/Slave架构。一个JobTracker带多个TaskTracker. JobTracker负责资源管理和作业调度。TaskTracker,定期向JobTracker汇报本节点的健康状况，资源使用情况，作业执行情况，接受JobTracker的命令。JobTracke...
2018-08-02 16:13:50
309
原创 Hadoop之HDFS JavaAPI使用方法
上一篇我们讲到了用shell命令操作HDFS，现在用Java API操作HDFS。 开发工具：Idea+Maven 首先在Idea上创建一个Maven项目：hadooptrain. POM文件如下所示：<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.ap
2018-08-02 11:23:20
872
原创 Hadoop之HDFS Shell常用命令
HDFS文件系统提供了Shell接口来操作文件，下面我们来写一下常用的shell命令。lsgetmkdirrmput 可以看出基本和Linux命令一样。 ls查看命令的使用：hadoop fs -ls / 可以看到 hdfs里面没有任何东西，现在put进去一个文件。hadoop fs -put hello.txt /然后再查看一下： 成功。 创建一个...
2018-07-31 19:27:50
771
原创 Hadoop之HDFS
HDFS简介： HDFS是设计运行在廉价机器上的分布式文件系统。 HDFS设计目标：支持硬件故障。硬件故障是常态。一个HDFS实例可能是由成百上千个服务器组成。每一个服务器都存储了文件系统的部分数据，因为有大量的服务器节点，而且每个节点都有一定发生故障的概率，这也就意味着有些节点自始至终都没有起作用。所以节点故障的快速发现和快速修复就是HDFS的设计目标。流式数据访问。运行在HDFS上...
2018-07-31 09:27:33
273
原创 初识Hadoop
What Is Apache Hadoop? The Apache™ Hadoop® project develops open-source software for reliable, scalable, distributed computing.官网描述：hadoop是一个可靠的，可以扩展的分布式开源框架。 The Apache Hadoop software lib...
2018-07-30 18:15:22
250
原创 2018年5月Java面试总结
5月底面试了一波，但是效果不尽人意。总结一下面试的情况。面试的公司有阿里，百度，汽车之家，58（两次），链家，36氪。。。先说问题，下一篇再来总结下答案。 阿里： 1. 了解hashmap吗？介绍一下。是不是线程安全的？concurrentHashmap和hashTable有什么区别？ 2. 线程安全的集合有哪些？如果用list呢，线程安全的list有哪些呢？ 3. 在开发中...
2018-07-28 10:45:35
354
原创 Netty线程模型前言
本章介绍netty的线程模型，在讲netty线程模型之前，我们先自己用Java的NIO模仿netty的线程模型写一个例子。代码地址：GitHub代码 代码结构如下所示： 我们先看start类：package com.cn;import java.net.InetSocketAddress;import java.util.concurrent.Executors;impor...
2018-07-17 17:04:37
195
原创 NIO相关概念介绍：缓冲区Buffer,通道Channel,多路复用器Selector
本篇博文参考书籍《Netty权威指南》。1、缓冲区BufferBuffer是一个对象。它包含一些要写入或者读出的数据。在面向流的I/O中，可以将数据写入或者将数据直接读到Stream对象中。在NIO中，所有的数据都是用缓冲区处理。这也就是很多博客说，IO是面向流的，NIO是面向缓冲区的。缓冲区实质是一个数组，通常它是一个字节数组（ByteBuffer），也可以使用其他类的数组。但是一个缓冲...
2018-07-16 18:16:29
884
原创 NIO服务端分析
上篇写到了传统socket ，阻塞I/O的分析。这篇主要写NIO服务端代码。服务端代码：package NIO;import java.io.IOException;import java.net.InetSocketAddress;import java.nio.ByteBuffer;import java.nio.channels.SelectionKey;import j...
2018-07-15 15:23:50
217
原创 NIO之传统socket分析
我们知道netty是基于nio的服务器，客户端网络编程框架。我们先来看下NIO之前，传统socket服务端是如何开发，并起作用的。下面是传统阻塞IO的服务端代码：package OIO;import java.io.IOException;import java.io.InputStream;import java.net.ServerSocket;import java.net....
2018-07-15 11:16:17
296
原创 Netty 之客户端
接着上篇，这篇写一个简单的客户端。netty版本还是3.0的。1、声明一个Client类：package com.client;import java.net.InetSocketAddress;import java.util.Scanner;import java.util.concurrent.ExecutorService;import java.util.concu...
2018-07-14 16:50:35
8360
1
原创 Netty之HelloWorld-简单服务端编写
Netty之HelloWorld本例子用的是Netty3.0版本的jar，后面会用5.0版本的。 引用的jar包如上图所示。 1、接下来创建Server类package com.server;import java.net.InetSocketAddress;import java.util.concurrent.ExecutorService;import java....
2018-07-14 10:54:16
635
原创 Netty基础知识IO模型
总言：netty是一款基于NIO（Nonblocking I/O，非阻塞IO）开发的网络通信框架。准备知识：IO，NIO下面介绍四种I/O模型。1、阻塞I/O模型：缺省情况下所有文件操作都是阻塞的。当一个线程去读取某个缓冲区时，如果缓冲区没有数据，那么这个线程会一致等待下去，这就是阻塞I/O。伪代码如下：{// read阻塞 read(socket, buffer);// 处理buffe...
2018-07-14 10:11:36
4359
原创 Eclipse 安装GWT环境
Eclipse 安装GWT环境eclipse版本为Neon版本，在线安装GWT太慢，一下是本地操作的方法： Eclipse 选择 Help –> Install New Software，在 Work with 部分选择Add 按钮，选择Archive， 弹出框选择本地事先现在好的Google plugin插件（最新4.6版本下载地址：http://download.youkuaiyun.com/dow
2017-09-13 11:12:34
5048
原创 java 读取Excel文件(POI)
java代码读取本地Excel文件. 所需jar包: 上面四个适用于xls格式的,下面四个适用于xlsx格式的. 具体代码如下:import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.io.Inp
2017-07-24 18:23:53
629
转载 SOAP webserivce 和 RESTful webservice 对比及区别
本文转载地址:http://www.importnew.com/24695.html简单对象访问协议（Simple Object Access Protocol，SOAP）是一种基于 XML 的协议，可以和现存的许多因特网协议和格式结合使用，包括超文本传输协议（HTTP），简单邮件传输协议（SMTP），多用途网际邮件扩充协议（MIME），基于“通用”传输协议是 SOAP的一个优
2017-06-28 11:51:54
569
转载 Apache服务器和nginx的优缺点(转)
Apache服务器和nginx的优缺点： 我们之前大量使用Apache来作为HTTPServer。 Apache具有很优秀的性能，而且通过模块可以提供各种丰富的功能。优点：首先Apache对客户端的响应是支持并发的 ，运行httpd这个daemon进程之后，它会同时产生多个孩子进程/线程，每个孩子进程/线程分别对客户端的请求进行响应；另外，Apache可以提供静态和动态的服
2017-06-27 15:26:08
2601
原创 mysql去除特殊字符 单引号（‘）
比如像这样的单引号，去除掉。导入到mysql中以后，用一下语句：UPDATE user_4factors SET mobile=REPLACE(mobile,'\'','')那个单引号需要用 “\”转义一下，不然语法无法识别。
2017-05-11 12:25:37
24199
2
原创 SQL语句总结
如下图所示: 把图一的身份证号,根据姓名赋值到图二中. sql为: update user_4f_name a,user_4f__id b set a.cid=b.cid where a.name=b.name
2017-02-17 15:31:21
1023
原创 git常见命令总结
总结一下git常用的命令,不定期更新. 新加文件:git add hello.java 提交文件:git commit -m ‘提交注释’ 推送到github仓库: git push origin master //推送到主分支 有github后,如果想从本地把代码推送到github仓库中,首先要把仓库clone下来: git clone https://github.com/find
2017-02-16 09:52:20
425
转载 排序算法 详解（转）
高快省的排序算法 转载博客地址：developer.51cto.com/art/201403/430986.htm有没有既不浪费空间又可以快一点的排序算法呢？那就是“快速排序”啦！光听这个名字是不是就觉得很高端呢。假设我们现在对“6 1 2 7 9 3 4 5 10 8”这个10个数进行排序。首先在这个序列中随便找一个数作为基准数（不要被这个名词吓到了，就是一个用来参照的数，待会你就
2016-08-06 14:57:11
2469
原创 判断XML下面的一个节点是否存在
在解析XML时遇到这样一个问题，数据源返回数据时，如果有数据这个节点不存在，没数据时这个节点就存在。所以在解析XML时，如果对这个节点进行解析的话会遇到空指针的错误。List list = doc.selectNodes("/data/results/result/message");if(list.size()==0){ System.out.println("此节点不存在")
2016-08-05 18:09:03
15739
转载 Java堆与栈的区别
转载博文链接： http://my.oschina.net/u/1464779/blog/225590我想这篇足以让大家很清晰理解Java的栈和堆栈的区别。下面的是我收集了好多网友的资料加以整理的。Java 中的堆和栈 Java把内存划分成两种：一种是栈内存，一种是堆内存。 1.栈(stack)与堆(heap)都是Java用来在Ram中存放数据的地方。与C++不同，Java自动管理栈和堆，程序
2016-08-04 15:05:02
2496
原创 LeetCode之flatten binary tree
问题描述：/** * Given a binary tree, flatten it to a linked list in-place. * * For example, * Given * * 1 * / \ * 2 5 * / \ \ * 3 4 6 * The flattened tree should
2016-07-26 17:09:56
2586
原创 LeetCode之查找第一个未出现的正整数
问题描述：/** * Given an unsorted integer array, find the first missing positive integer. * * For example, Given [1,2,0] return 3, and [3,4,-1,1] return 2. * * Your algorithm should run in O(n) time
2016-07-26 15:53:54
4552
原创 LeetCode之EvaluateReversePolishNotation
问题描述：/** * Evaluate the value of an arithmetic expression in Reverse Polish Notation. * * Valid operators are +, -, *, /. Each operand may be an integer or another expression. * * Some examples:
2016-07-26 14:46:50
2486
原创 LeetCode之计算字符串相似度或编辑距离EditDistance
问题描述：/** * Given two words word1 and word2, find the minimum number of steps required to * convert word1 to word2. (each operation is counted as 1 step.) * * You have the following 3 operations pe
2016-07-26 12:39:16
4869
原创 LeetCode之操作两个数相除DivideTwoIntegers
问题描述：/** * Divide two integers without using multiplication, division and mod operator. */让两个数相除，不使用乘法，除法，和取余的方法。 比如这样两个数：35和4.我们知道35除以4等于8余3。 一个思路就是辗转相减法，即每次让35减4，知道小于0，期间有一个count来统计减掉了多少次4，也就是35有多
2016-07-25 16:48:19
2669
原创 LeetCode 之Distinct Subsequences
问题描述：/** * Distinct Subsequences * Given a string S and a string T, count the number of distinct subsequences of T in S. * * A subsequence of a string is a new string which is formed from the ori
2016-07-25 13:57:00
2505
google plugin for eclipse (eclipse的gwt插件)
2017-09-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人