liuwen0730的博客

转载 redis源码分析之内存布局

http://mingxinglai.com/cn/2015/06/memory-layout-of-redis/

原创 hive行转列

select field_name, max(case when f_level='F0' THEN count else 0 end) as F0, max(case when f_level='F1' THEN count else 0 end) as F1, max(case when f_level='F2' THEN count else 0 end)...

原创 Hive的常见压缩格式

https://blog.youkuaiyun.com/qq_31807385/article/details/84796880https://blog.youkuaiyun.com/wx1528159409/article/details/88417457

原创 Java面试

https://github.com/aylei/interviewhttps://github.com/frank-lam/fullstack-tutorialhttps://github.com/CyC2018/CS-Noteshttps://github.com/crossoverJie/JCSprouthttps://github.com/Snailclimb/JavaGuide

原创 三个线程对一个数求和

public class Test implements Runnable { private static volatile int count = 0 ; //使用 volatile 修饰基本数据内存不能保证原子性 //private static AtomicInteger count = new AtomicInteger() ; public void run(...

转载 JVM重要知识点整理和学习

JVM是虚拟机，也是一种规范，他遵循着冯·诺依曼体系结构的设计原理。冯·诺依曼体系结构中，指出计算机处理的数据和指令都是二进制数，采用存储程序方式不加区分的存储在同一个存储器里，并且顺序执行，指令由操作码和地址码组成，操作码决定了操作类型和所操作的数的数字类型，地址码则指出地址码和操作数。从dos到window8，从unix到ubuntu和CentOS，还有MAC OS等等，不同的操作系统指令集以...

原创 HashStorage和SetStorage的区别

Hash的value是个Map，Set是个Set

转载 Redis主从同步原理-PSYNC

版权声明：欢迎转载、引用 https://blog.youkuaiyun.com/sk199048/article/details/77922589  之前写过一篇博客（http://blog.youkuaiyun.com/sk199048/article/details/50725369）来介绍了Redis主从同步的过程，里面主要介绍从服务器使用SYNC命令复制数据的过程。Reids复制数据主要有2种场景：1...

原创 tcpdump

tcpdump -i eth1 dst host 10.75.0.253 -n -w - |stringshttps://yq.aliyun.com/ziliao/54308

原创 Cowsay安装

gem install cowsay -v 0.2brew install fortunebrew installlolcathttps://brewinstall.org/Install-lolcat-on-Mac-with-Brew/cmd_sed="$(command -v gsed)" || cmd_sed=sedcmd_lolcat="$(command -v lol...

转载 Socket的长连接和短连接

Socket的长连接和短连接讨论Socket必讨论长连接和短连接一、长连接和短连接的概念　　1、长连接与短连接的概念：前者是整个通讯过程，客户端和服务端只用一个Socket对象，长期保持Socket的连接；后者是每次请求，都新建一个Socket,处理完一个请求就直接关闭掉Socket。所以，其实区分长短连接就是：整个客户和服务端的通讯过程是利用一个Socket还是多个Socket进行的。　　可能你...

原创 MC

echo "get 6067449535.fdult" | nc 10.73.88.64 2505

原创 Hive设置map堆大小

set mapreduce.map.java.opts=-Xmx2048m;

原创 excel解析和下载

import java.io.IOException;import java.io.InputStream;import java.io.OutputStream;import java.lang.reflect.Field;import java.util.HashMap;import java.util.LinkedList;import java.util.List;impo...

原创 Java枚举类

public enum GraphGenreEnum implements Genre { /** * 关注相关。<code>FOLLOWING_VALUE = 100</code>。 */ FOLLOWING(100) { }, /** * 粉丝相关。<code>FOLLOWER_VALUE =...

转载 Shell 实现多任务并发

实现思路实现一个shell进程库，通过类似于init，run，wait几个简单的命令，就可以迅速实现多进程并发，伪码如下：process_init # 创建进程for city in ${cities[*]}do cmd="handler $city" process_run $cmd doneprocess_wait # 等待进程原理解析在实现C++线程库的时候，通常会...

原创 BitMap，MultiMap，LazyMap比较

apache common.collections中新增了几个集合类BitMap：BidiMap，直译为双向Map，也就是可以通过key找value，也可以通过value找到key。这点在我们日常的 key-value 匹配的时候很方便。因为我们除此之外需要通过代码找到名称之外，也需要处理用户输入的名称，然后获取代码。所以，在BidiMap当中，不光是key不能重复，value也不可以重复。Mul...

原创 awk命令

如果第一列相同就第二列相加cat result.all | grep -v "Host" | grep -v "gzip" | awk '{ words[$2] = words[$2] + $1 } END { for(k in words){print k, words[k];} }' | sort -g -k2 > shiminawk ' { SUM += $1 } END { pri...

原创 Shell while循环

#!/bin/bashwhile read linedouid=`echo $line | awk '{print $1}'`ttime=`echo $line | awk '{print $2}'`#rlt=`curl -s "http://127.0.0.1:6310/2/admin/graph/v2/enforce/graph/add.json" -d "source=297594...

原创 SQL JOINS

转载 公钥私钥原理

1.公钥与私钥原理1)鲍勃有两把钥匙，一把是公钥，另一把是私钥2)鲍勃把公钥送给他的朋友们----帕蒂、道格、苏珊----每人一把。3)苏珊要给鲍勃写一封保密的信。她写完后用鲍勃的公钥加密，就可以达到保密的效果。4)鲍勃收信后，用私钥解密，就看到了信件内容。这里要强调的是，只要鲍勃的私钥不泄露，这封信就是安全的，即使落在别人手里，也无法解密。5)鲍勃给苏珊回信，决定采用"数字签名"。他写完后先用H...

原创 去除空行

grep -v "^$"

原创 端口命令

查看端口占用 lsof -i:1080netstat -anpnetstat -lnp

原创 sock5 supported

# sock5 supportedalias allproxy='http_proxy=http://127.0.0.1:1080;export https_proxy=http://127.0.0.1:1080;'alias unproxy='unset http_proxy;unset https_proxy'curl --socks5 127.0.0.1:1080 http://cip.cc...

原创 multipart/form-data

1.什么是multipart/form-data首先我们需要明白在html中的enctype属性， enctype：规定了form表单在发送到服务器时候编码方式。他有如下的三个值。 ①application/x-www-form-urlencoded。默认的编码方式。但是在用文本的传输和MP3等大型文件的时候，使用这种编码就显得 效率低下。 ②multipart/form-data 。 指定传输数...