- 博客(100)
- 收藏
- 关注
RSS订阅转载 Openresty学习汇总
在锤子科技发布会上，提到给Openresty的捐赠的事情，出于好奇我在是网上查询了Openresty，看到了Openresty的官网(http://openresty.org/en/)。看到介绍说的很强大，然后开始了解国内外哪些公司在使用，也对Openresty进行了学习，和做了一些Demo ，发现Openresty开发效率确实很高，最后找到了一些资源，在此将这些资料整理出来，方便后期的...
2019-03-14 12:00:00
292
转载 Es+kafka搭建日志存储查询系统（设计）
现在使用的比较常用的日志分析系统有Splunk和Elk，Splunk功能齐全，处理能力强，但是是商用项目，而且收费高。Elk则是Splunk项目的一个开源实现，Elk是ElasticSearch（Es）、Logstash、Kibana上个项目结合。Es就是基于Lucene的存储，索引的搜索引擎；logstash是提供输入输出及转化处理插件的日志标准化管道；Kibana提供可视化和查询统...
2017-01-10 15:44:00
916
转载 CSS中的rem
为什么会使用rem呢？主要还是浏览器和设备的大小不一。这样就涉及到页面布局的不统一啦，先说说pc中的多栏布局吧，多栏布局有三种基本的实现方式：固定宽度、流动、弹性，下面我们就分别说说这三种布局吧。固定宽度布局的大小不会随着用户调整浏览器窗口大小而变化，一般是900到1100像素宽。其中960像素是常见的，因为这个宽度适合所有PC显示器、而且能够被16、12、10、8、6、5、4、...
2016-11-01 14:43:00
282
转载 JavaScript 中变量、作用域和内存问题的学习
这是我学习JavaScript的第二篇文章，之前做过几年的Java开发，发现JavaScript虽然也是面向对象的语言但是确实有很多不同之处。就本篇博客，主要学习总结一下最近学习到的JavaScript的知识，其中有些是网络上的，不过对于理解JavaScript，和在工作总是会很实用的，所以总结了下来：那么就开始吧，首先是变量在JavaScript中变量分为两种：一种是基本类型，...
2016-10-13 18:09:00
154
转载 JavaScript中的事件
最近一段时间正在对JavaScript进行学习，知识太多，需要进行实际的使用和总结，国庆长假正好有时间，写了下面对JavaScript总结，可能对事件的理解还不够完善，希望读者多多指导，拍砖，我将不胜感激。好了直接如题吧。JavaScript中的事件流DOM2级事件规定事件流分为3个阶段：第一阶段：事件捕获阶段，先由文档的根节点Window->Document-&g...
2016-10-06 13:05:00
125
转载 LVS使用整理(1)
开始安装LVS1）下载相关软件包mkdir -p /home/tools/cd /home/tools/wgethttp://www.linuxvirtualserver.org/software/kernel-26/ipadm-1.26.tar.gz2）安装LVS命令lsmod |grep ip_vsca...
2016-04-11 17:56:00
171
转载 【Spark】---- 在Linux集群上安装和配置Spark
1 安装JDK1） 进入JDK官网2） 下载JDK安装包3）配置环境变量，在/etc/profile增加以下代码JAVA_HOME=/home/hadoop/jdk1.6.0_38PATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/li...
2015-01-28 10:15:00
191
转载 【Spark】---- Spark 硬件配置
存储系统Spark任务需要从一些外部的存储系统加载数据（如：HDFS 或者 HBase），重要的是存储系统要接近Spark系统，我们有如下推荐：（1）如果可能，运行Spark在相同的HDFS节点，最简单的方法是建立一个引发相同的节点上的集群独立模式（http://spark.apache.org/docs/latest/spark-standalone.html），和配...
2015-01-11 20:37:00
136
转载 【Spark】----Spark on Yarn
最近从Hadoop 1.x 转到Hadoop 2.x 同时将一些java 程序转为Scala的程序将平台上的代码减少了很多，在实施的过程中，开到一些Spark相关的YARN的部署上都是基于之前的Hadoop 1.x的部分方式，在Hadoop2.2 +版本之上 基本上就不用这么部署了。其原因就是Hadoop YARN 统一资源管理。在Spark官网上Spark应用在集群上以独立...
2015-01-10 00:46:00
118
转载 MySQL多实例，主从同步
由于背景原因，所做的主从同步还是要基于MySQL 5.1的版本，主从同步主要是一个数据库读写访问原来的数据库热度过大，需要做到使用从库对读分压。MySQL主从同步介绍MySQL 支持单双向、链式级联、异步复制。在复制过程中，一个服务器充当主服务器（Master）,而一个或多个其它的服务器充当从服务器（Slave）。 如果设置了链式级联复制，那么，从（slav...
2014-10-21 11:16:00
99
转载 Http客户端识别的方法
Http用户识别的机制方法分为如下几种：1）、承载用户身份的HTTP首部2）、客户端IP地址跟踪，根据客户端IP地址进行识别3）、用户登录，用认证方式设别用户4）、使用胖URL，一种在URL中嵌入识别信息的技术5）、Cookie，一种持久化身份设别技术关于HTTP首部的相关信息在下列表格中列出。HTTP首部首部名称首部...
2014-07-30 16:37:00
351
转载 Mahout推荐算法API详解
前言 用Mahout来构建推荐系统，是一件既简单又困难的事情。简单是因为Mahout完整地封装了“协同过滤”算法，并实现了并行化，提供非常简单的API接口；困难是因为我们不了解算法细节，很难去根据业务的场景进行算法配置和调优。本文将深入算法API去解释Mahout推荐算法底层的一些事。1. Mahout推荐算法介绍 Mahoutt推荐算法，从数据处理能力上，...
2014-07-29 18:20:00
84
转载 Mahout 安装
Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。 1.下载二进制解压安装包。 到http://labs.renren.com/apache-mirror/mahout/0.9下载，我选择下载二进制包，直接解压即可。 $:tar -zxvf mahout-distribution-0.9.tar.gz ...
2014-07-14 10:26:00
131
转载 数据挖掘 学习笔记（一）
数据仓库技术包括 数据清理、数据集成、联机分析处理（OLAP）数据分类、聚类和数据随时间变化的特征数据挖掘：1数据清理（消除噪声和不一致的数据）2数据集成（多中数据源可以组合在一起）3数据选择(从数据库中提取与分析任务相关的数据)4数据变换（数据变换或统一成适合挖掘的形式；如通过汇总或聚集操作）5数据挖掘（基本步骤，使用智能方法提取数据模式）6模式评估（根据某种有趣度量，识别提供知识...
2014-02-23 16:14:00
234
转载 leveldb0
leveldb的源代码进行学习，则纯粹是出于一个码农对美好世界进行探究的好奇。接下来将尽可能从源代码上给出leveldb代码的详尽注释，这里先列出自己在阅读前后的主要参考。0 官方文档http://leveldb.googlecode.com/svn/trunk/源代码，主要使用了1.7.0版本https://leveldb.googlecode.com/files/leveldb-...
2014-02-22 17:30:00
143
转载 大端模式和小端模式
关于大端小端名词的由来，有一个有趣的故事，来自于Jonathan Swift的《格利佛游记》：Lilliput和Blefuscu这两个强国在过去的36个月中一直在苦战。战争的原因：大家都知道，吃鸡蛋的时候，原始的方法是打破鸡蛋较大的一端，可以那时的皇帝的祖父由于小时侯吃鸡蛋，按这种方法把手指弄破了，因此他的父亲，就下令，命令所有的子民吃鸡蛋的时候，必须先打破鸡蛋较小的一端，违令者重罚。然...
2014-02-22 16:49:00
64
转载 信号
一、信号的基本概念为了理解信号，举例说明下：1.用户输入命令，在Shell下启动一个前台进程。2.用户按下Ctrl-c，这个键盘输入产生一个硬中断。3.如果CPU当前正在执行这个进程的代码，则该进程的用户控件代码暂停执行，cpu从用户态切换到内核处理硬件中断。4.终端驱动程序将Ctrl-c解释成一个SIGINT信号，记在该进程的PCB中（也可以说发送一个SIG...
2014-02-22 10:56:00
149
转载 libevent API
http://blog.s135.com/book/libevent/files.html转载于:https://www.cnblogs.com/sunwubin/p/3560396.html
2014-02-22 09:02:00
125
转载 LLServer--》对LevelDB的应用
http://code.google.com/p/llserver/查看libs path的路径LD_DEBUG=libs /usr/bin/llserver -h转载于:https://www.cnblogs.com/sunwubin/p/3559735.html
2014-02-21 16:45:00
130
转载 Linux信号signal处理机制
信号机制是进程之间相互传递消息的一种方法，信号全称为软中断信号，也有人称作软中断。从它的命名可以看出，它的实质和使用很象中断。所以，信号可以说是进程控制的一部分。 一、信号的基本概念 1、基本概念 软中断信号（signal，又简称为信号）用来通知进程发生了异步事件。进程之间可以互相通过系统调用kill发送软中断信号。内核也可以...
2014-02-21 16:10:00
185
转载 守护进程
守护进程（daemon）： 是指在UNIX或其它多任务操作系统中在后台执行的电脑程序，并不会接收电脑用户的直接操作。此类程序会被进程的形式初始化。守护进程程序的名称通常以字母“d”结尾，例如：syslogd就是指管理系统日志的守护进程。 通常，守护进程没有任何存在的父进程（即PPID=1），且在UNIX系统进程层次级中直接位于init之下。守护进程程序通常通过如下方式使...
2014-02-21 15:46:00
119
转载 使用 libevent 和 libev 提高网络应用性能（IBM）
http://www.ibm.com/developerworks/cn/aix/library/au-libev/转载于:https://www.cnblogs.com/sunwubin/p/3558948.html
2014-02-21 10:27:00
168
转载 Libev和LibEvent
libev和libevent功能基本相同，名称相近，到底该用哪一个呢？zhouhh@zhh64:~$ sudo apt-cache search libeventlibevent-dev – Development libraries, header files and docs for libeventevent-rpc-perl – dummy package to install ...
2014-02-20 10:15:00
194
转载 利用TokyoTyrant构建兼容Memcached协议、支持故障转移、高并发的分布式Key-value持久存储系统（转）...
Tokyo Cabinet是日本人 平林幹雄 开发的一款 DBM 数据库，该数据库读写非常快，哈希模式写入100万条数据只需0.643秒，读取100万条数据只需0.773秒，是 Berkeley DB 等 DBM 的几倍。 Tokyo Tyrant是由同一作者开发的 Tokyo Cabinet 数据库网络接口。它拥有Memcached兼容协议，也可以通过HTTP协议进...
2014-02-19 13:14:00
133
转载 HandlerSocket ---MySQL与NoSQL ---SQL与NoSQL的融合（转）
项目地址：https://github.com/ahiguti/HandlerSocket-Plugin-for-MySQL写这一篇内容的原因是MySQL5.6.2突然推出了memcached的功能。NoSQL to InnoDB with Memcached的出现，可以看出NoSQL对关系数据库的确产生了巨大的影响，个人觉得这是一个非常大的进步，可以让开发人员更加方便的使用NoSQ...
2014-02-19 08:46:00
104
转载 使用sqoop把mysql数据导入hive
使用sqoop把mysql数据导入hiveexport HADOOP_COMMON_HOME=/hadoopexport HADOOP_MAPRED_HOME=/hadoopcp /hive/lib/mysql-connector-java-5.1.25-bin.jar /sqoop/lib/share表第一列为自增主...
2014-02-18 14:40:00
3568
转载 HBase中文文档
http://abloz.com/hbase/book.html#d613e75转载于:https://www.cnblogs.com/sunwubin/p/3554207.html
2014-02-18 14:24:00
69
转载 pig（转载）
本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解，此外，作者还在不断地添加本文的内容，希望能帮助一部分人。A...
2014-02-18 14:12:00
216
转载 Pig 中文API（二）、Pig基础知识
Pig中的约定转载于:https://www.cnblogs.com/sunwubin/p/3554155.html
2014-02-18 13:56:00
233
转载 学习地址 hadoop生态圈
http://my.oschina.net/leejun2005/blog/140462http://www.codelast.com/?p=3621&cpage=1#comment-361http://www.datalab.sinaapp.com/?p=128转载于:https://www.cnblogs.com/sunwubin/p/3554030.html...
2014-02-18 12:42:00
61
转载 PolyBase--整合SQLServer和Hadoop
我们一直强调，大数据和传统的关系数据库并不对立，未来公司的的业务将会是大数据和关系型数据库的整合。微软的PolyBase打响了SQL Server和Hadoop整合的第一枪。在2012年度的SQL Server（PASS）峰会（SQL Server专业人士的技术会议）上，微软公布了代码名为”PolyBase”的新功能。微软鲜明地阐述了未来大数据和传统的关系数据库的紧密联系。微软或许不...
2014-02-18 12:38:00
244
转载 java --json
https://github.com/yuanyan/commons-json转载于:https://www.cnblogs.com/sunwubin/p/3549800.html
2014-02-14 16:35:00
62
转载 Disruptor
第一部分。引子谈到并发程序设计，有几个概念是避免不了的。1.锁：锁是用来做并发最简单的方式，当然其代价也是最高的。内核态的锁的时候需要操作系统进行一次上下文切换，等待锁的线程会被挂起直至锁释放。在上下文切换的时候，cpu之前缓存的指令和数据都将失效，对性能有很大的损失。用户态的锁虽然避免了这些问题，但是其实它们只是在没有真实的竞争时才有效。下面是一个计数实验中不加锁、使用锁、使用CA...
2014-02-14 11:11:00
90
转载 rest字符串匹配模式-初次实现方案
一般的rest访问的路径如同这样的路径 http://localhost:8080/AppName/{class}/{method}/{param1}/{param2}... rest的方法分：POST、GET、PUT、DELET 等。在对request做出Response的时候需要对访问的URL进行分析，分析步骤如下：1.先去掉http://localhost:8...
2014-02-14 09:29:00
107
转载 Servlet Rest
http://www.blogjava.net/yongboy/archive/2010/10/01/333609.html转载于:https://www.cnblogs.com/sunwubin/p/3548964.html
2014-02-14 09:07:00
112
转载 netty应用
http://www.blogjava.net/yongboy/archive/2013/05/13/399203.htmlhttp://shentar.me/tag/netty-2/ 代理http://ifeve.com/netty1/转载于:https://www.cnblogs.com/sunwubin/p/3548961.html
2014-02-14 09:01:00
61
转载 memcached单点
一．Repcached （memcached同步补丁）下载地址：http://sourceforge.net/projects/repcached/files/repcached/2.2.1-1.2.8/版本号：memcached 1.2.8 repcached 2.2.11、repcached介绍repcached是日本人开发的实现memcached复制功能，它是一个...
2014-02-14 08:45:00
105
转载 java sql解析
https://github.com/JSQLParser/JSqlParser淘宝博客：http://www.searchtb.com/category/%E6%90%9C%E7%B4%A2%E5%BC%95%E6%93%8E?spm=0.0.0.0.cD8ddZ转载于:https://www.cnblogs.com/sunwubin/p/3548410.html...
2014-02-13 17:07:00
73
转载 java动态编译
一、使用 JavaCompiler 接口来编译 java 源程序(最简单的)使用 Java API 来编译 Java 源程式有非常多方法,目前让我们来看一种最简单的方法,通过 JavaCompiler 进行编译。我们能通过 ToolProvider 类的静态方法 getSystemJavaCompiler 来得到一个 JavaCompiler 接 口的实例。JavaCompi...
2014-02-12 14:00:00
110
转载 随想
1-33 和1-161-33个数字中选取6个数1-16中选取1个数字值的大小并不表示出现的概率大小。这有通过以前的数据来预测将会出现的数字的概率样本： 1-33 的分析样本和1-16分析样本对照至今出席次数：在分析过程中某数字出现的次数热度：在不同的期数上加入权重值Yoga的值=热度/出席次数，求出数字的Yoga值的大小，并排序--------------...
2014-02-11 13:32:00
77
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人