- 博客(137)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 关于架构图的收集整理
产品经理要理解的架构图（结构图）https://www.jianshu.com/p/c90ac1d2c41b来自网络应用架构图应用架构起到承上启下的作用：一方面承接业务架构的落地，另外一方面影响技术选型。比较常用的划分是应用架构类型：单体式、分布式、SOA架构。分布式应用架构中，不同应用是独立的，应用内部高内聚，应用之间松耦合，可以灵活的进行分布式部署。同时缺点也比较明显，那就是不同应用之间通信连接都需要额外的工作量，同时整个架构设计变得复杂维护起来成本必然增加。..
2020-05-12 10:35:08
367
转载 [笔记]intellij IDEA 添加plugin repository
转自https://www.cnblogs.com/you-you-111/p/6292089.html新本子安装IDEA后无法找到go plugin，解决方法：1）File->Settings中点击Browse repositories...2）点击Manage repositories...3）输入jetbrain的plugin repository...
2019-07-13 14:46:27
17774
转载 Ambari配置&安装的若干坑 centos6.8
centos6.5搭建过程可参考： （1）http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari/index.html （2）http://www.ibm.com/developerworks/cn/opensource/os-cn-bigdata-ambari2/index.html注意：
2017-12-01 11:20:57
1047
原创 hadoop spark hbase 单机安装
关闭防火墙如是在虚拟机或是docker里安装,请一定先关闭防火墙,否则外部系统无法访问.systemctl status firewalld.service #检查防火墙状态systemctl stop firewalld.service #关闭防火墙systemctl disable firewalld.service #禁止开机启动防火墙vim /etc/hosts如果没有足够的权限，可以切
2017-11-10 17:11:10
565
原创 haddop从单机改为集群
Host配置vim /etc/hosts如果没有足够的权限，可以切换用户为root。 三台机器的内容统一增加以下host配置： 可以通过hostname来修改服务器名称为master、slave1、slave2192.168.71.242 master192.168.71.212 slave1192.168.71.213 slave2配置SSH无密码登录设置ssh免密...
2017-11-10 16:45:16
238
原创 HBase介绍、搭建、环境、安装部署
1、搭建环境部署节点操作系统为CentOS，防火墙和SElinux禁用，创建了一个shiyanlou用户并在系统根目录下创建/app目录，用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序，用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录，并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiy...
2017-11-08 15:22:44
159
原创 大数据平台架构技术选型与场景运用
引用导读：本文将大数据的工作角色分为三种类型，包括业务相关、数据科学相关和数据工程。大数据平台偏向于工程方面，大数据平台一般包括数据源、数据采集、数据存储、数据分析等方面。 讲师从数据来源、数据源结构、数据变化程度和数据规模等4个维度对数据源进行分类，数据源分类维度的不同决定最后的技术选型。讲师还对数据源分类的定义及选型方式进行详细讲解，最终联系到大数据的应用场景，让数据应用方式更加直观。...
2017-09-26 15:48:24
200
原创 Spark在GrowingIO数据无埋点全量采集场景下的实践
<转自http://www.infoq.com/cn/articles/spark-in-growingio-data>大家好，我是来自GrowingIO的数据工程师付旗，今天跟大家分享的是我们GrowingIO在使用Spark中的经验，遇见的一些问题，以及我们修复的方法。在来之前，昨天晚上我在跟我们组同事讨论的时候，我说我发给他们简要写的我是GrowingIO的大数据工程师，我...
2017-09-26 10:50:46
316
原创 大数据架构流程
数据处理分为三大类： 第一类是从业务的角度，细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。第二类是从技术的角度，细分为Batch、SQL、流式处理、machine learning、Deep learning。第三类是编程模型，细分为离线编程模型、内存编程模型、实时编程模型。结合前文讲述的数据源特点、分类、采集方式、存储选型、数据分析、数...
2017-09-26 01:12:27
1372
原创 数据埋点-浏览器User-Agent大全
以下为原文：截止今天，关于精准广告定向技术的介绍已经全部写完。介绍的写作初衷是总结自己的知识，将知识从片段的、隐形的转化为可以向别人讲述、能够给人帮助的。在总结的过程中自己也提升了很多，同时希望这些内容能够切实的给刚进入这个行业的同学们以帮助。一、基础知识篇：Http Header之User-AgentUser Agent中文名为用户代理，是Http协议中的一部分，属于头域...
2017-09-21 14:02:10
1775
原创 Tomcat启动时卡在“INFO: Deploying web application directory ......”的解决方法
第一次遇到Tomcat在Linux服务器启动卡住的情况，情况很简单，tomcat启动以后卡在INFO: Deploying web application directory ......这句话，具体会卡多久就没测试了。google、baidu都没找到解决方法。幸亏UCloud的技术支持人员给出了解决方案。找到jdk1.x.x_xx/jre/lib/security/Java.se...
2017-05-03 09:20:24
200
原创 docker+jenkins的实现方式(ps.使用dockerfile的方式)
前两天朋友问的，docker+jenkins整合。我也没搞过，但是正好最近有空，我也很有兴趣，就搞一下。docker是什么，以及如何安装，我这里不做解释，只介绍一些我踩过的坑。首先说docker，我用的是centos7的镜像，里面连wget都没有，网上资料也很少，坑也是自己慢慢踩过来。先说路由表，我用的是阿里云，安装完docker，命令会报错，经查找需要改路由表...
2017-04-21 17:17:48
240
原创 基于docker官方的jenkins镜像启动容器
1、基于docker官方的jenkins镜像启动容器运行命令为：docker run --name myjenkins -p 8080:8080 -v /var/ jenkins_home jenkinsdocker run --name myjenkins -p 8080:8080 -v /var/jenkins_home jenkins运行docker run命令时，如果本地没有镜...
2017-04-21 17:16:26
277
原创 在Windows里使用Docker
1 曾经的双系统对于初学Linux的同学，装双系统是一个很大的挑战。下载镜像、上谷歌、上不去谷歌、试各种方法、终于上去了、开始找镜像、下载镜像、刻录光盘、分区、改BIOS启动项顺序、终于装上了、修改引导、改软件源，blablabla。只有经历过的人才懂，精疲力竭。实际在使用时，也并不舒服。想象一下，正在Linux里愉快的写代码呢，不得不上QQ处理一件事情。好嘛，重启，进Wind...
2017-04-21 15:32:57
200
原创 RocketMQ与Kafka对比（18项差异）
转自：https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件，使用MySQL作为消息存储媒介，可完全水平扩容，为了进一步降低成本，我们认为存储部分可以进一步优化，2011年初，Linkin开源了Kafka这个优秀的消息中间件，淘宝中间件团队在对Kafka做过充分Review之后，K...
2017-03-11 22:41:37
127
原创 Lock和synchronized比较详解
今天看了并发实践这本书的ReentantLock这章，感觉对ReentantLock还是不够熟悉，有许多疑问，所有在网上找了很多文章看了一下，总体说的不够详细，重点和焦点问题没有谈到，但这篇文章相当不错，说的很全面，主要的重点都说到了，所有在这里转载了这篇文章，注意红色字体。 在上一篇文章中我们讲到了如何使用关键字synchronized来实现同步访问。本文我们继续来探讨这个问题，从Jav...
2017-03-07 11:35:27
115
原创 探讨Java中static synchronized和synchronized
探讨Java中static synchronized和synchronized synchronized提供内部锁的机制，防止其它线程同时进入synchronized的代码块。synchronized由两部分组成：1.锁对象的引用；2.锁保护的代码块。对锁对象引用的不同，是static synchronized和synchronized最大的区别： 1 publi...
2017-03-07 11:09:19
169
原创 Java 动态代理作用是什么
作者：Intopass链接：https://www.zhihu.com/question/20794107/answer/75164285来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。① 首先你要明白静态代理的作用我们有一个字体提供类，有多种实现（从磁盘，从网络，从系统）public interface FontProvider { Font getFo...
2017-03-05 16:41:00
211
原创 Jenkins+Git+Maven+Shell+Tomcat 持续集成部署环境大众化解决方案
亮点采用shell自定义脚本,控制集成部署环境更加方便灵活精简war包中的lib包,常驻tomcat里，减少war包传输时间Jenkins 用户权限管理构建失败发邮件通知相关人员解决自动按天备份war包,Jenkins配置备份以及版本控制化环境Ubuntu 14.10 (GNU/Linux 3.16.0-33-generic x86_64)准备工作...
2017-03-05 11:42:19
262
原创 理解Java对象序列化
关于Java序列化的文章早已是汗牛充栋了，本文是对我个人过往学习，理解及应用Java序列化的一个总结。此文内容涉及Java序列化的基本原理，以及多种方法对序列化形式进行定制。在撰写本文时，既参考了Thinking in Java, Effective Java，JavaWorld，developerWorks中的相关文章和其它网络资料，也加入了自己的实践经验与理解，文、码并茂，希望对大家有所帮助...
2017-03-05 10:54:02
110
原创 怎么跳出MySQL的10个大坑
转背景关于Group Commit网上的资料其实已经足够多了，我这里只简单的介绍一下。众所周知，在MySQL5.6之前的版本，由于引入了Binlog/InnoDB的XA，Binlog的写入和InnoDB commit完全串行化执行，大概的执行序列如下： [js] view plain copy print?InnoDB prepare （持...
2017-03-05 10:51:09
171
原创 如何实现XA式、非XA式Spring分布式事务
<转自http://www.open-open.com/lib/view/open1429863503010.html>Spring应用的几种事务处理机制Java Transaction API和XA协议是Spring常用的分布式事务机制，不过你可以选择选择其他的实现方式。理想的实现取决于你的应用程序使用何种资源，你愿意在性能、安全、系统稳健性、数据完整方面做出何种权衡。在...
2017-03-05 10:50:47
283
原创 XA事务处理
XA协议由Tuxedo首先提出的，并交给X/Open组织，作为资源管理器（数据库）与事务管理器的接口标准。目前，Oracle、Informix、DB2和Sybase等各大数据库厂家都提供对XA的支持。XA协议采用两阶段提交方式来管理分布式事务。XA接口提供资源管理器与事务管理器之间进行通信的标准接口。XA协议包括两套函数，以xa_开头的及以ax_开头的。 简介编辑取决于上下...
2017-03-02 16:22:29
459
原创 MySQL的临时表和视图有什么优缺点吗
作者：知乎用户链接：https://www.zhihu.com/question/21675233/answer/101170877来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 什么时候使用视图呢？应用场景1：保密工作，比如有一个员工工资表，如果你只希望财务看到员工工资这个字段，而其他人不能看到工资字段，那就用一个视图，把工资这个敏感字...
2017-03-02 14:52:25
2216
1
原创 mysql 临时表、内存表和视图
虚拟表，顾名思义，就是实际上并不存在（物理上不存在），但是逻辑上存在的表。这样说很抽象，还是看一些实际的例子吧。在MySQL中，存在三种虚拟表：临时表、内存表和视图。一、mysql临时表1、什么是临时表临时表是建立在系统临时文件夹中的表，如果使用得当，完全可以像普通表一样进行各种操作。 临时表的数据和表结构都储存在内存之中，退出时，其所占的空间会自动被释放。2、创建临时表(1)定义字段CREATE...
2017-03-02 14:41:00
457
原创 MySQL的经典用法----临时表与内存表
mysql5.5性能优化-内存表临时表与内存表内存表分为2种，但共同点是，重起数据库以后，内存中的数据全部丢失,内存表的功能有部分的限制，有些属性不能像正常表一样使用，所以请大家使用的时候谨慎参照官方文档.下面只是抛砖引玉. 1.临时表:表建在内存里，数据在内存里 2.内存表:表建在磁盘里，数据在内存里 其中包括2个重要的参数 [mysqld] # 内存表容量 max_heap_tabl...
2017-03-02 14:36:14
281
原创 如何用消息系统避免分布式事务？
<转自http://blog.jobbole.com/89140/>前阵子从支付宝转账1万块钱到余额宝，这是日常生活的一件普通小事，但作为互联网研发人员的职业病，我就思考支付宝扣除1万之后，如果系统挂掉怎么办，这时余额宝账户并没有增加1万，数据就会出现不一致状况了。上述场景在各个类型的系统中都能找到相似影子，比如在电商系统中，当有用户下单后，除了在订单表插入一条记录外，对应商...
2017-03-02 12:17:39
95
原创 Netty学习之旅------线程模型前置篇Reactor反应堆设计模式实现（基于java.nio）
<转自http://blog.youkuaiyun.com/prestigeding/article/details/55100075?locationNum=11&fps=1>版权声明：本文为博主原创文章，未经博主允许不得转载。1、Reactor反应堆设计模式1.1、单线程模型 单线程模型Reactor(此图来源...
2017-03-01 11:46:40
318
原创 Java常见面试题总结
一、Java基础 1、String类为什么是final的。2、HashMap的源码，实现原理，底层结构。3、说说你知道的几个Java集合类：list、set、queue、map实现类咯。。。4、描述一下ArrayList和LinkedList各自实现和区别5、Java中的队列都有哪些，有什么区别。6、反射中，Class.forName和classloader的区别...
2017-02-28 17:30:45
188
原创 Mysql几种索引类型的区别及适用情况
如大家所知道的，Mysql目前主要有以下几种索引类型：FULLTEXT，HASH，BTREE，RTREE。那么，这几种索引有什么功能和性能上的不同呢？FULLTEXT即为全文索引，目前只有MyISAM引擎支持。其可以在CREATE TABLE ，ALTER TABLE ，CREATE INDEX 使用，不过目前只有 CHAR、VARCHAR ，TEXT 列上可以创建全文索引。值得一提...
2017-02-28 15:40:50
149
原创 MySQL中的锁（表锁、行锁）
MySQL中的锁（表锁、行锁） 锁是计算机协调多个进程或纯线程并发访问某一资源的机制。在数据库中，除传统的计算资源（CPU、RAM、I/O）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所在有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂。 概述...
2017-02-24 19:18:45
91
原创 好.酷狗音乐的大数据实践（纯干货）spark
此文是根据酷狗音乐大数据架构师王劲在【QCON高可用架构群】中的分享内容整理而成，转发请注明出处。王劲：目前就职酷狗音乐，大数据架构师，负责酷狗大数据技术规划、建设、应用。 11年的IT从业经验，2年分布式应用开发，3年大数据技术实践经验，主要研究方向流式计算、大数据存储计算、分布式存储系统、NoSQL、搜索引擎等。编辑整理：陈刚@北京智识本次分享的主要内容包括：什么是大数...
2017-02-22 19:01:18
731
原创 MySQL 中的数据类型介绍
<转自http://blog.youkuaiyun.com/anxpp/article/details/51284106>2、数值类型（12） 2.1、整数类型（6） 一张图就能解释清楚了： INTEGER同INT。储存不区分大小写的字符数据TINYTEXT 最大长度是 255 (2^8 - 1) 个字符。TEXT 最大长度是 65...
2017-02-20 17:17:16
125
原创 Web网站的几个并发量级
评价一个网站的“大小”，处于视角的不同，有很多种衡量的方法，类似文章数，页面数之类的数据非常明显，也没有什么可以争议的。但对于并发来说，争议非常之多，这里就从一个技术的角度开始，谈谈几个Web网站的数量级。相信很多人谈论一个网站的热度，总免不了会询问日均PV，同时在线人数、注册用户数等运营数据，说实话从技术角度来说，这几个数值没有一个可以放在一起比较的——一个静态网站的PV跟一个SNS类/W...
2017-02-16 16:01:09
124
原创 每个架构师都应该研究下康威定律
<转自http://36kr.com/p/5042735.html>今天的分享主要来自我之前的工作经验以及平时的学习总结和思考。编者按：这篇文章的分享者杨波具有超过10年的互联网分布式系统研发和架构经验，曾先后就职于eBay中国研发中心（eBay CDC）、携程、唯品会（VIPShop）等。本文由攀爬的蜗牛以及田光整理。36氪经授权转载自微信公众号“聊聊架构”。聊聊架构是...
2017-02-15 15:01:57
149
原创 JAVA LinkedList和ArrayList的使用及性能分析
转自http://www.jb51.net/article/42767.htm第1部分 List概括List的框架图List 是一个接口，它继承于Collection的接口。它代表着有序的队列。AbstractList 是一个抽象类，它继承于AbstractCollection。AbstractList实现List接口中除size()、get(int location)之外的函数。Abstr...
2017-02-06 16:50:54
109
原创 深入理解Java中的final关键字
转自http://www.importnew.com/7553.htmlJava中的final关键字非常重要，它可以应用于类、方法以及变量。这篇文章中我将带你看看什么是final关键字？将变量，方法和类声明为final代表了什么？使用final的好处是什么？最后也有一些使用final关键字的实例。final经常和static一起使用来声明常量，你也会看到final是如何改善应用性能的。...
2017-02-06 16:44:21
80
原创 HashMap的扩容机制---resize()
转自http://blog.youkuaiyun.com/aichuanwendang/article/details/53317351 虽然在hashmap的原理里面有这段，但是这个单独拿出来讲rehash或者resize()也是极好的。什么时候扩容：当向容器添加元素的时候，会判断当前容器的元素个数，如果大于等于阈值---即当前数组的长度乘以加载因子的值的时候，就要自动扩容啦。扩容(res...
2017-02-06 14:10:48
125
原创 spring事务传播机制实例讲解
天温习spring的事务处理机制，总结如下 对于SQL事务的概念以及ACID性质，可以参见我的另一篇博文 http://kingj.iteye.com/admin/blogs/1675011spring的管理的事务可以分为如下2类：逻辑事务 在spring中定义的事务通常指逻辑事务，提供比物理事务更抽象，方便的事务配置管理，但也基于物理事务物理事务 特定于数据库...
2016-09-16 15:22:54
117
原创 jps jstat ps jstack jmap jinfo
Jstat是JDK自带的一个轻量级小工具。全称“Java Virtual Machine statistics monitoring tool”，它位于java的bin目录下，主要利用JVM内建的指令对Java应用程序的资源和性能进行实时的命令行的监控，包括了对Heap size和垃圾回收状况的监控。可见，Jstat是轻量级的、专门针对JVM的工具，非常适用。 jstat工具特别强大，有众多的可...
2016-09-16 15:18:02
260
jQuery使用手册及实例
2009-12-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人