AlbenXie的博客

远程在家办公的第N天，快要闲出屁了，今天突然有个小学弟加我VX说要咨询我点技术问题（终于可以装X了）。 看了他的需求描述，大概是要做一个Java web版本的人脸识别功能，然后存储人物的特征，再扫脸比对。可是我不会啊。。。不过，作为一个宠粉的暖男，别说有困难就是没困难制造困难也要上，既然人家这么真诚的咨询，说明我还是有被需要的价值，不会那就帮着查查资料吧！没想到还有意外的收获~看完他的境遇，忽然想起自己当年做毕设时那无助的样子，是何等的相似。每每看到有这样的咨询，能帮的我都尽自己最大努力帮，毕竟

Docker是一个开源的引擎，可以轻松的为任何应用创建一个轻量级的、可移植的、自给自足的容器。开发者在笔记本上编译测试通过的容器可以批量地在生产环境中部署，包括VMs（虚拟机）、bare metal、OpenStack 集群和其他的基础应用平台。 Docker通常用于如下场景：web应用的自动化打包和发布；自动化测试和持续集成、发布；在服务型环境中部署和调整数据库或其他的后台应用；

林炳文Evankaka原创作品。转载请注明出处http://blog.youkuaiyun.com/evankaka          摘要：本文主要介绍了IBM Bluemix，并详细说明了如何部署Java Web项目，如何添加MySQL服务。最后，提出了自己的一些看法。BluxMix账号注册登陆：https://apps.admin.ibmcloud.com/manage/trial/bl

林炳文Evankaka原创作品。转载请注明出处http://blog.youkuaiyun.com/evankaka         摘要：本文开始简单介绍了Docker以及IBM Bluemix，接下来阐述了如何通过Ubuntu14.04操作系统来配置IBM bluemix的docker容器与镜像的操作环境，并演示了在本地操作镜像push到Bluemix中并创建运行容器输出结果和在Bluemix上一

一、云计算的基本概念　　"云"这个词已经被说得烂到不能再烂了。云计算，云平台，云+端，云服务，云……但与很多行业里的朋友聊天发现，其实大家对云计算到底是怎么个玩意，并不是太了解。作者今天为大家梳理一下，各种各样的“云”，葫芦里都在卖什么药。　　云是网络、互联网的一种比喻说法，计算可以理解为计算机，因此云计算的基本模型，就是远程计算服务：用户通过网络连接到计算机上，获取计算服务。而远

一、摘要　　 随着云计算的出现，出现了很多新的名词，像云数据库、云存储、弹性扩容，资源隔离等词汇。下面就大家炒的比较热的“共享型数据库”做一下解释，给大家剖析什么叫“共享型数据库”。 二、什么是共享型数据库　　谈及“共享型数据库”，最让我们困惑的是“共享型”三个字。 ”共享型“让我们会想到其反义词 — “独享型”。 没错，“共享型数据库”是对比“独享型数据库”的一种针对用户

林炳文Evankaka原创作品。转载请注明出处http://blog.youkuaiyun.com/evankaka         摘要：本文主要讲了如何在阿里云上安装JDK、Tomcat以及其配置过程。最后以一个实例来演示在阿里云上部署Java web项目。本文实例访问：http://120.24.19.24:8080/JavaHelloWorld-0.0.1-SNAPSHOT/ （到20

一、大数据的基本概念1.1、什么是大数据　　大数据指的就是要处理的数据是TB级别以上的数据。大数据是以TB级别起步的。在计算机当中，存放到硬盘上面的文件都会占用一定的存储空间，例如：　　　　文件占用的存储空间代表的就是该文件的大小，在计算机当中，文件的大小可以采用以下单位来表示，各个单位之间的转换关系如下：　　　　平时我们在我们自己的电脑上面常见的就

什么是云服务? 　　 　　我来给您作一个简单的描述：它足够智能，能够根据您的位置、时间、偏好等信息，实时地对您的需求做出预期。在这一全新的模式下，信息的搜索将会是为您而做，而不再是由您来做。无论您采用什么设备，无论您需要哪种按按需服务，您都将得到一个一致且连贯的终极体验。 　　 　　通过繁殖大量创业公司提供丰富的个性化产品，以满足市场上日益膨胀的个性化需求。其繁殖方式是为创业公司提

首先我们先了解一下Hadoop的起源。然后介绍一些关于hadoop生态系统中的具体工具的使用方法。如:HDFS、MapReduce、Yarn、Zookeeper、Hive、Hbase、Oozie、Mahout、Pig、Flume、Sqoop。一、Hadoop的起源Doug Cutting是Hadoop之父 ，起初他开创了一个开源软件Lucene（用Java语言编写，提供了全文检索引

阿里电子商务迄今是中国最大的电商网站，各个厂商都在去模仿。就像google的大数据处理，Hadoop的思想等等，只有做出了一些成绩，起了带头羊，那么将会是非常吃香的。从今天开始简单学习了解一下阿里的各种云服务。今天先看一下OSS。         OSS（Open Storage Service）开放云存储服务，是阿里云对外的提供的海量，安全和高可靠的云存储服务。目前阿里的所有云服务都是收

目录(?)[+]看到这里收藏的资料很多，先摘过来，学到那块看那块，不断深入……原文地址：http://www.cnblogs.com/xia520pi/archive/2012/01/02/2310118.html1）Cygwin相关资料　　（1）Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案　　地址

alimaven aliyun maven http://maven.aliyun.com/nexus/content/groups/public/ central

MQ简介：　　MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过写和检索出入列队的针对应用程序的数据（消息）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行...

林炳文Evankaka原创作品。转载请注明出处http://blog.youkuaiyun.com/evankaka         摘要：本文主要讲了如何在Ubuntu14.04 64位系统下来创建一个运行Java web应用程序的Docker容器。一、下载镜像、启动容器1、下载镜像先查看镜像[html] view plain co

前言经过前三篇文章的介绍，已经通过VMware安装了Hadoop集群环境，当然，我相信安装的过程肯定遇到或多或少的问题，这些都需要自己解决，解决的过程就是学习的过程，本篇的来介绍几个Hadoop环境中需要用到的软件，确切的说是两款：VSFTP和SecureCRT。闲言少叙，进入本篇的正题。背景这里简要说明下这两款软件的作用。1、VSFTP这个从字面就能理解就

前言上一篇我们讲解了Hadoop单节点的安装，并且已经通过VMware安装了一台CentOS 6.8的Linux系统，咱们本篇的目标就是要配置一个真正的完全分布式的Hadoop集群，闲言少叙，进入本篇的正题。技术准备VMware虚拟机、CentOS 6.8 64 bit安装流程我们先来回顾上一篇我们完成的单节点的Hadoop环境配置，已经配置了一个CentO

目录(?)[+] 一、前言      这几天一直东奔西跑没来得及写点东西，昨天闲了下来，意外发现本好书，《云计算应用开发实践》，应用中讲解了云计算的发展和一些项目实例，真是对我了的胃口，于是，花了两天时间把它啃了下来，后半部分实战还是蛮难得，不过讲解的确实很易懂，我个人云计算具体是什么，之前都不是很清楚，一步步跟着作者的思维算是有了点头绪。这本书从需求上引入云计算，对云计算

目录(?)[+]前言      通过前两章的学习，大体了解了云计算，虽然有些内容并不是很了解，包括JMeter、JConsole的使用，ISF虚拟化平台搭建，Tomcat负载均衡器的配置都没有写文章单独介绍，下一步我会逐个补充上，谈到JConsole，好巧不巧，这几天在看的《HotSpot实战》中就提到了它，由JMX模块提供对外访问接口，提前说下，HotSpot是Java的

目录(?)[+]前言        前几章将有特点的公有云计算平台都介绍了一下，这里费下嘴，不是说只有这些云平台，实际上有很多，到现在Bat、360等都得云计算平台有涉及，方向、功能大体相似，我们常用的网盘算是其中之一。通过前面云计算的介绍，云计算相关的虚拟化、并行计算、主机管理等技术，我们也积累很多东西，现在就开始应用到实践中。第五章在云上开发你的应用     

前边我们介绍了Hadoop项目的两大基础支柱HDFS和MapReduce，随后又介绍了子项目Pig：一种用类似于SQL的、面向数据流的语言对HDFS下的数据进行处理的MapReduce上层客户端，这大大满足了那些不会Java，不会写MapReduce的程序员。但是对于那些以前一直从事Oracle等关系型数据库数据分析的数据分析师，DBA等，还是有些棘手的。而Hadoop的另一个子项目Hive则解决

前边，讲述了Hadoop的两大支柱HDFS和MapReduce，我们通过将大数据的数据文件放在HDFS上，利用Java编写Map-Reduce,来实现数据的各种分析，并预测一些东西，实现大数据的商业价值，从而也体现了Hadoop价值所在。     但是反观传统系统中，我们都是通过数据库进行数据分析的，例如关系型数据库：Oracle,SQL Server,MySQL等，更进一步的

上篇博客最后我们讲述了WordCount的Hadoop官方源码，主要看map类的编写规则，入参（从文件）出参（经过shuffle，combiner过程给reduce），reduce的编写规则，入参（从map类中获取），出参（想要的结果输出到文件中）。下边我们再进一步通过几个例子（在hadoop实战中摘取），来加深map-reduce的编程规则，至于具体到map，reduce内部，如何处理数据，则涉

上篇讲述了Hadoop的核心内容之一HDFS，是Hadoop分布式的平台基础，而这讲的MapReduce则是充分利用Hdfs分布式，提高运行效率的算法模型 ，Map(映射)和Reduce(归约)两个主要阶段都以键值对作为输入和输出，我们需要做的就是对这些，value>做我们想要的处理。看似简单实则麻烦，因为这里太灵活多变。      一，好，首先来看下边两个图，看下mapreduc

目录(?)[+]看到这里收藏的资料很多，先摘过来，学到那块看那块，不断深入……原文地址：http://www.cnblogs.com/xia520pi/archive/2012/01/02/2310118.html1）Cygwin相关资料　　（1）Cygwin上安装、启动ssh服务失败、ssh localhost失败的解决方案　　地址

随着人民生活水平的提高，随着各种各类数据指数级的增长，“大数据”、“互联网+”、“云时代”等等各种名词已经成为当今社会的潮流，各种数据分析建立在TB,PB,EB,甚至ZB和YB数量级上，以前看似遥不可及，现在已经屡见不鲜。而如何很好的利用好这些数据，使之为我们产生巨大的商业价值，已经是当今IT界的精英们不断突破的方向。而Hadoop则是如今处理这些问题，最基础，最主流，开源并不断改进的一款分布式系

前两天和一个朋友在聊天的时候说，很多自学Hadoop的朋友80%都会夭折在集群环境的搭建上，原因吗无在乎：1，没有很好的电脑配置，不能像机房一样用多台电脑搭建起集群；2，对Linux的不熟悉，各种小黑窗，linux命令……；3，环境搭建的反锁步骤，需要耐心+细心+认真等等吧。不过吗，我觉的，只要敢于坚持，敢于付出都是会成功的。下边讲述一下我的Hadoop集群搭建过程，由于条件有限，也是在虚拟机中进

上篇讲述了Hadoop分布式集群环境的搭建，其实重要是HDFS分布式文件系统的搭建，MapReduce主要是需要我们程序员来进行编写算法来进行逻辑运算的。这篇就重点来讲述一下HDFS（HadoopDistribute File System，也就是Hadoop分布式文件系统）。     一、HDFS的主要设计理念：     1、存储超大文件，这里的“

前言关于时下最热的技术潮流，无疑大数据是首当其中最热的一个技术点，关于大数据的概念和方法论铺天盖地的到处宣扬，但其实很多公司或者技术人员也不能详细的讲解其真正的含义或者就没找到能被落地实施的可行性方案，更有很多数据相关的项目比如弄几张报表，写几个T-SQL语句就被冠以“大数据项目”，当然了，时下热门的话题嘛，先把“大数据”帽子扣上，这样才能显示出项目的高大上，得到公司的重视或者高层领导的关

前言前面我们主要分析了搭建Hadoop集群所需要准备的内容和一些提前规划好的项，本篇我们主要来分析如何安装CentOS操作系统，以及一些基础的设置，闲言少叙，我们进入本篇的正题。技术准备VMware虚拟机、CentOS 6.8 64 bit安装流程因为我的笔记本是Window7操作系统，然后内存配置，只有8G，内存配置太低了，当然为了演示，我会将Hadoop

学习了很久的Hadoop和一些分布式应用，竟还没有正确理解大数据和云计算的区别，这里做个规整，其实，这也发现对于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别用一句话直白解释就是：云计算就是硬件资源的虚拟化；大数据就是海量数据的高效处理。虽然上面的一句话解释不是非常的贴切，但是可以帮助你简单的理解二者的区别。另外，如果做一个更形象的解释，云计算相当于我们的计