悟道人生

原创 分析型数据库

这些厂商在分析型数据库市场上占据着主导地位，其拥有的产品线也非常完整，从传统的数据仓库、商业智能到现代化的云数据仓库、数据湖全部都覆盖。分析型数据库拥有快速的数据处理、高效的查询性能、灵活的数据存储和智能化的数据分析能力等特点，被广泛应用于数据仓库、商业智能、数据分析、人工智能等领域。除了主流的大型厂商，还有一些新兴的分析型数据库厂商正在崛起，例如Snowflake、Amazon Redshift、Google BigQuery等，它们拥有极致的云原生特点和卓越的性能，受到越来越多企业和用户的关注和青睐。

转载 比Spark快10倍的Hadoop3.0有哪些实用新特性？

Hadoop 3.0中引入了一些重要的功能和优化，包括HDFS可擦除编码、多Namenode支持、MR Native Task优化、YARN基于cgroup的内存和磁盘IO隔离、YARN container resizing等。 Hadoop 3.0的alpha版预计今年夏天发布，GA版本11月或12月发布。

转载 JVM 并发性: Java 和 Scala 并发性基础

处理器速度数十年来一直持续快速发展，并在世纪交替之际走到了终点。从那时起，处理器制造商更多地是通过增加核心来提高芯片性能，而不再通过增加时钟速率来提高芯片性能。多核系统现在成为了从手机到企业服务器等所有设备的标准，而这种趋势可能继续并有所加速。开发人员越来越需要在他们的应用程序代码中支持多个核心，这样才能满足性能需求。 在本系列文章中，您将了解一些针对 Java 和 Scala 语言的并发编程的新

转载 JVM 并发性: Java 8 并发性基础

在期待已久的 Java 8 版本中，并发性方面已实现了许多改进，其中包括在 java.util.concurrent 层级中增加新的类和强大的新并行流 功能。设计流的目的是与 lambda 表达式 共同使用，Java 8 的这项增强也使得日常编程的其他很多方面变得更加简便。（参见介绍 Java 8 语言的 指南文章，了解对于 lambda 表达式的介绍及相关 interface 改动。） 本文首先

转载 Java 8 语言变化

Java 8 的最大变化在于添加了对 lambda 表达式 的支持。Lambda 表达式是可按引用传递的代码块。它们类似于一些其他编程语言中的闭包：它们是实现某项功能的代码，可接受一个或多个输入参数，而且可返回一个结果值。闭包是在一个上下文中定义的，可访问（对于 lambda 表达式而言是只读访问）来自上下文的值。 如果您不熟悉闭包，不用害怕。Java 8 lambda 表达式其实是匿名内部类的一

转载 java多线程学习-java.util.concurrent详解(四) BlockingQueue

“支持两个附加操作的 Queue，这两个操作是：获取元素时等待队列变为非空，以及存储元素时等待空间变得可用。“ 这里我们主要讨论BlockingQueue的最典型实现：LinkedBlockingQueue 和ArrayBlockingQueue。两者的不同是底层的数据结构不够，一个是链表，另外一个是数组。

转载 java多线程学习-java.util.concurrent详解(三)ScheduledThreadPoolExecutor

我们先来学习一下JDK1.5 API中关于这个类[ScheduledThreadPoolExecutor]的详细介绍： 可另行安排在给定的延迟后运行命令，或者定期执行命令。需要多个辅助线程时，或者要求 ThreadPoolExecutor 具有额外的灵活性或功能时，此类要优于 Timer。 一旦启用已延迟的任务就执行它，但是有关何时启用，启用后何时执行则没有任何实时保证。

转载 java多线程学习-java.util.concurrent详解(二)Semaphore/FutureTask/Exchanger

3. Semaphore     我们先来学习一下JDK1.5 API中关于这个类的详细介绍：“一个计数信号量。从概念上讲，信号量维护了一个许可集。如有必要，在许可可用前会阻塞每一个 acquire()，然后再获取该许可。每个 release() 添加一个许可，从而可能释放一个正在阻塞的获取者。但是，不使用实际的许可对象，Semaphore 只对可用许可的号码进行计数，并采取相应的行动

转载 java多线程学习-java.util.concurrent详解(一) Latch/Barrier

Java1.5提供了一个非常高效实用的多线程包：java.util.concurrent, 提供了大量高级工具，可以帮助开发者编写高效、易维护、结构清晰的Java多线程程序。从这篇blog起，我将跟大家一起共同学习这些新的Java多线程构件 1. CountDownLatch 我们先来学习一下JDK1.5 API中关于这个类的详细介绍： “一个同步辅助类，在完成一组正在其他线程中执行的操作之前

转载 java.util.concurrent 使用详解

java.util.concurrent 包含许多线程安全、测试良好、高性能的并发构建块。不客气地说，创建 java.util.concurrent 的目的就是要实现 Collection 框架对数据结构所执行的并发操作。通过提供一组可靠的、高性能并发构建块，开发人员可以提高并发类的线程安全、可伸缩性、性能、可读性和可靠性。

转载 java.util.concurrent.CountDownLatch的使用（转）

CountDownLatch是一个同步辅助类，犹如倒计时计数器，创建对象时通过构造方法设置初始值，调用CountDownLatch对象的await()方法则处于等待状态，调用countDown()方法就将计数器减1，当计数到达0时，则所有等待者或单个等待者开始执行。

转载 69 个经典 Spring 面试题和答案

Spring 概述1. 什么是spring?Spring 是个java企业级应用的开源开发框架。Spring主要用来开发Java应用，但是有些扩展是针对构建J2EE平台的web应用。Spring 框架目标是简化Java企业级应用开发，并通过POJO为基础的编程模型促进良好的编程习惯。2. 使用Spring框架的好处是什么？轻量：Spring 是轻量的，基本的

转载 中国移动业务支撑系统简介（BOSS、BASS、BOMC、4A及VGOP）

业务支撑系统（Business Support Systems，简称BSS）主要应用于通信行业，通过该系统对用户执行相应业务操作。它采用省中心/全国中心两级系统架构，两级系统相辅相成，共同构建全网服务/全网运营的运营支撑能力。省中心将侧重于省内业务的运营，在满足个性化、本地化的业务需求的基础上，提供标准化的接口以满足全网运营的要求，通过业务支撑系统提供全网共享、一致的业务和服务能力，实现面

原创 Elasticsearch For Apache Hadoop （ES-Hadoop）最新介绍

连接快速搜索与大数据分析Elasticsearch For Apache Hadoop（ES-Hadoop）是解决用户既需要进行多种分析，又需要进行快速搜索的需求的。 最新版本ES-Hadoop 2.2 与 Elasticsearch 2.x 能够完美结合

转载 ubuntu开机只能进入grub命令行的解决(WUBI安装)

grub>lsgrub>ls (hd0,x)/             #找出WUBI安装的盘，里面有ubuntu/这个目录。grub>insmod ntfs           #加载ntfs模块，因为WUBI将ubuntu安装到了我分的ntfs盘上grub>set root=(hd0,5)    #这里(hd0,5)就是我找到的ubuntu安装的分区grub>loopback

翻译 Ambari实现一个自定义的服务

在这个例子中，我们将创建一个称为“SAMPLESRV”的自定义的服务，将它添加到现有源里面。这服务包括MASTER, SLAVE和CLIENT 组件。创建和添加服务在Ambari服务器，进入/var/lib/ambari-server/resources/stacks/HDP/2.0.6/services目录。在这种情况下，我们将浏览到HDP-2源的。

翻译 ambari使用了那些技术

Ambari Server服务端代码 : Java 1.6 / 1.7Agent 脚本 : Python数据库 : Postgres, Oracle, MySQLORM : EclipseLink安全 : Spring Security with remote LDAP integration and local databaseREST服务 : Jersey (JAX

转载 Ambari 架构

下下图描述Ambari服务器的设计：下图描述Ambari代理的设计：

转载 Ambari之stack介绍

Ambari-stack整体介绍Ambari-stack 表示hadoop某个发行版本，例如HDP-1.0.0，在用ambari创建一个集群时，首先要通过调用restfulAPI设置stack版本。stack下包含一个或多个service，例如HDP-2.0.6下包括多个service，分别是 ZOOKEEPER，HDFS，YARN，等。单个service下通过配置service下存储的m

转载 Ambari-Blueprint介绍

Ambari-Blueprint整体介绍ambari-blueprint主要作用是通过提供一个restAPI，调用几次API就可以创建一个集群，ambari-server解析stack下的role_command_order.json文件来自动部署集群，role_command_order.json文件记录着各个服务与组件的部署顺序，ambari-server会自动根据顺序建立task，这

转载 Ambari-整体介绍

Ambari目标解决Hadoop生态系统部署部署：hadoop组件间有依赖，包括配置、版本、启动顺序、权限配置等。部署过程跟踪。能够展示出部署过程中每个步骤的状态及相关信息。多机部署问题，当集群规模增加后，机器出问题机率增加，在部署或更新中可能会出现机器故障组件本身设计：hadoop及其组件需要容忍机器的故障，同时需要防止不兼容版本组件给系统带来

转载 Ambari安装指南

一、准备工作l 基本工具1) 安装epel,epel是一个提供高质量软件包的项目。先检查主机上是否安装：rpm -q epel-release2) 如果没有安装，使用rpm命令安装：rpm -ivh http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm   （也可手

转载 Impala 优化

1． 对于档案表，不要做分区，对轨迹数据表，推荐一个分区数据需要大于1GB，一搬情况下按日期的年或者月来做分区，以方便管理。2． 碰撞比对不需要字段，不要创建到impala表中，比如常住人口表碰撞比对只要10列，但源表有50更，只要创建10列表就行。3． 数据导入或者更新后，执行compute stats table_name获取最新统计信息。4． 碰撞的时候，检查集群所有

转载 No space left on device的原因

看到这个错误，第一个反应是磁盘空间满了；但 df 一看，每个分区的空间都还富余的很。从 munin 的监控图表上看 Filesystem usage 也很平稳，但下面的 Inode usage 就有问题了，其中一个分区的 usage 已经到了100%。赶紧跑到服务器上 df -i 检查，果然是 Inode 耗尽。原来这个分区是用来扔各种日志和临时文件的，其中有某个程序产生的临时文件又小又多，又

原创 linux出现Cannot set LC_CTYPE to default locale: No such file or directory错误的解决办法

Cannot set LC_CTYPE to default locale: No such file or directory是本地的语言包没有安装 修改/etc/locale.genecho en_US ISO-8859-1 >> /etc/locale.genecho en_US.UTF-8 UTF-8 >> /etc/locale.genec

原创 修改linux分辨率

修改linux（centos、redhat、ubuntu等）分辨率，1、虚拟机中，想要将显示界面改成与屏幕一样大小，你修改分辨率，然后注销就可以了。注意：修改分辨率的时候，要先将“显示”菜单中“硬件” 点配置，这个分辨率选择后。再在“显示”菜单中“设置”选你要分辨率。两次选择要选一致的。然后注销就OK了。

转载 ORACLE EXP/IMP 说明

Oracle 的导出导入是一个很常用的迁移工具。 在Oracle 10g中，Oracle 推出了数据泵(expdp/impdp). 它可以通过使用并行，从而在效率上要比exp/imp 要高。       在Oracle 10g和11g的官方文档里没有搜到有关exp/imp 的说明， 在9i里找到了相关的使用说明。 连接如下： Exporthttp://download.or

原创 ubuntu remmina 调整窗口大小以适应远程分辨率

ubuntu 11.04使用了 remmina作为默认的远程控制软件，有个问题是 调整窗口大小以适应远程分辨率 这个按钮 点击后 由于不能计算出分辨率，导致不停的计算无法使用解决方法：在 ～.remmina/  下面找到你的配置文件然后修改 里面的 viewmode=1 修改为 viewmode=0就可以了

原创 hadoop、hbase、hive环境搭建时候遇到的问题汇总

1、select  *  from table  可以查询，但是select  column from table  ，报错说是/home/hadoop/hive/lib/hbase-0.94.1.jar 不存在，但是去文件夹下面查看是存在的，后来发现问题是由于在配置文件hive_site.xml里面 hive.aux.jars.path 添加这个jar的时候后面多敲了个空格，去掉空格后就

转载 Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Membase vs Neo4j comparison

While SQL databases are insanely useful tools, their monopoly of ~15 years is coming to an end. And it was just time: I can't even count the things that were forced into relational databases, but neve

转载 关于log4j 2.0

About Log4j 2Log4j 2 is an upgrade to Log4j that provides significant improvements over its predecessor, Log4j 1.x, and provides many of the improvements available in Logback while fixing some inh

原创 log4j 2.0 报ExceptionInInitializerError，初始化异常

Exception in thread "main" java.lang.ExceptionInInitializerErrorCaused by: java.lang.NullPointerException at org.apache.logging.log4j.LogManager.getLogger(LogManager.java:129) at com.unimas.config.

原创 forall BULK COLLECT 从表里面直接拉数据

1、通过BULK COLLECT 批量将表里面的数据抽出2、通过forall批量插入新表中DECLARE TYPE table_forall IS TABLE OF test_forall%ROWTYPE; v_table table_forall; BEGIN SELECT mub.user_id,mub.user_name

转载 node.js的介绍

官方网站： http://nodejs.org/Node.js is a platform built on Chrome's JavaScript runtime for easily building fast, scalable network applications. Node.js uses an event-driven, non-blocking I/O mod

转载 食物相克图标

原创 go语言学习-golang保留字

golang保留字break default func interface selectcasedefergomapstructchanelsegotopackageswitchconstfallthroughifrangetypecontinueforimport

原创 go语言学习-golang的基本数据类型

int，Runes（注：Rune 是int 的别名）int8 ,int16 ,int32 ,int64 byte ,uint8 ,uint16 ,uint32 ,uint64 （注：byte是uint8 的别名）float32 ，float64 (没有float 类型)boolstringcomplex128，complex64

原创 go语言学习-在ubuntu上安装golang

golang(中文名：go语言)是谷歌2009发布的第二款开源编程语言。Go语言专门针对多处理器系统应用程序的编程进行了优化，使用Go编译的程序可以媲美C或C++代码的速度，而且更加安全、支持并行进程。golang的安装在ubuntu上其实很简单sudo add-apt-repository ppa:gophers/gosudo apt-get updatesudo apt-ge

原创 soapui 在linux服务器上报错解决方法

Configuring log4j from [/opt/soapui-4.5.0-Beta1/bin/soapui-log4j.xml]16:58:05,807 INFO [DefaultSoapUICore] initialized soapui-settings from [/opt/soapui-4.5.0-Beta1/soapui-settings.xml]16:58:06,608

原创 防火墙代理

#!/bin/bash# TCP Proxy using IPTablesIPTABLES=/sbin/iptablesecho 1 > /proc/sys/net/ipv4/ip_forward# Flush nat table$IPTABLES -t nat -F# tcpproxy LOCAL_IP LOCAL_PORT REMOTE_IP REMOTE_PORTfun