- 博客(257)
- 收藏
- 关注
RSS订阅原创 IBM Cognos 11 简单Dashboard创建
相对Tableau，Cognos的长项在于稳定性、Framework、report这些领域，dashboard相对是其弱项。1、上传数据源2、在My content 找到上传的数据3、点 “编辑” 按键，切换到编辑菜单4、可以通过下图按钮切换组件位置摆放template5、正上方可以切换工作区域6、右上解Properties 按钮打开
2017-09-08 12:21:13
1838
原创 Tableau 10.3 简单Dashboard创建
Report这东西是有图有真相的典型例子，直接上图说明。1、引入数据源2、类型设定3、前期数据源过滤（if required）4、进入Dashboard edit mode5、Dimension 和 Measure 可以相互转换 （Dimension对应x/y轴维度，Measure用于实际值展示）6、选择对应Dashboard的图
2017-09-08 12:03:32
6594
原创 mysql installation guide (windows)
find cmd icon, right click, run as administrator-- my.ini[mysqld]skip-grant-tablescharacter_set_server=utf8basedir=C:\mk\program\mysql-5.7.14-winx64datadir=C:\mk\program\mysql-5.7.14-win
2017-08-26 12:10:04
555
原创 MySQL Cluster (NDB) Installation Guide
Architecturehttp://www.cnblogs.com/shihaiming/p/6084965.htmlGuidehttps://dev.mysql.com/doc/refman/5.7/en/mysql-cluster-installation.htmlhttp://www.cnblogs.com/ziqang/p/6108176.htmlhttp:/
2017-06-14 18:17:10
1291
原创 双机相互免密(ssh)
双机相互免密简单设置示例：#centos2 Nodesu - postgres（或其它所需用户）ssh-keygen -t rsa（一直回车）cp id_rsa.pub authorized_keysssh-copy-id -i centos3ssh centos3#centos3 Nodesu - postgres（或其它所需用户）
2017-06-14 18:13:19
430
转载 循环神经网络RNN（二）深度学习之父的神经网络第八课（中文字幕）
本人参与译作，欢迎观看。循环神经网络RNN（二）深度学习之父的神经网络第八课（中文字幕）
2017-05-19 10:22:59
797
原创 人工智能的走向
我不擅长写这类预测文，不过今天有些感觉，也就记下来。人工智能的走向会是什么呢？1）创造性要想真正引发人工智能的爆发，甚至超越工业革命后的智能革命（当然，现连智能革命还未到），必须要让人工智能具有创造性，那怕是一点点的创造性（创意）。人类为什么会有创造性思维？有人说是因为意外，一次次的意外，导致人类的进步。而现在的人工智能就是有约束条件、无意外运算的实现，这样就没法发生“
2017-04-02 10:41:19
651
原创 大数据平台创新
我曾为多个银行数据中心架构大数据平台及相关应用，现将部分成果记录下来。其总体以数据仓库、大数据分析平台为核心，整合差异化的数据服务能力，满足各类用户对数据的集成性、服务的多态性、平台可管控性的需求，更快速实现产品、服务、流程的创新，并支持业务创新模式。在搭建大数据平台的同时，还要关注如何把数据真正地用起来，为此，建立了多个数据应用，把大数据与业务紧密地结合起来。大数据平台的
2017-03-29 17:31:09
6823
原创 Apache Ignite
2015年开源到Github，同年成为Apache顶级项目，支持Java、.Net、C++、Scala。简而言之，是一个比Redis、Spark、Storm更为快速的实时-分布式-内存-支持事务-支持SQL的框架。是Alluxio（前身Tachyon）的挑战者。缺点很明显：未见生产级应用，实操资料很少，近乎只有源码和API。 1、Advanced Clustering通过心跳服
2017-03-11 19:54:13
3440
原创 PostgreSQL XL Installation Guide
Host1Host2全局配置vi /etc/profileexport PGHOME=/appl/postgres-xl-9.5r1.4export PGUSER=pgxlexport LD_LIBRARY_PATH=$PGHOME/libexport PATH=$PATH:$PGHOME/binsource /etc/profile
2017-01-11 15:31:47
1813
原创 Ubuntu初始化与Centos异同
1.1 apt-getapt-getinstall apache2 #安装apache设置apt-get本地源http://www.upantool.com/sense/2014/4679_4.html 1.2 NetworkingUbuntuCentosvim /etc/hosts vi
2016-11-30 17:45:41
605
转载 SpringCloud分布式开发五大神兽
SpringCloud分布式开发五大神兽服务发现——Netflix Eureka客服端负载均衡——Netflix Ribbon断路器——Netflix Hystrix服务网关——Netflix Zuul分布式配置——Spring Cloud ConfigEureka一个RESTful服务，用来定位运行在AWS地区（Region
2016-11-04 17:52:21
3014
原创 Tomcat单机安装(centos/linux)
# 初始化tar -zxvf /home/apache-tomcat-8.5.4.tar.gz -C /homemv apache-tomcat-8.5.4 tomcat_appl# 配置(暂不进行)##vi /home/tomcat_appl/bin/catalina.sh## 在一堆注释后加入：##JAVA_OPTS="-server -Xms800m -Xmx80
2016-10-13 14:37:02
380
原创 weblogic单机安装（centos/linux）
下载：http://www.oracle.com/technetwork/cn/middleware/ias/downloads/wls-main-091116-zhs.html或http://www.oracle.com/technetwork/middleware/weblogic/downloads/wls-for-dev-1703574.htmlzip包(190M)用于开发和测试，
2016-10-13 14:33:04
1330
1
原创 Hbase centos下单机安装
# 解压安装tar -xvzf /mk/soft/hbase-1.1.2-bin.tar.gz -C /appl/cd /appl/hbase-1.1.2/conf# 配置环境变量vi /etc/profileexport HBASE_HOME=/appl/hbase-1.1.2export PATH=$PATH:$HBASE_HOME/binwqsource
2016-09-30 17:36:13
880
转载 实时流处理Storm、Spark Streaming、Samza、Flink孰优孰劣
From http://www.dataguru.cn/article-9532-1.html分布式流处理需求日益增加，包括支付交易、社交网络、物联网（IOT）、系统监控等。业界对流处理已经有几种适用的框架来解决，下面我们来比较各流处理框架的相同点以及区别。分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算，
2016-09-23 15:42:12
13091
原创 序列模式PrefixSpan算法介绍
序列序列(sequence)是一组排好序的项集，不一定是直接连续的，但依然满足次序。序列模式的元素还可以是一个项集，如一组页面序列。序列模式挖掘比关联挖掘能得到更深刻的知识。序列模式sequence patternmining，针对Frequent Sequences，典型的应用还是限于离散型的序列，happens-after relationship and not just
2016-09-13 15:35:36
7152
原创 微服务实践总结
划分方法目标：每个微服务独立运维部署，微服务只有单个责任，每个微服务包含自己的数据存储，微服务控制在5人小团队就能维护的规模以下，服务松散耦合设计。划分方向有：1）实时、非实时划分；2）同步、异步划分；3）功能模块组划分； 如：后台管理、核心算法、外部接口等；4）业务域划分； a.根据业务名词划分，如订单、用户； b.根据业务动词划分，如登录、下载；
2016-09-07 11:22:35
795
转载 Mysql存储引擎比较
StorageEngines Feature SummaryFeatureMyISAMMemoryInnoDBArchiveNDBStoragelimits256TBRAM64TBNone
2016-09-02 10:53:34
404
原创 调度工具：Airflow
Airflow安装airflow对python-devel、numpy等版本有一定的要求，想减少麻烦可参考：《Install Python 2/3 on CentOS 6.5 Server》python搞掂了，airflow安装其实很简单pip install airflowpip install airflow[mysql]airflow initdbairflo
2016-09-01 16:27:51
1855
原创 配置spark令其支持hive
确保scala版本Spark1.4搭配Scala 2.10Spark1.6搭配Scala 2.10Spark2.0搭配Scala 2.11查看libHive需要三个jar包，分别是datanucleus-api-jdo-3.2.6.jar、datanucleus-core-3.2.10.jar、datanucleus-rdbms-3.2.9.jar，如果已经有了就不需要重新
2016-08-31 11:17:04
2933
原创 hive安装 (hive1.2.1+hadoop2.7+mysql)
1. 下载解压cd /mk/softtar -xvzf apache-hive-1.2.1-bin.tar.gz -C /appl/cd /applmv apache-hive-1.2.1-bin hive-1.2.12. 配置环境变量vi /etc/profileexport HIVE_HOME=/appl/hive-1.2.1export PATH=$PATH:$HIVE
2016-08-29 18:11:55
3236
原创 简单安装Mysql（linux centos）
之前写了几篇mysql多实例或主备安装文章，但由于实验需要，反而要一个快速简单部署的mysql，so mark如下：--------------------rm /appl/mysql/data/dbdatascripts/mysql_install_db --user=root --basedir=/appl/mysql --datadir=/appl/mysql/data/dbda
2016-08-24 11:28:57
439
转载 日志分析方法概述
注：写得有点乱，但目前市面上这方面内容的确不多，mark一下~http://blog.youkuaiyun.com/pkueecser/article/details/9569251=============日志在计算机系统中是一个非常广泛的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同，很难一概而论。本文讨论的日志处理方
2016-08-22 11:31:24
29063
原创 Java适合用于ETL？
突发奇想，能不能把异步响应式编程的rxJava（主要用于Android开发）应用于ETL，想法源于rxJava中提供了一系列operators如distinct、concatWith、count、filter、groupBy、limit、toSortedList、isEmpty等，感觉有点像SQL。实际试验后，原来rxJava还是比较适合于处理事件流而不是ETL，原因是rxJava缺乏data
2016-06-30 15:50:02
4308
原创 rxJava例子
反正比较简单，直接上例子了import java.util.ArrayList;import java.util.Iterator;import java.util.List;import rx.Observable;import rx.Subscriber;import rx.functions.Func1;//参考：http://reactivex.io/docum
2016-06-30 15:46:32
793
原创 ClassLoader类加载机制
类加载流程Class1,Class2-> MyClassLoader1, MyClassLoader2, MyThreadClassLoader1,MyThreadClassLoader2 -> AppClassLoader -> ExtClassLoader -> BootStrap 每个类加载器方法流程loadClass-> findClass -> defineClass(C
2016-05-13 17:06:21
781
原创 Java - zookeeper 服务注册发现
一、zookeeper 服务注册发现模型流程：1）注册，2）发现：监听、负载均衡、故障检测、变更通知，3）调用。From http://blog.cloudera.com/blog/2014/03/zookeeper-resilience-at-pinterest/From http://www.techweb.com.cn/network/hardware/2
2016-04-22 18:37:10
13273
原创 同步等待异步模型
一、需求：前端http请求为同步处理，后台调用Kafka消息队列变成异步处理，因此有同步等待异步需求。前置1、前置2同属一套代码，但部署到不同的服务器（也就是不同的tomcat容器）。二、规划模型：三、纯伪代码-前置1：package com.test;import java.util.Date;import java.util.HashMap;im
2016-04-22 18:26:36
792
转载 HTTP报文详解
Refer http://my.oschina.net/megan/blog/269968HTTP请求报文由3部分组成（ 请求行+请求头+请求体 ）： 下面是一个实际的请求报文： ①是请求方法，GET和POST是最常见的HTTP方法，除此以外还包括DELETE、HEAD、OPTIONS、PUT、TRACE。不过，当前的大多数浏览器只支持GET和P
2016-04-20 15:28:39
4010
转载 ZooKeeper 安装、配置
单机安装、配置： 安装非常简单，只要获取到 Zookeeper 的压缩包并解压到某个目录如：/home/frank/ZooKeeperInstall/zookeeper-3.3.3下。 配置文件存放在/conf/目录下，将zoo_sample.cfd文件名称改为zoo.cfg, 缺省的配置内容如下： # The number of millisecond
2016-04-15 18:39:24
524
原创 高并发分布式事务解决之道-Actor模型(附Akka与Reactor比较)
----- Actor模型(1) 事务机制来由为什么大多数互联网软件都是数据喂机器，或函数式即可，比如twitter或facebook，因为他们没有事务要求，一般涉及到钱等重要交易都需要事务，也可以这么说，非结构化的数据一般都没有事务要求，结构化聚合的数据才有事务要求。(2) 事务例子用户甲的操作1.开始事务2.访问表A3.访问表B4.提交事务乙用户在操
2016-04-15 17:33:08
12183
原创 REST实现(Spring下实现+JDK6机制实现)
1、Spring下实现见：Spring4搭建+REST在Spring上搭建 http://blog.youkuaiyun.com/textboy/article/details/511414362、利用JDK 6机制实现这种方式更为灵活，可以设置最大接受请求数和线程数（在Spring下...还真不知在哪里可以设这些参数）httpServer、httpHandlerimport ja
2016-04-15 15:42:23
974
转载 http 连接池
Httpclient连接池（PoolingHttpClientConnectionManager，）见：RestTemplate实践 http://www.open-open.com/lib/view/open1436018677419.html池化的HttpClient（PoolingClientConnectionManager，xx.setMaxTotal(200)）见：Re
2016-04-15 14:57:30
610
转载 Kafka的配置要点
Consumer负载低的情况下可以每个线程消费多个partition。但负载高的情况下，Consumer 线程数最好和Partition数量保持一致。见：http://www.open-open.com/lib/view/open1434551761926.html - 四. consumer和partitionPartition1天有 1亿行可以分8个分区，如果每天几十万行就
2016-04-15 14:49:15
493
原创 Spring4搭建+REST在Spring上搭建
注意，该文是基于Spring4而不是Spring boot，因而非零配置文件。1、Server端 整体架构2、Lib3、配置web.xml springPoC1 rest org.springframework.web.servlet.DispatcherServlet 1 rest /*
2016-04-13 11:12:45
6267
翻译 javax.servlet获取
javax.servlet是Spring4配置所需的的包。获取方法：1）Maven2）去Oracle下载Java EE SDK（不是JDK for Java SE）3）另一个简单方法，到Tomcat安装目录\lib\servlet-api.jar下copy一个:)参考：http://stackoverflow.com/questions/860022/wheres-java
2016-04-12 18:29:24
443
原创 Postman - REST测试利器
Chrome下Postman安装及rest请求http://jingyan.baidu.com/article/90808022ff18defd91c80f9a.htmlPostman下载http://download.youkuaiyun.com/download/zhenghui89/8490331
2016-04-12 18:04:55
1512
原创 MySQL Memory 存储引擎
传统关系型数据库Mysql其实也可以实现关系型内存式数据库（如sqlite）的内存处理功能！CREATE TABLE t (i INT) ENGINE = MEMORY;select ...DROP TABLE test;MySQL Memory 存储引擎浅析http://www.jb51.net/article/29039.htmmysql memory engine
2016-04-12 15:18:23
567
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人