lanyu_sola-优快云博客

转载 H2O学习笔记（八）——Sparkling Water

sparkling water将h2o和Spark相结合，在spark平台上运行h2o服务。提供了Scala,Python,R的接口，下面是spark water的一个整体架构图。安装这里只简单介绍下PySparkling的安装首先安装Hadoop和Spark,没有问题了再安装Sparkling Water。 PySparkling支持的一些版本h2

2017-05-05 13:56:48 864

转载 H2O学习笔记（七）——Deep Water

Deep Water是一个深度学习框架，集成了MXNet, Caffe, TensorFlow，可以实现GPU优化的深度学习模型。目前项目还在开发中。两张图可以描述Deep Water的优点：Deep Water号称最好的深度学习框架，从上面的张图里可以看出，Deep Water集成了mxnet,TensorFlow,Caffe三个框架，这三个框架每个都

2017-05-05 13:52:04 687

转载 H2O学习笔记（六）—— Steam

Steam智能引擎是一个端对端的平台，可以将构建和部署智能应用的整个流程结合在一起。数据科学家和开发者可以协同合作，训练和部署预测模型，并将这些模型用于实时的智能应用中。Steam可以运行在YARN上，并可以独立运行，由于我没有Hadoop集群环境，所以这里用单机运行演示。Steam是一个能够将构建和部署应用结合在一起的平台本地机器安装和启动Steam1.安装S

2017-05-05 13:49:51 830 1

转载 H2O的Deep Autoencoders

先前的部分介绍了监督Deep Learning内容，Deep Learning 也可以用作非监督特征学习，尤其是在非线性降维方面。Deep AutoencodersDeep Autoencoders的原理可以看UFLDL的教程例子：Anomaly Detection#Import ECG train and test data into the H2O cluster

2017-05-05 13:43:40 660

转载 h2o机器学习算法框架学习总结

H2O官网：http://www.h2o.ai/H2o开源的机器学习框架，支持glm，rf，gbm，深度学习等算法，借助hadoop spark计算平台，实现large scale 机器学习H2o 机器学习包R版本 https://cran.r-project.org/web/packages/h2o/index.htmlPython版本 https

2017-05-05 13:41:55 5456

转载 H2O学习笔记（四）——Deep Learning 例子

这里写图片描述##MNIST Digit ClassificationMNIST一个比较出名的数据集，包括60000张训练图片和10000张测试图片，每张图片是一个手写数字，包括282像素值的手写识别数据,扫描的手写数字如下图所示：Example in pythonimport h2ofrom h2o.estimators.deeplearning imp

2017-05-05 13:35:58 2476

转载深度学习中常见的优化算法比较

SGDBasic SGDthe baisc sgd is:# Vanilla updatex += - learning_rate * dxMomentum UpdateMomentum update 是一种几乎总会加快收敛速度的方法. 这种方法据说是物理学中某个理论的启发. 类比SGD, 其中lo

2017-05-05 13:29:58 2256

转载在Mesos和YARN中 DRF算法

背景在Mesos和YARN中，都用到了dominant resource fairness算法(DRF)，它不同于hadoop基于slot-based实现的fair scheduler和capacity scheduler，论文阅读： Dominant Resource Fairness: Fair Allocation of Multiple Resource Types 。考

2017-05-05 11:54:37 440

转载八项提高机器学习模型的准确率的方法

2016-02-14 14:50:59分类：大数据模型的开发周期有多个不同的阶段，从数据收集开始直到模型建立。不过，在通过探索数据来理解（变量的）关系之前，建议进行假设生成（hypothesis generation）步骤（如果想了解更多有关假设生成的内容，推荐阅读（why-and-when-is-hypothesis-generation-importa

2017-05-05 11:52:05 438

转载 H2O学习笔记（二）——H2O Flow

H2O Flow运行深度学习算法demo（一）启动H2Ojava -jar h2o.jar -flow_dir /[ENTER_PATH_TO_FLOW_DIRECTORY_HERE]11-flow_dir 参数是为了指定flow在本地磁盘保存的位置。H2O有两种类型的参数JVM argumentsH2O arguments在浏览器打开http://lo

2017-05-05 11:51:27 1797

转载 H2O框架简介(转载)

H2O框架简介H2O是开源的，分布式的，基于内存的，可扩展的机器学习和预测分析框架，适合在企业环境中构建大规模机器学习模型。H2O核心代码使用Java编写，数据和模型通过分布式 Key/Value 存储在各个集群节点的内存中。H2O的算法使用Map/Reduce框架实现，并使用了Java Fork/Join框架来实现多线程。H2O目前支持的机器学习算法有DRF,GBM,GL

2017-05-05 09:54:24 5180

转载 OpenvSwitch完全使用手册

本文主要参考 Overview of functionality and components 以及 Frequently Asked Questions 以及结合自己的理解。http://sdnhub.cn/index.php/openv-switch-full-guide/1 什么是OpenvSwitchOpenvSwitch，简称OVS是一

2017-03-28 12:41:41 1195

转载 word2vec模型原理与实现 word2vec是Google在2013年开源的一款将词表征为实数值向量的高效工具. gensim包提供了word2vec的python接口. word2vec采用

word2vec模型原理与实现word2vec是Google在2013年开源的一款将词表征为实数值向量的高效工具.gensim包提供了word2vec的python接口.word2vec采用了CBOW(Continuous Bag-Of-Words，连续词袋模型)和Skip-Gram两种模型.模型原理语言模型的基本功能是判断一句话是否是自然语言, 从概率的角度来

2017-03-13 14:39:02 4945

转载 stick-learn朴素贝叶斯的三个常用模型：高斯、多项式、伯努利

stick-learn朴素贝叶斯的三个常用模型：高斯、多项式、伯努利朴素贝叶斯是一个很不错的分类器，在使用朴素贝叶斯分类器划分邮件有关于朴素贝叶斯的简单介绍。若一个样本有n个特征，分别用x1,x2,...,xn表示，将其划分到类yk的可能性P(yk|x1,x2,...,xn)为：P(yk|x1,x2,...,xn)=P(yk)∏ni=1P(xi|yk)上式中等号右侧的各个值可以

2017-03-13 13:49:54 1049

转载 CoreOS 实战：剖析 etcd

CoreOS 实战：剖析 etcd编者按】CoreOS是一个基于Docker的轻量级容器化Linux发行版，专为大型数据中心而设计，旨在通过轻量的系统架构和灵活的应用程序部署能力简化数据中心的维护成本和复杂度。CoreOS作为Docker生态圈中的重要一员，日益得到各大云服务商的重视，目前已经完成了A轮融资，发展风头正劲。InfoQ希望《CoreOS实战》系列文章能够帮助读者了

2017-02-23 16:39:36 503

转载 Kubernetes 1.2 新功能介绍：Ingress 原理及实例

http://www.dockerinfo.NET/1132.html什么是Ingress在Kubernetes中，Service和Pod的IP地址只能在集群内部网络中路由，所有到达“边界路由器”（Edge Router）的网络流量要么被丢弃，要么被转发到别处，从概念上讲，它类似下图：Ingress是对外（公网）服务到集群内的Service之间规

2017-02-23 16:10:34 679

Fluentd+Hadoop结合进行日志收集、分析博客分类： Hadoop日志收集分析Fluentd 本文章已收录于： Hadoop Fluentd是一个实时日志收集系统，它把日志作为JSON stream，可以同时从多台server上收集几百G的日志。fluentd易于安装，有灵活的插件机制和缓冲，支持日志转发。它的特点在于各部分均是可定制化的，可以通过简单的配置，将日志收集到不同的地方。Had

2017-02-23 15:53:26 728

转载数据中心工具———虚拟网络方案Calico初探

特点与对比Calico是一个基于BGP协议的虚拟网络工具，在数据中心中的虚拟机、容器或者裸金属机器（在这里都称为workloads）只需要一个IP地址就可以使用Calico实现互连。项目主页：https://www.projectcalico.org/Workloads间的网络隔离是通过iptables实现的。相比其他基于模拟的二层网络，Calico更加简单，有以下

2017-02-23 12:52:57 2078

转载 Ingress 介绍

Ingress 介绍Kubernetes 上部署的微服务运行在它的私有网络中，通过Pod实例的hostPort或Service实例的NodePort可以暴露到主机端口上，便于用户访问。但这样的方法会占有多台主机的HTTP端口或一台主机的多个端口，既浪费端口资源又增加管理难度和安全风险。 K8S的 Ingress 对象提供了另一种服务暴露的方法，它只占用一台主机的 HTTP 端口，通过

2017-02-23 10:14:06 2182

lanyu_sola的博客