VictorHuang的专栏

例子下面的例子create_everyday.sh是在bash 脚本里面嵌入 hive的代码，实现在bash下 直接运行脚本 create_everyday.sh 20110101 20110302

RDD （resilient distributed dataset）弹性分布式数据集One stack to rule them all（一个技术堆栈容纳各种数据处理技术） 包括的大数据计算模型：MapReduce、Streaming、SQL、Machine Learning、graph Processing对应的Spark四大子框架：Spark Streaming,Spark SQL,Mlli

Spark快如闪电的集群计算 是快速和通用的大规模数据处理技术【speed】 执行mr作业程序在内存比hadoop快100倍，磁盘上快10倍 spark有着DAG（有向无环图）执行引擎，支持离散数据流和内存计算【易于使用】 多种语言编写 Java scala python R【Generality】 合成SQL，流计算，复杂分析spark有自己的集群计算技术，扩展了hadoop mr模型

collect， collectAsListcountfirstheadshowtakecacheColumnsdtypesexplainisLocalprintSchemaregisterTempTableschematoDFaggapplyasdistinctexceptexplodefiltergroupByintersectjoinlimit

SPARK官方实例，两种方法实现随机森林

原书京东链接 [TOC]第一遍（3,4两个月）观后感也不知道我们家宝宝哪里找到这本书的，结果 让我先拿来学习了。 这本书是我转行一来，认认真真从头到尾读的第一本跟数据挖掘相关的书，坦白讲，实用价值要远远高于看《机器学习》、《数据挖掘导论》这种偏学术的书籍； 作者是30岁左右从一名机械专业相关的工作人员转行到数据行业；所以他的很多见解，往往能从高处落点，看行业由来和发展，分析业务需求与痛点，阐述

2017年 智能投顾

linux shell 中 for in#!/bin/sh for date in 20161025 20161027 20161028 20161102 20161103 20161104 20161105doecho "${date}"doneHive 的 join 用法假设有tableA和tableB 两张表，Table A是左边的表，Table B是右边的表。 其各有四条记录，其中

Hive学习笔记

HIVE学习与实践

SPARK模型实例，基于HiveSQL，实现随机森林模型的训练和预测