O白马非马O-优快云博客

原创已有Java/Android源码项目，如何快速理解代码结构

在Java项目或者Android APP项目中,通常在代码开发的同时需要详细的文档/结构图来指导开发。一般分为正向工程和逆向工程。正向工程：在编写详细设计的时候,通常都会画一些类图、时序图、流程图等等UML设计,然后通过uml类图生成代码,这个属于正向工程生成代码。逆向工程：然而在实际开发中,很可能是先完成了代码开发,再来补充一大堆的文档,这是就需要通过代码来生成类图,这个就属于逆向工

2017-11-22 11:27:20 887

原创 word2vec浅析

word2vec是google在2013年公布的开源工具包，可以用来将word vector化。原理如下word2vec中的数学原理详解（一）目录和前言简单来说：为了实现文章或者一段话的情感分析，有以下几种方法：1. 简单分为正向情感和负向情感，比如 good 就+1， bad就-1 2. 利用bags of words , 认为词是独立的，缺点是不考虑上下

2017-06-12 17:39:55 1320

原创 SPARK模型实例：两种方法实现随机森林模型（MLlib和ML）

SPARK模型实例，基于HiveSQL，实现随机森林模型的训练和预测

2017-06-02 17:34:18 4491

原创 SPARK官方实例：两种方法实现随机森林模型（ML/MLlib）

SPARK官方实例，两种方法实现随机森林

2017-05-31 17:26:24 5610

原创 Spark SQL中DataFrame API 的解析

collect， collectAsListcountfirstheadshowtakecacheColumnsdtypesexplainisLocalprintSchemaregisterTempTableschematoDFaggapplyasdistinctexceptexplodefiltergroupByintersectjoinlimit

2017-05-18 10:58:15 878

原创 Spark基本介绍和编译安装

Spark快如闪电的集群计算是快速和通用的大规模数据处理技术【speed】执行mr作业程序在内存比hadoop快100倍，磁盘上快10倍 spark有着DAG（有向无环图）执行引擎，支持离散数据流和内存计算【易于使用】多种语言编写 Java scala python R【Generality】合成SQL，流计算，复杂分析spark有自己的集群计算技术，扩展了hadoop mr模型

2017-05-14 12:12:55 439

原创 SPARK必备概念

RDD （resilient distributed dataset）弹性分布式数据集One stack to rule them all（一个技术堆栈容纳各种数据处理技术）包括的大数据计算模型：MapReduce、Streaming、SQL、Machine Learning、graph Processing对应的Spark四大子框架：Spark Streaming,Spark SQL,Mlli

2017-05-09 17:18:54 516

原创卢辉《数据挖掘与数据化运营实战：思路、方法、技巧和应用》第一遍读书笔记

原书京东链接 [TOC]第一遍（3,4两个月）观后感也不知道我们家宝宝哪里找到这本书的，结果让我先拿来学习了。这本书是我转行一来，认认真真从头到尾读的第一本跟数据挖掘相关的书，坦白讲，实用价值要远远高于看《机器学习》、《数据挖掘导论》这种偏学术的书籍；作者是30岁左右从一名机械专业相关的工作人员转行到数据行业；所以他的很多见解，往往能从高处落点，看行业由来和发展，分析业务需求与痛点，阐述

2017-05-01 16:39:18 3541 2

原创 2017年智能投顾调查报告

2017年智能投顾

2017-03-26 15:52:47 1680

转载优快云上如何便捷高效的转载他人文章

1、找到要转载的文章，用chrome浏览器打开，右键选择审查元素2、在chrome中下方的框里找到对应的内容，html脚本中找到对应的节点，选中节点，网页上被选中内容会被高亮显示，然后右键菜单选中 Copy as HTML3、进入个人”管理博客”主界面，选择”写新文章“，编辑界面的地方选择工具条上的源代码，将chrome中复制的内容贴进来

2017-03-14 16:56:55 470

原创 HIVE学习与实践（四）：linux shell 脚本 for in 的用法，join 用法，正则表达式函数regexp_extract

linux shell 中 for in#!/bin/sh for date in 20161025 20161027 20161028 20161102 20161103 20161104 20161105doecho "${date}"doneHive 的 join 用法假设有tableA和tableB 两张表，Table A是左边的表，Table B是右边的表。其各有四条记录，其中

2016-12-06 18:06:57 1064

原创 HIVE学习与实践（三）：结合linux shell脚本按日期提取表，count，distinct，group by用法

例子下面的例子create_everyday.sh是在bash 脚本里面嵌入 hive的代码，实现在bash下直接运行脚本 create_everyday.sh 20110101 20110302

2016-11-16 21:10:36 896

原创 HIVE学习与实践（二）：根据partition建表，插表，where in 语法，concat用法

HIVE学习与实践

2016-11-14 21:05:55 1418

原创 HIVE学习与实践（一）：基本命令

Hive学习笔记

2016-11-03 18:13:32 379

原创 Windows下MySQL学习（三）：让MySQL数据库支持中文，Matlab导入excel表到数据库

解决通过sql语言向数据库中INSERT中文数据的问题。同时通过matlab操作数据库介绍使用方法。

2016-10-30 09:43:26 752

原创 Windows下MySQL学习（二）：GUI安装和使用（MySQL GUI tools）

MySQL GUI Tools是MySQL官方提供的图形化管理工具。比较常使用的有两个工具 MySQL Administrator， MySQL Query Browser。

2016-10-30 09:26:34 5916

原创 Windows下MySQL学习（一）：安装和启用，新建数据库和数据表，matlab连接MySQL

最近新工作需要，开始学习MySQL，手头没有服务器，所以在自己的windows7机器上装mysql，以及用matlab进行操作。下面将介绍一下入门的过程：1.下载和安装：参考以下步骤： http://jingyan.baidu.com/article/f3ad7d0ffc061a09c3345bf0.html主要是介绍了以下步骤：MySQL 5.6 下载安装后的环境变量设置启动MySQL之前

2016-10-29 18:47:33 5157

原创 Android系统智能硬件开发外设篇（一）：热敏打印机

采用的是达普热敏打印机DP-EH300，连上mini USB口即可使用。

2016-10-26 21:11:06 4853

原创在优快云的CODE平台上进行项目的版本控制@git

登上自己优快云的CODE平台：https://code.youkuaiyun.com/dashboard/index。可以创建项目进行托管。工具两个： Git-1.9.5-preview20150319 TortoiseGit-1.8.12.0-64bit

2016-10-15 18:08:04 531

原创 Android开发与调试二：串口uart Debug

安卓智能硬件开发板，往往会预留一个uart口，串口的形式打出log出来，便于我们开发的时候debug。

2016-10-12 17:31:05 7561

原创 1234

Led App为Android 应用程序，Led App里的Java代码不能操作硬件，将硬件操作工作交给本地module库 led_runtime.so，它从当前系统中查找Led Stub，查找到之后，Led Stub将硬件驱动操作返回给module，Led App操作硬件时，通过保存在module中的操作接口间接访问底层硬件。问题来了： Ø 硬件对象怎样注册为stub？

2016-10-11 11:01:19 345