u013328485的专栏

注意事项：1. 数据通量与存量估计：QPS（每秒请求书）2. 响应延迟3. 和已有其他系统之间的关系（对已有系统和基础设施的依赖、是否会取代新系统）4. 系统意义实时架构： Lambda架构（实时响应层、快速处理层、批处理层）实时响应层：快速读写数据库（Redis、Druid） 快速处理层：软实时对外部需求进行相应（Spark、Storm） 批处理层：在线下完成大量数据处理 （MySQL、Hadoop）1.瀑布流架构：信息单向流动的，从发生到完成呈现瀑布般从上到下的流动

传统统计软件R：SAS、R、MatLab软件为代表，主要应用于统计、数学、物理等理论统计Weka：java实现。Mahout：运行基于java在hadoop上的软件包，现在基于Spark的MLLib取代了MahoutC语言被python和R取代Scikit 基于了numpy 和Scipy 进行迭代开发，由谷歌开发资助，紧扣实际。优势：开发周期短，直接部署。查阅API官方文档sklearn.cluster 聚类分析sklearn.manifold_learning 流形分析.

Pandas 的安装利用Pandas分析实时股票保价数据import pandas as pd外部数据导入data=pd.read_csv("data.csv)打印data.head(5)data.tail(5)索引data.index=map( )删除data.drop( )数据分析查看dir(data)data.mean， max, mindata.index.min() data.index.max()可视化操作import...

1. 什么是实时监督式机器学习：因变量、自变量、预测函数（低成本、易解释、易修改）。（注意：较为优秀的为线性模型和朴素贝叶斯模型）。2. 工业界学术门派：百度、阿里、雅虎、谷歌、微软、亚马逊。3. 建议：不要重复造轮子（分布式机器学习 Spark+MLLib速度较好）、没有最好的模型、4. 衡量评价监督式机器学习模型： sklearn的metric模块进行评价回归： 均方误差；估计方差；系统性偏差；绝对误差中位数（MAE）； 分类： 准确率、召回率、F1 value5. 监督式数据收集问

1. 机器学习（不做介绍）2. 领域分类： 监督、非监督、（半监督、强化、元、迁移）等等3. 实时架构： 快速稳定、数据连续性、自动化4. 实时机器学习分类：硬实时机器学习：响应系统在接收到请求后，能够马上对请求进行响应反馈，做出处理。（常见领域：网页浏览、在线游戏等）。 问题：通常计算机的网络传输延迟是重要因素之一，在服务器上通常用负载均衡进行响应。 软实时机器学习：响应系统在接收到请求后，立即开始对响应进行处理，并且在较短的时间内进行反馈。（常见领域：物流运输等）。问题：由于对响应延迟

在使用机器学习算法的过程中，针对不同场景需要不同的评价指标，在这里对常用的指标进行一个简单的汇总。一、分类 1. 精确率与召回率 描述：精确率与召回率多用于二分类问题。精确率（Precision）指的是模型判为正的所有样本中有多少是真正的正样本；召回率（Recall）指的是所有正样本有多少被模型判为负样本。 公式： 结果：需要在精确率与召回率间进行权衡，一种选择是画出精确率-召回率曲线（Pr

1980年， Kunihiko Fukushima 提出了第一个卷积神经网络（https://en.wikipedia.org/wiki/Kunihiko_Fukushima）。从那时起，由于计算能力的不断提高和机器学习社区的巨大努力，深度学习算法在与计算机视觉相关的任务上从未停止过提高它们的性能。2015年，何凯明和他在微软的团队报告说，他们的模型在对来自 ImageNet 的图像进行分类时表现...