算法进阶

一、神经网络类别一般的，神经网络模型基本结构按信息输入是否反馈，可以分为两种：前馈神经网络和反馈神经网络。1.1 前馈神经网络前馈神经网络（Feedforward Neural Network）中，信息从输入层开始输入，每层的神经元接收前一级输入，并输出到下一级，直至输出层。整个网络信息输入传输中无反馈（循环）。即任何层的输出都不会影响同级层，可用一个有向无环图表示。常见的前馈神经网络包括卷积神经网络（CNN）、全连接神经网络（FCN)、生成对抗网络(GAN)等。1.2 反馈神经网络反馈神经网

本文侧重于模型拟合能力的探讨。过拟合及泛化能力方面下期文章会专题讨论。原理上讲，神经网络模型的训练过程其实就是拟合一个数据分布（x）可以映射到输出（y）的数学函数 f(x)，而拟合效果的好坏取决于数据及模型。那对于如何提升拟合能力呢？我们首先从著名的单层神经网络为啥拟合不了XOR函数说起。一、单层神经网络的缺陷单层神经网络如逻辑回归、感知器等模型，本质上都属于广义线性分类器（决策边界为线性）。这点可以从逻辑回归模型的决策函数看出，决策函数Y=sigmoid(wx + b)，当wx+b>0，.

序列文章 上文[《一文速览机器学习的类别（Python代码）》](https://www.jianshu.com/p/fbe59dc46907) 提到逻辑回归并做了简单介绍。本文将从神经元到逻辑回归模型结构，并将其扩展到深度深度网络模型。一、谈谈智慧对于人类智慧奥秘的探索，不同时代、学科背景的人对于智慧的理解及其实现方法有着不同的思想主张。有的主张用显式逻辑体系搭建人工智能系统，即符号主义。有的主张用数学模型模拟大脑组成以实现智慧，即联结主义，这也就是我们本文讨论的方向。那大脑为什么能够思考？科学家

本文篇幅较长，干货较多，建议收藏慢慢看。谈到人工智能（AI）算法，常见不外乎有两方面信息：铺天盖地各种媒体提到的高薪就业【贩卖课程】、知乎上热门的算法岗“水深火热 灰飞烟灭”的梗【贩卖焦虑】。其实，这两方面都是存在的，但都很片面，这里不加赘述。客观地说，数字化、智能化是人类社会发展的趋势，而当下人工智能无疑是一大热门，那是蓝海还是火海？我们回到老道理—水的深度，只有你自己去试试水才知道。当你对上面情况有了初步的了解并想试试水，需要面对的问题是：AI入门容易吗？答案其实是否定的，难！AI领域需要.

注：本文基于之前的文章做了些修改，重复部分可以跳过看。示例的项目为基于LR模型对癌细胞分类的任务。随着人工智能时代的到来，机器学习已成为解决问题的关键工具。我们接下来会详细介绍机器学习如何应用到实际问题，并概括机器学习应用的一般流程。1.1 明确问题明确业务问题是机器学习的先决条件，即抽象出该问题为机器学习的预测问题：需要学习什么样的数据作为输入，目标是得到什么样的模型做决策作为输出。一个简单的新闻分类的场景，就是学习已有的新闻及其类别标签数据，得到一个文本分类模型，通过模型对每天新的新闻做类.

序列文章：上一篇 《白话机器学习概念》一、 机器学习类别机器学习按照学习数据经验的不同，即训练数据的标签信息的差异，可以分为监督学习（supervised learning）、非监督学习（unsupervised learning）、半监督学习（semi- supervised learning）和强化学习（reinforcement learning）。1.1 监督学习监督学习是机器学习中应用最广泛及成熟的，它是从有标签的数据样本（x，y）中，学习如何关联x到正确的y。这过程就像是模型在给

本文从介绍人工智能及主要的思想派系，进一步系统地梳理了其发展历程、标志性成果并侧重其算法思想介绍，将这段 60余年几经沉浮的历史，以一个清晰的脉络呈现出来，以此展望人工智能（AI）未来的趋势。

一、异常检测简介异常检测是通过数据挖掘方法发现与数据集分布不一致的异常数据，也被称为离群点、异常值检测等等。1.1 异常检测适用的场景异常检测算法适用的场景特点有：（1）无标签或者类别极不均衡；（2）异常数据跟样本中大多数数据的差异性较大；（3）异常数据在总体数据样本中所占的比例很低。 常见的应用案例如：金融领域：从金融数据中识别”欺诈用户“，如识别信用卡申请欺诈、信用卡盗刷、信贷欺诈等；安全领域：判断流量数据波动以及是否受到攻击等等；电商领域：从交易等数据中识别”恶意买家“，如羊毛党、恶

前言:应出版社约稿，计划出个机器学习及深度学习通俗序列文章，不足之处还请多提建议。4.1 机器学习简介机器学习看似高深的术语，其实就在生活中，古语有云：“一叶落而知天下秋”，意思是从一片树叶的凋落，就可以知道秋天将要到来。这其中蕴含了朴素的机器学习的思想，揭示了可以通过学习对“落叶”特征的经验，预判秋天的到来。机器学习作为人工智能领域的核心组成，是非显式的计算机程序学习数据经验以优化自身算法，以学习处理任务的过程。一个经典的机器学习的定义是：A computer program is said.

前言数据分析是通过明确分析目的，梳理并确定分析逻辑，针对性的收集、整理数据，并采用统计、挖掘技术分析，提取有用信息和展示结论的过程，是数据科学领域的核心技能。本文从数据分析常用逻辑框架及技术方法出发，结合python项目实战全面解读数据分析，可以系统掌握数据分析的框架套路，快速上手数据分析。一、 数据分析的逻辑（方法论）1.1 PEST分析法PEST分析是指宏观环境的分析，宏观环境是指影响一切行业或企业的各种宏观力量。P是政治(Politics)，E是经济(Economy)，S是社会(So

1 超参数优化调参即超参数优化，是指从超参数空间中选择一组合适的超参数，以权衡好模型的偏差(bias)和方差(variance)，从而提高模型效果及性能。常用的调参方法有：人工手动调参网格/随机搜索(Grid / Random Search)贝叶斯优化(Bayesian Optimization)注：超参数 vs 模型参数差异超参数是控制模型学习过程的(如网络层数、学习率)；模型参数是通过模型训练学习后得到的（如网络最终学习到的权重值）。2 人工调参手动调参需要结合数据情况

数据、算法、算力是人工智能发展的三要素。数据决定了Ai模型学习的上限，数据规模越大、质量越高，模型就能够拥有更好的泛化能力。然而在实际工程中，经常有数据量太少(相对模型而言)、样本不均衡、很难覆盖全部的场景等问题，解决这类问题的一个有效途径是通过数据增强（Data Augmentation），使模型学习获得较好的泛化性能。1 数据增强介绍数据增强（Data Augmentation）是在不实质性的增加数据的情况下，从原始数据加工出更多的表示，提高原数据的数量及质量，以接近于更多数据量产生的价值。其原理

1 特征选择的目的机器学习中特征选择是一个重要步骤，以筛选出显著特征、摒弃非显著特征。这样做的作用是:减少特征（避免维度灾难），提高训练速度，降低运算开销；减少干扰噪声，降低过拟合风险，提升模型效果；更少的特征，模型可解释性更好；2 特征选择方法特征选择方法一般分为三类：2.1 过滤法–特征选择通过计算特征的缺失率、发散性、相关性、信息量、稳定性等指标对各个特征进行评估选择，常用如缺失情况、单值率、方差验证、pearson相关系数、chi2卡方检验、IV值、信息增益及PSI等方法。

前言机器学习 作为人工智能领域的核心组成，是计算机程序学习数据经验以优化自身算法，并产生相应的“智能化的”建议与决策的过程。一个经典的机器学习的定义是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, impro

前言机器学习中，模型的拟合效果意味着对新数据的预测能力的强弱（泛化能力）。而程序员评价模型拟合效果时，常说“过拟合”及“欠拟合”，那究竟什么是过/欠拟合呢？什么指标可以判断拟合效果？以及如何优化？欠拟合&过拟合的概念注：在机器学习或人工神经网络中，过拟合与欠拟合有时也被称为“过训练”和“欠训练”，本文不做术语差异上的专业区分。欠拟合是指相较于数据而言，模型参数过少或者模型结构过于简单，以至于无法学习到数据中的规律。过拟合是指模型只过分地匹配特定数据集，以至于对其他数据无良好地拟合及预测。其

在线正则表达式测试：http://tool.oschina.net/regex/#1、常用的匹配规则总结：模式 描述\w 匹配字母数字及下划线\W 匹配非字母数字及下划线\s 匹配任意空白字符，等价于 [\t\n\r\f].\S 匹配任意非空字符\d 匹配任意数字，等价于 [0-9]\D 匹配任意非数字\A 匹配字符串开始\Z 匹配字符串结束，如果是存...

本质上，生成器也是一种迭代器。但生成器只能迭代一次，因为值是在迭代过程生成，而所有的值没有保存在内存。这里先介绍下迭代器的概念，迭代器分为3部分： 可迭代对象： python中的任意对象，只要它定义了可以返回一个迭代器iter方法，或者支持下标索引的getitem方法，那它就是一个可迭代对象。简单来说可迭代对象就是可以提供迭代器的任意对象。迭代器： python中的任意对象有next方法...

装饰器的原理@make_bolddef get_content(): return 'hello world'# 上面的代码等价于下面的def get_content(): return 'hello world'get_content = make_bold(get_content)