Hello World

PP-OCR: A Practical Ultra Lightweight OCR System论文地址：https://arxiv.org/abs/2009.09941代码地址：https://github.com/PaddlePaddle/PaddleOCR一、简介PP-OCR是一个实用的超轻量中英文OCR系统，是针对中英文OCR问题，对最新的文本检测算法 Differentiable Binarization (DB) 和经典的文本识别算法CRNN的能力充分挖掘，虽然没有理论创新，但是从骨干.

MPI使用简介MPI(Message Passing Interface)，消息传递接口，是一种基于消息传递的并行编程技术，常用于在非共享存储系统中开发并行程序。它定义了一套接口，许多其他厂商对其进行实现，并产生了许多库，几乎所有平台都可以使用MPI。消息传递指的是并行执行的各个进程具有自己独立的堆栈和代码段，作为互不相关的多个程序独立执行，进程之间的信息交互完全通过显示地调用通信...

遗传算法-python注：有很多python-GA的库，deap、gaft等，这里选取了一个比较好上手的gaft简介遗传算法主要包括适应度函数、选择、交叉、变异生成新的个体几个模块，初始化种群大小，然后计算所有个体的适应度，(使用轮盘概率的方法)选择适应度最大的个体，进行交叉、变异生成新个体，并计算适应度，淘汰掉那些具有很低适应度的个体。以此往复，直到达到程序退出条件。参考...

spark使用spark基本配置python命令行启动pysparkcd /usr/local/spark./bin/pyspark统计文本的行数lines = sc.textFile("file:///usr/local/spark/README.md")lines.count()* 在这里需要使用本地文件系统的绝对路径，因为在pyspark中...

RDD的键值对操作创建可以从RDD中直接通过map函数进行创建lines = sc.textFile("file:///usr/local/spark/README.md")pairs = lines.map( lambda x : (x.split(" ")[0], x) ) # 将第一行的第一个单词作为key，该行字符串作为value，构建pairRDDprint( pa...

RNN介绍setup code# 不显示python使用过程中的警告import warningswarnings.filterwarnings("ignore")%matplotlib inlineimport matplotlib.pyplot as pltimport numpy as npimport tensorflow as tfimport osde

jupyter tensorflow配置Anaconda安装按照官网安装即可tensorflow按照官网安装即可使用时需要source activate tensorflowwindows防火墙配置在配置jupyter，使其能够远程访问之前，首先需要配置本地的防火墙，因为用服务器ping本地windows机器出现了无法连接的情况解决办法的链接：ht

降维方法现实中的许多数据都是稀疏的(sparse)，高维数据处理的时间和空间复杂度都十分大，因此需要对数据进行降维对数据进行降维，会在一定程度上降低数据的精度，同时也会增加机器学习模型处理流程的复杂度。主要的降维方法映射(Projection)现实中的许多数据的特征都是相关的，或者特征为常数，可以利用映射的方法将高维数据映射到低维流行学习(Manifold

集成方法 集成方法是训练很多基学习器，然后用这些基学习器去对进行分类或者回归，最后取所有结果中比例最大的作为模型的结果投票分类器(Voting Classifiers)定义：对于一个训练集，有很多分类器，比如说Logistic、KNN、SVM等。对于一个样本，我们给出所有分类器的分类结果，然后利用这个结果对样本的分类进行预测 hard voting classifier

CNN简介视觉皮质有一块很小的局部感受野(local receptive feld)。不同的感受野之间可能会发生重叠，所有的感受野组成了可视区域对视觉皮质的研究最终演化为CNN，CNN除了之前的全连接层以及激活函数等概念，还引入了卷积层和池化层等概念setup code# 不显示python使用过程中的警告import warningswarnings.fil

增强学习(Reinforcement Learning)增强学习的应用领域很广，它假定有一个智能体(agent)在系统中，智能体做出特定的决策，对于表现不好的行为给予惩罚，奖励表现好的行为Setup code# 不显示python使用过程中的警告import warningswarnings.filterwarnings("ignore")%matplotlib i

sklearn 决策树

DNN训练过程中的一些问题以及技巧首先介绍几个概念 lower layers ：浅层的网络层，主要对简单的特征进行梯度，如边缘、角点等deeper layers：深层的网络层，主要用于提取十分复杂的特征。在使用DNN的过程中，我们可能会遇到一些问题 梯度弥散或者梯度爆炸，这会提升DNN的训练难度对于大型的网络来说，其训练速度十分慢如果网络参数过多，很容易发生过拟合的问题

AutoencodersAutoencoder可以对输入数据进行无监督的学习，coding得到的结果的维度往往很低，因此自编码器可以用于数据的降维；自编码器也可以用于特征检测；同时也可以生成许多与训练数据相似的新数据，这可以被称为生成模型(generative model)。setup code# 不显示python使用过程中的警告import warningswarn

TF使用ANN(artificial neural network)简介受到生物神经网络的启发发展历史 生物神经网络单元逻辑运算单元：and、or、xor等运算感知机(perceptron)：hw(x)=step(wT⋅x)h_w(x)=step(w^T \cdot x)多层感知机和反向传播(multi-perceptron and backpropagation)p

tensorflow 基本使用简介TF底层是用C++封装的，因此十分高效TF定义一个图，然后利用优化的C++代码对图进行计算TF有可视化工具tensorboard，可以对计算图进行可视化TF可以实现自动微分(automatic differentiating)TF默认情况下会使用所有gpu，同时占满所有gpu内存，如果需要对其进行修改，可以参考：https://www.cnb