哇哇小仔的博客

python提供的一个第三方包Rtree包能够实现R树查询、删除、增添的各种操作。然而版主在windows环境 （win 10， python3.5）下安装Rtree包的时候出现了问题。直接在cmd中输入pip install Rtree后，会出现一下错误：Collecting Rtree  Using cached Rtree-0.8.2.tar.gz    Complete out

Ubuntu下利用pip安装cx_Oracle的python的包的时候总是出问题，下面介绍一种解决方法，亲测可行。1. 第一步 $ sudo apt install build-essential unzip python-dev libaio-dev2. 第二步 下载两个安装包，地址为：http://www.oracle.com/technetwork/topics/linuxx86-64so

结合了《Learning Spark: Lightning-Fast Big Data Analysis》和官方2.02版本的Spark Document总结了关于Spark概念性的一些知识。帮助大家对Spark有一个总体上的认知一、Spark的两个核心概念：RDD：弹性分布式数据集Shared variables：共享变量二、Spark组件：Spark集成了很多组件。Spark的内核是一个计

Pandas的数据结构主要分为三种： Series：一维同类型元素的数组 DataFrame：二维，大小可变的的表格结构，列与列的数据类型可以不同 Panel：三维，大小可变的数组首先引入一些需要用到的包（注意，如果使用的是jupyter notebook，因为后边需要用到画图的功能，如果希望在jupyter notebook中直接显示图像，就在import这些包之前加上一条命令： In

Saprk Actions总结及应用举例（Python版本）

数据预处理 sklearn.preprocessing标准化 （Standardization）规范化（Normalization）二值化分类特征编码推定缺失数据生成多项式特征定制转换器1. 标准化Standardization（这里指移除均值和方差标准化） 标准化是很多数据分析问题的一个重要步骤，也是很多利用机器学习算法进行数据处理的必要步骤。1.1 z-score标准化

Saprk Transformations总结及应用举例（Python版本）

RDD基础概念创建RDD 创建RDD的方法： 1.载入外部数据集 2.分布一个对象的集合前边几次的笔记已经提到过多次了，因此，这里只列出几个注意事项： 1.利用sc.parallelize创建RDD一般只适用于在测试的时候使用，因为这需要我们将整个数据集放入一台机器的内存中。因此，除了我们学习使或者测试时，很少使用。 2.更通用的方法是从外部存储系统上加载数据创建RDDSpark支持两种R

由于Scala才刚刚开始学习，还是对python更为熟悉，因此在这记录一下自己的学习过程，主要内容来自于spark的官方帮助文档，这一节的地址为：点击打开链接文章主要是翻译了文档的内容，但也在里边加入了一些自己在实际操作中遇到的问题及解决的方案，和一些补充的小知识，一起学习。环境：Ubuntu 16.04 LTS，Spark 2.0.1, Hadoop 2.7.3, Python

python中提供了re这个模块提供对正则表达式的支持。一、正则表达式常用到的一些语法（并非全部）：.匹配任意单个字符[...]匹配单个字符集\w匹配单词字符，即[a-zA-Z0-9]\W匹配非单词字符集，例如 ‘*’\d匹配数字，即[0-9]\D

本文完全利用numpy实现一个简单的BP神经网络，由于是做regression而不是classification，因此在这里输出层选取的激励函数就是f(x)=x。BP神经网络的具体原理此处不再介绍。import numpy as npclass NeuralNetwork(object): def __init__(self, input_nodes, hidden_nod