qq_36428318的博客

原创 Hadoop 环境配置

http://www.ityouknow.com/hadoop/2017/07/24/hadoop-cluster-set这个作为参考由于手欠format了两次 -report发现所有存储情况为0上传文件错误说datanode没有启动1.删掉logs tmp hdfs 重新格式化没用2.检查防火墙关闭 9000端口开放3.jps发现datanode在4.发现mas...

转载 【深度学习】Ubuntu16.04下安装tensorflow（Anaconda3+pycharm+tensorflow+CPU）

https://blog.youkuaiyun.com/zzc15806/article/details/73662491

原创 python3自定义模块设置

举例：文件夹目录如图所示1.通常习惯把根目录设置在最顶层文件夹：deeplearning设置方法：右击文件夹--->Mark Directory as--->Sources root这样所有的import都从这个文件夹开始2.所有子文件夹下必须有一个__init__.py，才能被识别为包3.包名不可与已经存在的报名冲突：https://pypi.python.o...

原创 零基础深度学学习：反向传播算法及全连接层实现

在已知目标函数的基础上，用随机梯度下降算法对目标函数进行优化，不断更新权重。神经网络要计算每个节点误差项来进行权重更新。显然，计算一个节点的误差项，需要先计算每个与其相连的下一层节点的误差项。这就要求误差项的计算顺序必须是从输出层开始，然后反向依次计算每个隐藏层的误差项，直到与输入层相连的那个隐藏层。这就是反向传播算法的名字的含义。import numpy as npclass Ful...

原创 分布式深度学习

https://deeplearning4j.org/cn/spark-gpushttps://www.jiqizhixin.com/articles/2018-11-05-6https://blog.youkuaiyun.com/s_sunnyy/article/details/79896647

原创 零基础深度学习：感知器实现(map lambda在py3与py2使用的不同)

from functools import reduceclass Perceptron: def __init__(self, input_num, activator): ''' initialize the perceptron :param input_num: the number of parameters :...

原创 零基础入门深度学习

超级好的内容：https://www.zybuluo.com/hanbingtao/note/433855

原创 The Graph Neural Network Model

摘要 - 在几个科学和工程领域的数据之间的许多潜在关系，例如计算机视觉，分子化学，分子生物学，模式识别和数据挖掘，可以用图表来表示。 在本文中，我们提出了一种新的神经网络模型，称为图形神经网络（GNN）模型，它扩展了现有的神经网络方法，用于处理图域中表示的数据。 该GNN模型可以直接处理大多数实际有用的图形类型，例如非循环，循环，有向和无向，它实现了将图形和其中一个节点映射到一个欧几里德空间的函数...

原创 leetcode :Valid Parentheses

Valid Parentheses  Go to DiscussGiven a string containing just the characters '(', ')', '{', '}', '[' and ']', determine if the input string is valid.An input string is valid if:Open brackets ...

原创 leetcode:Perfect Squares -----BFS

Given a positive integer n, find the least number of perfect square numbers (for example, 1, 4, 9, 16, ...) which sum to n.Example 1:Input: n = 12Output: 3 Explanation: 12 = 4 + 4 + 4.Example...

转载 PGM

本文转自机器之心，作者Prasoon Goyal原文链接如下：http://www.sohu.com/a/207319466_465975  概率图模型是人工智能领域内一大主要研究方向。近日，Statsbot 团队邀请数据科学家 Prasoon Goyal 在其博客上分两部分发表了一篇有关概率图模型的基础性介绍文章。文章从基础的概念开始谈起，并加入了基础的应用示例来帮助初学者理解...

转载 超平面法向量及函数间隔最大化（SVM）

       二、函数间隔最大化接着，理解了超平面的方程后，类似于前面所讲的分类方法，还需要找到两类样本点之间离得最近的那一部分点（称之为支持向量），并将问题同样转化为找到中间一个超平面将这部分样本点划分开，此时又涉及到这些样本点到超平面的距离（即支持向量到超平面的距离），关于样本点到超平面的距离，可以如下去通俗的理解：假设给定一个训练数据集T，x表示特征组成的向量...

原创 K近邻房价评估--唐宇迪

k近邻房价预测[python] view plain copy import pandas as pd  features=['accommodates','bedroom','bathroom','beds','price','minimum_nights','number_of_reviews']#样本特征，只取全部特征的这些列  dc_listings=pd.read_csv('listin...

转载 标准化和归一化

原创 良\恶性乳癌肿瘤预测

转载 将MNIST数据集转换为csv格式

def convert(imgf, labelf, outf, n):    f = open(imgf, "rb")    o = open(outf, "w")    l = open(labelf, "rb")    f.read(16)    l.read(8)    images = []    for i in range(n):        image = [ord(l.read(...

原创 LeetCode 566. 重塑矩阵

在MATLAB中，有一个非常有用的函数 reshape，它可以将一个矩阵重塑为另一个大小不同的新矩阵，但保留其原始数据。给出一个由二维数组表示的矩阵，以及两个正整数r和c，分别表示想要的重构的矩阵的行数和列数。重构后的矩阵需要将原始矩阵的所有元素以相同的行遍历顺序填充。如果具有给定参数的reshape操作是可行且合理的，则输出新的重塑矩阵；否则，输出原始矩阵。示例 1:输入: nums = [...

原创 Leetcode 766. 托普利茨矩阵

如果一个矩阵的每一方向由左上到右下的对角线上具有相同元素，那么这个矩阵是托普利茨矩阵。给定一个 M x N 的矩阵，当且仅当它是托普利茨矩阵时返回 True。示例 1:输入: matrix = [[1,2,3,4],[5,1,2,3],[9,5,1,2]]输出: True解释:123451239512在上面这个矩阵中, 对角线分别是 "[9]", "[5, 5]", "[1, 1, ...

原创 Spark机器学习--Ch3 ----3.4从数据中提取有用特征

类别特征：原始形式时，取值可能来自一个集合而不是数字，所以不能作为输入。也称为：     名义变量：各个取值之间没有顺序关系。     有序变量：存在顺序关系，比如评级。将类别特征表示为数字形式，常可借助k之1编码(1-of-k)。派生特征：从原始数据派生特征的例子：平均值、中位数、方差等。数值特征到类别特征的转换：比如划分区间的年龄、地理位置和时间。文本特征一种简单标准化的特征提取方法：词袋法词...

原创 Spark-机器学习 Ch3 3.2 3.3

3.2.2探索电影数据提供了一个处理不完整数据的思路：用命名函数convert_year处理不完整数据，再用filter()进行过滤。3.3处理与转换数据非规整数据和缺失数据填充：1.用mean median 求平均数、中位数2.用where找到位置3.进行填充...

转载 LeetCode 461.汉明距离

两个整数之间的汉明距离指的是这两个数字对应二进制位不同的位置的数目。给出两个整数 x 和 y，计算它们之间的汉明距离。注意：0 ≤ x, y < 231.我一直都觉得我自己写python一股c味儿############################################import mathclass Solution: def hammingDistance(sel...

原创 LeetCode 657. 判断路线成圈

初始位置 (0, 0) 处有一个机器人。给出它的一系列动作，判断这个机器人的移动路线是否形成一个圆圈，换言之就是判断它是否会移回到原来的位置。移动顺序由一个字符串表示。每一个动作都是由一个字符来表示的。机器人有效的动作有 R（右），L（左），U（上）和 D（下）。输出应为 true 或 false，表示机器人移动路线是否成圈。自己代码(python)class Solution(object): ...

原创 Leetcode 771.宝石与石头

给定字符串 J 代表你现在拥有代表宝石的类型，和字符串 S 代表你拥有的石头。S 中每个字符代表了一种你拥有的石头的类型，你想知道你拥有的石头中有多少是宝石。J 中的字母不重复，J 和 S 中的所有字符都是字母。字母区分大小写，因此"a"和"A"是不同类型的石头。Python版def numJewelsInStones(J, S): i = 0 for s in S: ...

转载 Spark分区

一、Spark为什么要分区    分区概念：分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。    为什么要分区，这个借用别人的一段话来阐述。   数据分区，在分布式集群里，网络通信的代价很大，减少...