人工智能
关注
分享
扫一扫
Adm1rat1on
太极生两仪，两仪生四象，四象生八卦
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
构建词向量的数据读取
# 读取数据def read_data(path_1, path_2, path_3): with open(path_1, 'r', encoding='utf-8') as f1, \ open(path_2, 'r', encoding='utf-8') as f2, \ open(path_3, 'r', encoding='utf...原创 2019-11-13 15:29:10 · 349 阅读 · 0 评论 -
词向量数据预处理参考
预处理def parse_data(path): df = pd.read_csv(path, encoding='utf-8') data_x = df.Question.str.cat(df.Dialogue) data_y = [] if 'Report' in df.columns: data_y = df.Report retur...原创 2019-11-13 14:51:54 · 340 阅读 · 0 评论 -
语言翻译
运用神经网络完成机器翻译。使用英语和法语语句组成的数据集，训练一个序列到序列模型（sequence to sequence model），该模型能够将新的英语句子翻译成法语。获取数据import helperimport problem_unittests as testssource_path = './data/small_vocab_en'target_path = './dat...原创 2018-10-30 15:24:49 · 617 阅读 · 1 评论 -
TensorFlow编写relu函数
relu函数：tf.nn.relu()隐藏层用relu作为激活函数hidden_layer = tf.add(tf.matmul(features,hidden_weights),hidden_biases)hidden_layer = tf.nn.relu(hidden_layer)output = tf.add(tf.matmul(hidden_layer,output_weight...原创 2018-11-30 10:36:33 · 1198 阅读 · 0 评论 -
保存和读取TensorFlow模型
训练一个模型的时间很长。但是一旦关闭了TensorFlow session，你所有训练数据都会丢失。如果你要调用这个模型结果，你需要重新训练！所以，TensorFlow做了一个类tf.train.Saver把训练进程和结果保存下来。可以把任何tf.Variable保存到电脑中。保存变量保存weights和bias Tensorsimport tensorflow as tfsav...原创 2018-11-30 10:51:15 · 178 阅读 · 0 评论 -
保存Tensorflow训练好的模型
设置参数# 移除之前的Tensors和运算tf.reset_default_graph()from tensorflow.examples.tutorials.mnist import input_dataimport numpy as nplearning_rate = 0.001n_input = 784 #MNIST 数据输入（图片尺寸：28*28）n_classes = ...原创 2018-11-30 11:28:40 · 326 阅读 · 0 评论 -
TensorFlow实现dropout
tf.nn.dropout()keep_prob = tf.placeholder(tf.float32)hidden_layer = tf.add(tf.matmul(features,weights[0],biases[0]))hidden_layer = tf.nn.relu(hidden_layer)hidden_layer = tf.nn.dropout(hidden_laye...原创 2018-11-30 11:48:49 · 1874 阅读 · 0 评论 -
TensorFlow实现最小化损失函数：交叉熵
softmax_data = [0.7, 0.2, 0.1]one_hot_data = [1.0, 0.0, 0.0]softmax_data = tf.placeholder(tf.float32)one_hot = tf.placeholder(tf.float32)cross_entropy = -tf.reduce_sum(one_hot*tf.log(softmax_data...原创 2018-11-30 13:52:16 · 1419 阅读 · 0 评论 -
TensorFlow实现卷积
tf.nn.conv2d()函数来计算卷积，weights作为滤波器，[1,2,2,1]作为stridesinput_image维度使用一个单独的stride参数，[batch,input_height,input_width,input_channels]input_height和input_width strides表示滤波器在input上移动的步长。在input之后，设置了一个5*5，...原创 2018-11-30 14:17:29 · 333 阅读 · 1 评论 -
在mnist数据集上实现卷积神经网络
from tensorflow.examples.tutorials.mnist import input_dataimport tensorflow as tfmnist = input_data.read_data_sets("./datasets",one_hot = True,reshape = False)# 参数learning_rate = 0.00001epochs ...原创 2018-11-30 15:54:39 · 514 阅读 · 0 评论 -
RNN--预测正弦函数
import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt%matplotlib inline需要的参数# 训练数据个数training_examples = 10000# 测试数据个数testing_examples = 1000# sin函数的采样间隔sample_gap = 0.01...原创 2018-10-24 17:24:28 · 841 阅读 · 0 评论 -
seq2seq
Datasetletters_source.txt:输入的字母序列列表，每一行代表一个序列letters_target.txt: 训练的目标字母序列列表，每一行是对应着输入列表中的每一行（同行）import numpy as npimport timeimport helpersource_path = 'data/letters_source.txt'target_path...原创 2018-10-31 11:46:23 · 325 阅读 · 0 评论 -
使用RNN进行情感分析
RNN网络使用了单词的序列信息，网络结构如下：首先，将单词传入embedding层，之所以使用嵌入层，是因为单词数量太多，使用嵌入式方式词向量来表示单词更有效率。我们在这里使用word2vec方式来实现，我们在这里只需要加入嵌入层即可，网络会自主学习嵌入矩阵。通过embedding层，新的单词表示传入LSTM cells。这将是一个递归链接网络，所以单词的序列信息会在网络之间传递。最后，LS...原创 2018-10-23 17:09:57 · 4216 阅读 · 1 评论 -
医学图像数据增强
图像数据增强介绍2种图像增强的方法导入需要的模块import randomimport cv2介绍2种使用的比较多的方法：旋转和翻转def random_rotate_img(img, min_angle, max_angle): ''' random rotation an image :param img: image to be...原创 2018-09-26 17:55:40 · 5916 阅读 · 0 评论 -
医学影像中的目标截取
医学影像中的目标截取导入需要的模块from scipy import ndimage as ndiimport numpyimport cv2医学影像是一个立体的图像，指定目标的中心并且在图像中找到这个指定目标的中心，用一个立方体将目标包含起来，并且截取这个立方体。MASK_MARGIN = 5def make_mask(v_center, v_diam, width, hei...原创 2018-09-26 18:09:26 · 405 阅读 · 1 评论 -
dicom文件预处理
dicom文件处理的一些方式导入需要的模块import osimport SimpleITKimport dicomimport numpy as npimport cv2import globfrom tqdm import tqdm首先需要导入我们需要的处理的dicom文件，dicom文件是一组连续的图片，我们根据图片中的位置信息对每张图片进行间隔计算，然后把结果存到一个列...原创 2018-09-26 18:33:32 · 6646 阅读 · 6 评论 -
医学影像有效部分的提取
导入需要用的模块import SimpleITKfrom scipy import ndimage as ndifrom skimage.segmentation import clear_borderfrom skimage.measure import label, regionpropsfrom skimage.morphology import disk, dilation, b...原创 2018-09-26 20:25:26 · 1061 阅读 · 0 评论 -
用 TF-IDF 和词袋表示文档特征
使用 CounterVectorizer 和 TfidfTransformer 计算 TF-IDFimport jiebafrom sklearn.feature_extraction.text import CountVectorizer, TfidfTransformer, TfidfVectorizerimport pandas as pdcontents = [ u'小明...原创 2018-09-26 21:13:45 · 859 阅读 · 0 评论 -
训练word2vec模型
准备工作import numpy as npimport pandas as pd# 创建输出目录output_dir = 'output_word2vec'import osif not os.path.exists(output_dir): os.mkdir(output_dir)train_data = pd.read_csv('data/sohu_train.tx...原创 2018-09-26 21:23:57 · 358 阅读 · 0 评论 -
用word2vec模型对文档进行自动分类
1.加载数据import numpy as npimport pandas as pdimport os# 创建输出目录output_dir = u'output2'if not os.path.exists(output_dir): os.mkdir(output_dir)# 查看训练数据train_data = pd.read_csv('data/sohu_trai...原创 2018-09-26 21:47:19 · 2381 阅读 · 0 评论 -
CS224n笔记（一）
skip-gram model在每一个估算步都取一个词作为中心词汇，尝试去预测它一定范围内上下文的词汇，这个模型会定义一个概率分布：给定一个中心词汇，其他单词在这个词汇上下文出现的概率，作为词汇的向量表示，然后让概率分布最大化。这个模型只有一个概率分布，这个概率分布就是输出，也就是出现在中心词周围的上下文的一个输出，接着我们要定义一个半径m，然后从中心词汇开始到距离为m的位置，用刚刚的概率分布去...原创 2018-10-13 16:45:51 · 977 阅读 · 0 评论 -
cs224n课程笔记（二）
复习skip-gram如上图公式，给定中心词Vc(就是上图的into),分母是一个恒定的总和。现在的问题是如何得到v向量和u向量，已知一个非常大的矩阵，这个矩阵根据不同的词对应着不同的词向量。这个矩阵包含了所有的中心词向量，从语料库的第一个窗口开始取出第一个词向量，代入上图的式子，然后最大化这个概率式值，然后为了所有这些不同的词取词向量，下一步是计算中心词(into)和其他词的概率。一开始所有...原创 2018-10-14 23:02:55 · 353 阅读 · 0 评论 -
如何读取dicom文件并且转换成png
读取dicom文件并且转换成png第一次写文章，这篇主要讲的是怎么处理dicom格式的医学影像文件，并且转换成png，这样利于我们对图像进行处理。导入需要的模块，如果没安装，都可以用pip进行安装。SimpleITK、dicom是操作医学影像的模块。import osimport SimpleITKimport dicomimport numpy as npimport cv2fr...原创 2018-09-26 17:45:33 · 13481 阅读 · 14 评论