有信念，才能走的更远

1、定义hook钩子函数用于获取指定名称的中间数据class YourOwnHook(tf.train.SessionRunHook): def __init__(self): np.set_printoptions(suppress=True) np.set_printoptions(linewidth=400) def before_run(self, run_context): """返回SessionRunArgs和sessio

1、string_split：在制作tfrecord的时候，将多个类别特征使用分隔符组装到一起，用一个特征列来存储，降低存储代价。而在训练时候使用string_split将其分隔，分别处理。cank

1、使用VectorAssembler()将多个dataframe数值列以及数组列合并到一列（）中去问题描述：spark内部有优化处理，当使用rdd+row方式获取

1、tensorflow.python.framework.errors_impl.InvalidArgumentError: assertion failed: [Input values must be in the range 0 <= values < max_tokens with max_tokens=3] [[node model/category_encoding/Assert/Assert (defined at /work_place/python_proje...

一、一些工具1、三种本地打印输出非序列sequence数据的feature_column转换后的值的方法适用于TensorFlow1.ximport tensorflow as tffrom tensorflow.python.feature_column import feature_column_v2 as fc_v2from tensorflow.python.feature_column import feature_column as fc# 注意：只有方式2会检查输入数据是否

关键词：tf.contrib.data.parallel_interleave tf.data.TFRecordDataset input_layer make_initializable_iterator() train.MonitoredTrainingSession test_op.initializer parse_example data.Dataset.list_files data.experimental.make_batched_features_dataset da

涉及的概念：Example Tensor SequenceExample Feature涉及的写入方式python spark scala spark dataframe写入的数据类型int64 float32 string写入的特征类型VarlenFeature SparseFeature FixedLenFeature一、python方式写tfrecord二、spark scala方式写tfrecord三、spark dataframe方式写tfreco

一、安装1、win10系统anaconda安装1.1、安装TensorFlow2.1.0版本问题 https://docs.floydhub.com/guides/environments/使用python版本3.6注意：TensorFlow2.3.0对应的python版本为3.7及3.8遇到问题：CondaVerificationError: The package for tensorboard located at解决方式：在文件目录中删掉对应的文件，重新con...

一、用于接口——现有的estimator模型1、读取tfrecord数据1.1、tfrecord中包含所有特征情况feature_schema = { # 包含了tfrecord里的所有特征，包括标签label "sex": tf.io.FixedLenFeature(shape=(1,), dtype=tf.int64), "age": tf.io.FixedLenFeature(shape=(1,), dtype=tf.int64)}# train_files就

一、创建 TrainSpec方式：1用于# 模型：model = tf.estimator.LinearClassifier( feature_columns=get_feature_columns(""), model_dir=FLAGS.model_dir, n_classes=2, optimizer=tf.train.AdamOptimizer(learning_rate=FLAGS.learning_ra

参考博客：http://www.cnblogs.com/tianshifu/p/6165809.html

1、However, conventional hallucination methods are often designed for controlled settings and cannot handle varying conditions of pose, resolution degree, and blur.传统的方法有约束控制，不能处理多种姿态、像素深度及遮挡的情况。2、

名称：全连接。意思就是输出层的神经元和输入层的每个神经元都连接。例子： AlexNet  网络中第一个全连接层是这样的：layer {  name: "fc6"  type: "InnerProduct"  bottom: "pool5"  top:"fc6"  param {    lr_mult: 1    decay_mult: 1  }  par

1、前提是手动已经下载好text8.zip数据，使用def read_data(filename)这个函数去读取zip里面的数据，调用了f = zipfile.ZipFile(filename, 'r' ,zipfile.ZIP_DEFLATED)这个函数，在得到文件描述符f后，调用data = tf.compat.as_str(f.read(f.namelist()[0])).split()函数

let's move:1、opts.caffe_version          = 'caffe_faster_rcnn';   %设置caffe版本2、opts.gpu_id                 = auto_select_gpu;        %auto_select_gpu是个函数，该函数就是查看你的电脑有几个gpu，然后挨个检查你的GPU的free-memory是不

参照：http://www.coin163.com/it/8981382003560309276/python-faster%20rcnn-Faster%20R-CNN如果发现哪个文件有类似提示就把那个文件里的：utils.cython_bbox改为utils.bbox，即可。

1、SSD提供了一种用于目标检测的方法，仅仅使用了一个深度神经网络。--这是相对于RCNN的训练来说的，因为对于Faster Rcnn，需要训练RPN网络以及fast rcnn网络。2、SSD的特别之处：--就像摘要里说的那样，它把最终要输出的bounding box预先固定在默认设置好的特征图上，意思是你给网络输入一个图片，它肯定会产生很多特征图，而我就在特征图上预先声明好很多box

1、We focus on blurred images from a real-life traffic surveillance system, on which we, for the first time, demonstrate that neural networks trained on artificial data provide superior reconstruction

1、In this paper, we address this problem by jointly learning a deep model for two tasks, i.e. face hallucination and recognition.本文是连接两个任务模型：hallucination和recognition。2、The recognition subnetwork

1、將圖片數據寫入hdf5數據庫： h5create(filename, '/data', [dat_dims(1:end-1) Inf], 'Datatype', 'single', 'ChunkSize', [dat_dims(1:end-1) chunksz]); % width, height, channels, number  h5create(filename, '/labe

引用：http://blog.youkuaiyun.com/fangjin_kl/article/details/54131144损失函数：对的偏导：对的偏导：-forward_cpu：template void EuclideanLossLayer::Forward_cpu(const vector*>& bottom, const vector*>& top) {

名称：softmax_layer连接：softmax层一般连接的是全连接层和loss层这里有softmax层的来历解释，我感觉解释的很好：http://zhidao.baidu.com/link?url=brlk4rKSEl3AVbpu5cL8S9FZOeFF1nVES1lydYSa84ctjpSDU5dXZDo-1llgcnwubScZ2jaq194Mr8g52wk7cGZR8J747y