tech_chenlongzhen-优快云博客

原创 tensorflow 基础

计算模型首先构造好整个计算链路(图)可以对链路进行优化分布式调度基于层模型每个层的计算,固定实现 forward/backward必须手动指定目标GPU卡概念使用张量表示数据使用图来表示计算任务在绘画的上下文中执行图通过变量维护状态使用feed和fetch可以为任意的操作赋值或者从其中获取数据numpy vs tensorflowt

2018-01-20 16:19:16 640

原创 tensorflow 动态分配内存以及设置使用那块gpu的方法

动态内存config = tf.ConfigProto() config.gpu_options.allow_growth=True sess = tf.Session(config=config)如何控制GPU资源率（参考：http://blog.youkuaiyun.com/u012436149/article/details/53837651）allow growthc

2018-01-20 16:07:01 10792

原创 tensorflow import 没找到cudnn库问题解决

ImportError: libcudnn.so.5: cannot open shared object file: No such file or directory将cuda下lib64中的libcudnn.so，libcudnn.so.5，libcudnn.so.5.0.5复制到/usr/lib目录下或者 /usr/local/lib目录下

2018-01-20 16:04:39 1081

原创 tensorflow tfrecord save and read demo

import tensorflow as tfdef _int64_feature(value): if type(value) != list: value = [value] return tf.train.Feature(int64_list=tf.train.Int64List(value = value)) def _bytes_feature(val

2018-01-20 16:02:11 536

原创 vgg16 finetune tensorflow实现

vggvggnet version1 github: https://github.com/chenlongzhen代码环境：python3 keras2(tensorflow backend)结构 name usage data_utils 参数文件下载等，vgg16调用 vgg16.py vgg核心代码 vgg16_fin

2018-01-20 15:56:58 3719

原创 ipythonnotebook + spark

已经过时PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" ./bin/pyspark即可参考:http://blog.jobbole.com/86232/测试sparkpython在sparkhome下run-tests测试在Spark中使用IPython Notebook当搜索

2018-01-20 10:41:42 467

原创 wide and deep tensorflow 实现

github: https://github.com/chenlongzhen/wide-and-deepwide and deepwide and deep 代码结构： part 功能代码位置 reader 读取数据 reader.py processer 数据embedding,onehot等 train.py bui

2018-01-20 10:41:16 2728

原创 shell 脚本学习笔记

( 参考自 linux shell 脚本攻略)基础赋值等号之间不用空格带空格的等号是判断是否相等数值计算no=100echo "ibase=2;obase=10;$no" | bca=1;b=2let c=a+bc=$[ a + b ]c=$(( a + b ))4.重定向标准输入0，标准输出1，标准错误2 4.1 stdin 1 先清空再写入

2018-01-19 14:46:56 440

原创 mapreduce入门 note2 【mapreduce标准流程|】

mapreduce标准流程InputFormat读取HDFS得到数据，并解析为key-value格式以供map函数使用 InputFormat同时perform（不知道怎么翻译，不是很理解）数据逻辑分区为Map task提供计算标准的MR计算会对每个HDFS块创建Map 任务combine（参见note 1）Partitioner step：每个partitioner是按照key

2018-01-19 14:45:42 566

原创 mapreduce入门 cookbook note 1 【wordcount|hdfs|yarn简介】

wordCount/** * Following sample is adopted from original wordcount sample from * http://wiki.apache.org/hadoop/WordCount. */package chapter1;import java.io.IOException;import java.util.St

2018-01-19 14:45:06 231

原创 sbt 安装以及编译spark程序

安装sbt 及配置0.注意 sbt 我用的是自己用户, 编译好后,切换root提交spark,注意权限问题 1. 下载wget https://dl.bintray.com/sbt/native-packages/sbt/0.13.11/sbt-0.13.11.tgz2.解压并设置环境变量tar -zxvf sbt-0.13.6.tgz -C /data/softv

2018-01-19 14:43:26 515

原创 LFM推荐的例子和代码

参考自邹博的博客！ LFM：将评分矩阵分解为 item-feature 和 user-feature矩阵，feature数量事先人工确定，但是这两个矩阵参数未知，首先随机选取参数，再以此梯度下降迭代即可得到。 import pandas as pdimport numpy as npdef lfm(user_item,k,alpha = 0.01,lamda = 0.01): """u

2018-01-19 14:40:07 1368

原创 tensorflow 缺库升级gcc解决【升级gcc 5.3.0|`GLIBC_2.14'】

按照以下方法升级gcc 5.3.0 gcc下载ftp地址升级gcc步骤1.5 `GLIBC_2.14’ImportError: /lib64/libc.so.6: version `GLIBC_2.14' not found安装步骤： http://www.cnblogs.com/gw811/p/3676856.html加入环境变量export LD_LI

2018-01-19 14:38:19 1224

原创 ctr_xgboost_blue

ctr项目简介Click through rate 广告点击率，是指浏览网页的用户点击某个特定的链接（创意）的比例（ratio）。本ctr项目主要针对手机用户预测ctr，主要使用的方法为xgboost，模型好坏的离线衡量指标为AUC，并与LR(Logistic Regression Model)模型做比较。在离线测试中，xgboost的AUC高于LR。（0.66>0.62）项目实现流程

2018-01-19 14:36:14 503

原创 alexnet tensorflow finetune实现和简介

alexalexnet version 1 参考git上的大神代码，自己学着一个cnn finetune的代码。代码代码结构 name usage image_process.py 将图片做索引： path label 用于datagenerator读取 datagenerator.py 读取图片,reszie，反转，banch 等

2018-01-19 14:34:13 2106

翻译训练CNN你需要知道的tricks/tips

Introduction本文假设阅读者有基本的NN基础，涉及的tips有一下几点： - data augmentation - pre-process on images - initializations of Networks - some tips during training - selections of activation functions - div

2018-01-19 14:31:55 825 1

tech_chenlongzhen的博客