项目实践
关注
分享
扫一扫
文章平均质量分 90
vitamin2013
这个作者很懒，什么都没留下…
展开
-
Hadoop streaming 编写MapReduce程序-二次排序，多文件输入
这个例子用到了二次排序，多文件输入的处理Mapper.pyimport sys,hashlib,struct,osfrom urllib import unquote tag=['11522','1157','15999','44060','373934']if __name__=="__main__": for line in sys.stdin: line = li原创 2017-08-08 14:08:33 · 1183 阅读 · 0 评论 -
ubuntu16.04上传code到Github步骤
ubuntu16.04上传code到Github步骤step 1.创建ssh-key~$ssh-keygen -t rsa -C "youremail@example.com"step 2.将上步生成的~/.ssh/id_rsa.pub 文件复制到github的ssh keys上step 3.添加你的新的密钥到 ssh-agent（ssh 代理）~$ssh-...原创 2018-04-18 00:48:23 · 324 阅读 · 0 评论 -
vim简易配置
把下面的code复制命名为.vimrc文件，放在/home/vitmain/目录下即可map :call SaveInputData()func! SaveInputData() exec "tabnew" exec 'normal "+gP' exec "w! /tmp/input_data"endfunc"colorscheme torte"col转载 2018-01-18 15:24:28 · 369 阅读 · 0 评论 -
Ubuntu16.04+GPU1080ti深度学习环境配置
本说明旨在在ubuntu16.04的服务器上的普通用户中创建深度学习环境Tensorflow、Theano1.服务器上创建用户 给用户赋予管理员权限系统管理员用户:$sudo adduser vitamin使用如下命令可以添加到用户组（超级用户组）。添加管理员权限：$sudo usermod -aG sudo vitmain 其中a:表示添加，G：指定组名从用户组中...原创 2018-01-02 15:32:06 · 3510 阅读 · 0 评论 -
Shell笔记
较全的资料shell命令详细解析定时脚本任务参考：crontab命令详解主要用到： crontab -e 命令 -e：编辑某个用户的crontab文件内容。如果不指定用户，则表示编辑当前用户的crontab文件。在每个整点的第五分钟执行，如下# submit hadoop static job per hour 5 * * * * sh /dir/vitamin/code/datapreproc原创 2017-07-25 22:18:23 · 283 阅读 · 0 评论 -
Python-web: Flask 应用、数据库查询数据、API接口
一个超简单的Flask应用hellowordfrom flask import Flaskapp = Flask(__name__)@app.route('/')def hello_world(): return 'Hello World!'if __name__ == '__main__': app.run()数据库查询、与数据API关于对数据库查询操作可参考：Python:数原创 2017-08-09 20:54:13 · 6366 阅读 · 3 评论 -
PHP：折线图和数据表的绘制
header.php文件<!DOCTYPE html><html lang="en"><head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-s原创 2017-08-04 14:07:41 · 3311 阅读 · 0 评论 -
Linux机器间同步文件脚本
创建文件rsync_file.exp，写入以下内容：文件内容中’123’为要上传主机 vitamin@192.163.0.1 的用户密码#!/usr/bin/expect -- #exp_internal 1#set timeout -1 set timeout 600set outpath [lindex $argv 1]:[lindex $argv 2]set localpath [l原创 2017-08-03 16:48:40 · 771 阅读 · 0 评论 -
Hadoop streaming编写mapper与reducer
mapper：import sys,hashlib,struct,osfrom urllib import unquote if __name__=="__main__": for line in sys.stdin: line = line.strip() tks = line.split("\t") print tks[0]+'\t原创 2017-07-25 22:28:52 · 561 阅读 · 0 评论 -
Mysql数据库相关操作
Mysql命令参考文档mysql事务 模式匹配创建数据库:CREATE DATABASE `db_name` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;设置默认数据库:use db_name;创建表格:t1: create table tb_hour_reason_static(ip varchar(15) not null,reason原创 2017-07-25 21:50:59 · 299 阅读 · 0 评论 -
Hadoop-MapReducer 利用计数器Counters（Java）和Error output（python）计数
Hadoop MR Java 代码，统计结果输出到日志文件中package vitamin.user_static_table;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce原创 2017-08-09 11:56:20 · 740 阅读 · 0 评论