- 博客(28)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 大模型训练-gpu显卡训练环境搭建
CentOs7.9系统中，NVIDA A40显卡，安装基于GPU训练的tf环境；驱动：Driver Version: 470.256.02。
2025-02-10 23:08:28
315
原创 VScode环境配置-mac
安装Mac系统，首先安装Anaconda和VS Code，如果下载的是最新版的Anaconda，会提示是否安装VS Code：安装如下插件：Anaconda Extension Pack：包含了Python和YAML Support for Visual Studio CodeExcel Viewer：方便浏览文本文件Jupyter：可以单行或者多行运行代码，方便调试markdown ...
2020-04-18 16:58:52
4318
原创 从SGD到Adam-- 深度学习优化算法概览及调参优化
动量梯度下降法Momentum上述方法，通过dwdwdw的加权平均，使得在y方向的分量抵消，x方向的分量累加Adam优化算法和RMSprop算法adam算法:结合动量梯度下降和RMSprop算法；深度学习——优化器算法Optimizer详解从 SGD 到 Adam —— 深度学习优化算法概览（一）从 SGD 到 Adam —— 深度学习优化算法概览（二）...
2019-10-31 23:32:12
509
原创 Shell脚本函数
1.读取配置配置文件：key=value#!/bin/bashdeclare -A kv_dict=()function LoadConf(){ file_name=$1 IFS="=" while read key value do kv_dict[$key]=$value done < $file_name}...
2019-04-15 17:50:09
297
原创 Python学习笔记3-绘图
Roc曲线def plot_objs_roc(fname,title=u'ROC曲线'): print fname pred=pd.read_csv(fname) #print pred.head(5) y_pred=pred['preictal'] objs_y_pred=get_objects_y(pred) #print objs_y_...
2018-06-07 19:46:52
278
原创 python学习笔记-2.字符串分割
空格分割s='avg / total 0.91 0.87 0.87 92'filter(None, s.split(' '))[out]['avg', '/', 'total', '0.91', '0.87', '0.87', '92']
2018-06-06 12:39:17
236
原创 pandas.DataFrame用法笔记
未命名列重命名及删除用索引给未命名的列重命名data.rename(columns={ data.columns[0]: "delete" }, inplace=True)删除该列data.drop('delete',axis=1,inplace=True)两个DataFrame的拼接把y_num series 或者为df，添加到data上。data=data.join(y...
2018-06-06 09:51:03
392
原创 Jupyter Notebook 中加入R核
Jupyter Notebook 中加入R核来源于女票分享的一个链接Jupyter Notebook 中加入R核，写毕业论文的图顺利用R语言画出了高端的图片。系统说明ubuntu16.04_64位系统、Anaconda2安装步骤1从源代码安装（Linux上默认）ZMQ你需要使用zmq开发头文件来编译pbdZMQ：sudo apt-get install li...
2018-06-04 20:15:14
2266
原创 ubuntu16.04上传code到Github步骤
ubuntu16.04上传code到Github步骤step 1.创建ssh-key~$ssh-keygen -t rsa -C "youremail@example.com"step 2.将上步生成的~/.ssh/id_rsa.pub 文件复制到github的ssh keys上step 3.添加你的新的密钥到 ssh-agent（ssh 代理）~$ssh-...
2018-04-18 00:48:23
324
原创 Python学习笔记-1.数据读入与写出（命令行交互）
数据读入与写出（命令行交互）1.读文件输出文件import sysdef main(argv):#input_file='/home/vitamin/bigdata/code/python/part-00000'#output_file='/home/vitamin/bigdata/code/python/out1' input_file=argv[1] outpu...
2018-04-14 15:09:53
1715
转载 vim简易配置
把下面的code复制命名为.vimrc文件，放在/home/vitmain/目录下即可map :call SaveInputData()func! SaveInputData() exec "tabnew" exec 'normal "+gP' exec "w! /tmp/input_data"endfunc"colorscheme torte"col
2018-01-18 15:24:28
369
原创 Ubuntu16.04+GPU1080ti深度学习环境配置
本说明旨在在ubuntu16.04的服务器上的普通用户中创建深度学习环境Tensorflow、Theano1.服务器上创建用户 给用户赋予管理员权限系统管理员用户:$sudo adduser vitamin使用如下命令可以添加到用户组（超级用户组）。添加管理员权限：$sudo usermod -aG sudo vitmain 其中a:表示添加，G：指定组名从用户组中...
2018-01-02 15:32:06
3508
原创 RBM源码分析
RBM源码说明本源码来自《深入浅出深度学习原理剖析与Python实践》一书参考代码：GitHub项目数据预处理# coding: utf-8## data_preprocess.py## Author: Huang Anbu# Date: 2017.4## Description: data processing, after execute this script, you will
2017-10-29 15:23:19
1613
2
原创 Python-web: Flask 应用、数据库查询数据、API接口
一个超简单的Flask应用hellowordfrom flask import Flaskapp = Flask(__name__)@app.route('/')def hello_world(): return 'Hello World!'if __name__ == '__main__': app.run()数据库查询、与数据API关于对数据库查询操作可参考：Python:数
2017-08-09 20:54:13
6362
3
原创 Hadoop-MapReducer 利用计数器Counters（Java）和Error output（python）计数
Hadoop MR Java 代码，统计结果输出到日志文件中package vitamin.user_static_table;import java.io.IOException;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce
2017-08-09 11:56:20
740
原创 Hadoop streaming 编写MapReduce程序-二次排序，多文件输入
这个例子用到了二次排序，多文件输入的处理Mapper.pyimport sys,hashlib,struct,osfrom urllib import unquote tag=['11522','1157','15999','44060','373934']if __name__=="__main__": for line in sys.stdin: line = li
2017-08-08 14:08:33
1182
原创 word2vector 源代码分析
c源码分析：参考链接：word2vec原理详解// Copyright 2013 Google Inc. All Rights Reserved.//// Licensed under the Apache License, Version 2.0 (the "License");// you may not use this file except in compliance with
2017-08-04 14:14:17
2234
原创 PHP：折线图和数据表的绘制
header.php文件<!DOCTYPE html><html lang="en"><head> <meta charset="utf-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="width=device-width, initial-s
2017-08-04 14:07:41
3308
原创 Linux机器间同步文件脚本
创建文件rsync_file.exp，写入以下内容：文件内容中’123’为要上传主机 vitamin@192.163.0.1 的用户密码#!/usr/bin/expect -- #exp_internal 1#set timeout -1 set timeout 600set outpath [lindex $argv 1]:[lindex $argv 2]set localpath [l
2017-08-03 16:48:40
768
原创 Hadoop streaming编写mapper与reducer
mapper：import sys,hashlib,struct,osfrom urllib import unquote if __name__=="__main__": for line in sys.stdin: line = line.strip() tks = line.split("\t") print tks[0]+'\t
2017-07-25 22:28:52
561
原创 Shell笔记
较全的资料shell命令详细解析定时脚本任务参考：crontab命令详解主要用到： crontab -e 命令 -e：编辑某个用户的crontab文件内容。如果不指定用户，则表示编辑当前用户的crontab文件。在每个整点的第五分钟执行，如下# submit hadoop static job per hour 5 * * * * sh /dir/vitamin/code/datapreproc
2017-07-25 22:18:23
283
原创 Mysql数据库相关操作
Mysql命令参考文档mysql事务 模式匹配创建数据库:CREATE DATABASE `db_name` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;设置默认数据库:use db_name;创建表格:t1: create table tb_hour_reason_static(ip varchar(15) not null,reason
2017-07-25 21:50:59
299
转载 Ubuntu菜鸟入门—— 有道词典安装
Ubuntu菜鸟入门—— 有道词典安装 转载博客 一、在有道辞掉官网上下载安装包： youdao-dict_1.1.0-0-ubuntu_amd64.deb ubunut有道翻译下载二、安装１、打开下载目录，进行安装sudo dpkg -i youdao-dict_1.1.0-0-ubuntu_amd64.deb 一般在16.04且1.1.0版本的有道，会出现大量的依赖性问题，
2017-06-04 22:19:55
774
原创 Python集成开发环境Anaconda2及Pytorch与Tensorflow的安装
系统环境： ubuntu16.04lts系统、geforce630M 显卡 参考：安装Anaconda2及tensorflow-CPU版 参考：查看GPU等硬件或系统信息 安装tensorflowGPU版本1.安装Anaconda官方下载链接：[选择匹配自己系统环境的版本](https://www.continuum.io/downloads)个人百度云盘下载链接：打开terminal，输入
2017-04-20 21:04:23
13635
原创 基于剪枝搜索的分治算法（原理）--找到第k个顺序统计量
剪枝搜索方法： 基本思想：利用计算问题的特征，剪除不影响问题求解的输入数据，由剩下的输入数据构成一个与原问题形式相同，但规模更小的子问题，递归求解子问题得到原问题的解。 正确性：其正确性由剪枝策略的正确性保证。 算法复杂度分析： 剪枝策略共剪除了λn个输入数据，其中n为问题的规模，则T（n）满足：T(n)=T(
2017-03-11 11:19:23
547
原创 ubuntu16.04系统安装(原有win7系统)
在已经安装有win7的系统的计算机上安装ubuntu一般需要以下几个步骤：在win7系统中用磁盘管理工具，根据硬盘大小划出60G以前空间。我是1T硬盘，平时用Linux系统较多，划出了400G的空间。主要操作：计算机--》管理--》磁盘管理--》删除卷在win7系统中安装安装UltraISO，并利用下载好的ubuntu16.04镜像，制作启动盘。参考：http://jingyan.ba
2017-02-26 09:47:59
426
原创 二叉树访问序列
关于二叉树的访问序列主要有以下几种：１．先序算法 preOrder输入：根节点指针root输出：访问的所有节点值的序列判断当前节点是否为空，是则返回；访问当前节点 visite(node);访问当前节点的左节点 preOrder(node.left)访问当前节点右节 preOrder(node.right)２．中序３．后序二叉树先序的逆序访问算法 re
2017-02-24 16:07:13
716
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人