- 博客(63)
- 资源 (4)
- 收藏
- 关注
原创 Nginx加载静态资源;反向代理实现负载均衡
把静态资源复制到/usr/local/nginx/html下,配置conf文件中的加载路径和server端口 即可访问。在反向代理服务器的nginx的conf中配置server,将82端口的请求发送到101这台机器的8080端口。,用户直接访问反向代理服务器就可以获得目标服务器的资源,反向代理服务器负责将请求转发给目标服务器;,为了从原始服务器取得内容,客户端向代理发送一个请求,并指定目标(原始服务器),然后。./nginx -t 检查配置文件nginx/conf/nginx.conf文件。
2023-03-16 00:03:00
1547
原创 深度学习——LSTM做情感分类任务
Google Colab环境下运行在Colab环境下安装包使用GPU获得训练集与测试集定义LSTM模型class RNN(nn.Module): def __init__(self,vocab_size,embedding_dim,hidden_dim): super(RNN,self).__init__() # [vocab_size 10000] => [embedding_dim:100] self.embedding = nn.Embedding(v
2022-03-11 14:27:43
2168
原创 HuggingFace使用datasets加载数据时 出现ConnectionError 无法获得数据 可以将数据保存到本地
问题描述:from datasets import load_dataset#加载数据dataset = load_dataset(path='seamew/ChnSentiCorp', split='train')dataset报错 ConnectionError 原因分析:网络问题解决方案:需要上网 注册谷歌Colab账号不会的话看看另一篇博客 一个麻烦点的方法 Git下载在Colab中新建笔记本 运行代码下载完成后 将代码保存到google云端从云端下载
2022-03-06 13:14:45
12052
6
原创 HuggingFace 加载数据集报错 ConnectionError 无需GoogleColab
翻不了墙或者google账号出现了问题的话可以使用下面这种方法图方便还是用GoogleColab以ChnSentiCorp数据集的train为例1.进入页面 huggingface2. 用git命令下载打开git 用cd修改地址到存放dataset的路径输入命令路径下自动生成文件夹新建state.json文件{ "_data_files": [ { # 对应上图中的文件名 "filename": "chn_senti_corp
2022-03-05 20:02:09
6516
8
原创 Apktool反编译工具 获得smali 构建Call Graph
一、安装进入网址Apktoolwindows照着下载 配置好环境变量就好二、APK解压直接解压 获得主要文件 均是编译后文件 无法查看AndroidManifest.xml 程序配置文件classed.dex 编译后的文件 反编译可以获得smali后缀文件 即Dalvik寄存器语言resources.arsc 二进制资源文件使用Apktool 修改路径到apk文件目录下apktool d xxx.apk获得的文件可读 原始代码文件对classes.dex文件进行反编译获
2022-01-03 15:19:09
835
原创 idea导入Tomcat的servlet-api.jar包创建Servlet失败标红显示无依赖包
如果!!!你看遍了所有的优快云文章都没有找到解决方法尝试了各种IDEA配置 从project structure到project settings 到 tomcat配置通通!!!失败了!!!就像我一样!!!整了三天人都要疯啦哈哈哈!!!那就换一下tomcat的版本试一试吧哈哈哈哈哈哈哈我rnm人都要疯了!!!!tomcat 10是不是有大病!!!是不是有大病!!!好好的javax.servlet包 神经病一样改什么名字啊改成啥Jakarta.servlet包啊 完事我配来配去 IDEA导的是j
2021-10-07 16:22:22
1104
5
原创 Tenosrflow2——数据的加载&预处理
一、加载数据( x , y ), ( x_test , y_test ) = keras.datasets.xxxx.load_data( )二、数据预处理tf.data.Dataset.from_tensor_slicestf.data.Dataset.shuffle 在给定n的范围内打乱tf.data.Dataset.map 对所有数据进行统一预处理tf.data.Dataset.batch 设置batch_sizetf.data.Dataset.repe
2021-03-16 16:06:11
149
原创 Tensorflow2——tensor where scatter_nd 在tensor的指定位置插入数据
一、wheretf.where( mask )根据给定的bool矩阵 返回值为true的坐标tf.where(mask,A,B)根据给定的bool矩阵,在true的坐标上放A矩阵对应坐标值 在false的坐标上放B矩阵对应坐标值二、scatter_nd在指定shape的tensor上 根据indices上 插入 update中的值...
2021-03-16 15:23:20
786
1
原创 Tensorflow2——tensor限幅 解决梯度爆炸问题:gradient_clipping
一、限幅tf.clip_by_value( tensor , a , b ) ⇒ tf.maximum( tensor , a ) + tf.minimum( tensor , b )把value限制在a~b之间tf.maximum( tensor , x ) ⇒ max( 0 , x )tf.minimum( tensor , x ) ⇒ min( 0 , x )tf.nn.relu( tensor ) ⇒ tf.maximum( tensor , 0 )clip_by_
2021-03-16 00:40:36
338
原创 Tensorflow2——tensor的填充与复制 tf.pad() tf.tile() VS tf.broadcast_to()
一、填充tf.pad( tensor , [ ] )[ ] 内存放n个dim的首行和尾行的填充情况n个[ a , b ] a,b∈{ 0 , 1 } 1就是要填充0的行数image padding二、复制tf.tile( a , [ ] ) [ ]内存放对应维度的复制倍数tf.tile( ) VS tf.broadcast_to( )...
2021-03-15 23:01:44
481
原创 Tensorflow2——tensor排序 sort & argsort & top_k & Top-k Acc
一、排序sorttf.sort( tensor , direction = ’ ’ )tf.argsort( tensor )二、Toptf.math.top_k( tensor , int k ) ⇒ indices + values利用top_k计算Acc
2021-03-15 22:32:47
811
1
原创 Tensoflow2 —— tenosr 数据统计相关
一、normtf.norm( tensro , ord = , axis = ) 默认ord = 1二、max mintf.reduce_min( ) tf.reduce_max( ) 返回最大/小值tf.argmax( ) tf.argmin( ) 返回最大/小值的index三、equal uniquetf.equal( tensor1 , tensor2 ) 比较两个tensor利用tf.equal() 计算ACCURACYtf.u
2021-03-15 17:45:14
120
原创 Tensorflow2——tensor的合并与分割 stack unstack concat split
一、合并tf.concat( [ ] , axis = ) add at initial tensor dimtf.stack( [ ] , axis = ) create new dim注:Dim matchtf.concat( [ ] , axis = ) axis的dim shape可以mismatchtf.stack( [ ] , axis = ) 所有的dim的shape都要match二、分割tf.unstack( tensor , axis =
2021-03-15 16:52:48
241
原创 Tensorflow2 ——隐式/显式的broadcasting & tensor的数学运算
一、Broadcasting维度扩张不copy数据 不占用额外的内存(区别于 tf.tile )显式转换 tf.broadcast_to数学运算时自动转换 :only shape=1 的dim可以转成其他shape值手动转换:tf.broadcast(a,[ ])tf.broadcast_to VS tf.expand_dims + tf.tile二、数学运算+ - * / // %exp logpow ** sqrt@ matmul乘法中的b
2021-03-14 21:58:48
179
原创 Tensorflow2 —— tensor改变维度reshape & transpose squeeze & expand_dims
shape ndimreshape 【 -1自动推算】 改变视图viewtf.transpose 转置 改变tensor矩阵数据 改变contentsqueeze & expand_dimstf.expands_dims()tf.squeeze()
2021-03-14 17:48:42
658
原创 Tensorflow2——tensor的索引与切片& gather收集器 &boolean_mask
一、索引[ idx ] [ idx ] [ idx ][ idx , idx , idx ]start : end ==> [ start : end )index: [0,1,2,…,-2,-1]start,end 无值默认:第一个,最后一个… 自动推导维度二、切片start : end ==> [ start : end )index: [0,1,2,…,-2,-1]start,end 无值默认:第一个,最后一个star
2021-03-14 17:04:28
226
原创 Tensorflow2——创建Tensor Tensor的应用场景
一、创建tensor的几种方式tf.convert_to_tensor() (括号内为data)from numpy , listtf.zeros,tf.zeros_like , tf.ones , tf.ones_like新建data为0的tensor ( 括号内为shape)根据给定tensor的shape 新建data为0的tensor (括号内为给定tensor)新建data为1的tensor (括号内为shape)fill 用任意数值data填充形状为sha
2021-03-13 23:49:03
200
原创 Tensorflow2——Tensorflow数据类型 属性 类型判断 相互转化
一、tf.constant()数据类型:intfloatdoubleboolstring(1)直接constant变量(2)constant()指定dtypetype要匹配,不然会报错二、tensor属性device转numpy()ndimrank三、类型判断isinstance()is_tenosr()x.dtype四、类型转换1.convert_to_tensor() numpy -
2021-03-13 23:02:06
375
原创 机器学习——神经网络的网络调优
一、数据预处理标准化操作:首先各个特征减去其均值,相当于以原点对称,接下来再除以各自的标准差,让各个维度取值都统一在较小范围中。图像数据预处理操作:保证输入的大小规模都是统一的,例如都是32×32×3,如果各自大小不同,还需resize到统一规模,这点是必需的,因为在基本的神经网络中,所有参数计算都是矩阵相乘,如果输入不统一,就没法进行特征变换。不仅如此,通常图像数据的像素点取值范围是在0~255之间,看起来浮动比较大,可以使用归一化方法来把所有像素点值压缩到0~1之间。文本数据预处理操作:最起码要
2021-01-28 20:12:54
350
原创 机器学习——神经网络(反向传播)与整体框架
一、反向传播**前向传播:**从输入数据到计算损失的过程网络模型最终的结果完全是由其中的权重与偏置参数来决定的,所以神经网络中最核心的任务就是找到最合适的参数当确定损失函数之后,就转化成了下山问题。但是神经网络是层次结构,不能一次梯度下降就得到所有参数更新的方向,需要逐层完成更新参数工作。反向传播:在神经网络中,并不是所有参数的梯度都能一步计算出来,要按照其位置顺序,一步步进行传递计算,这就是反向传播由于网络层次的特性,在计算梯度的时候,需要遵循链式法则,也就是逐层计算梯度,并且梯度是可以传
2021-01-28 19:42:13
1077
原创 机器学习——神经网络(前向传播)
一、概要基本上所有的机器学习问题都能用神经网络来解决,但可能存在过拟合问题,所以能用逻辑回归解决的问题没必要用神经网络。与其把神经网络当作一个分类或者回归算法,不如将他当成一种特征提取器,让机器更好的读懂输入的数据。二、图像识别与神经网络图像在计算机中是以一个三维数组或者矩阵(例如300×100×3)的形式存储在计算机中其中300×100代表一张图片的长和宽,3代表图像的颜色通道,例如经典的RGB,此时图像就是一个彩色图。如果颜色通道数为1,也就是300×100×1,此时图像就是一个黑白图。
2021-01-28 18:44:44
727
原创 Pytorch学习——用神经网络完成Minist数据集的分类
一、数据处理与查看下载、解压数据集from pathlib import Pathimport requestsimport pickleimport gzipFILENAME = Path("D:/DataSet/mnist.pkl.gz")with gzip.open((FILENAME).as_posix(),"rb") as f: ((x_train,y_train),(x_valid,y_valid),_) = pickle.load(f,encoding="latin-
2021-01-22 00:48:40
1200
1
原创 Pytorch学习——用神经网络进行气温预测
一、导入需要用到的库import numpy as npimport pandas as pd import matplotlib.pyplot as pltimport torchimport torch.optim as optimimport warningswarnings.filterwarnings("ignore")%matplotlib inline二、数据查看features = pd.read_csv("D:/DataSet/temps.csv")features
2021-01-22 00:16:32
3235
7
原创 Pytorch学习——Tensor的常见形式
scalar 标量数值vector 矢量/向量matrix 矩阵n-dimensional tensor 高维特征向量Scalar通常就是一个数值Vector例如: [-5., 2., 0.],在深度学习中通常指特征,例如词向量特征,某一维度特征等????⃗ =[????1,????2,…,????????]Matrix一般计算的都是矩阵,通常都是多维的matmul做各种矩阵乘法...
2021-01-11 23:34:05
224
原创 Pytorch学习——pytorch典型的模型训练过程:实现一个简单的线性回归模型
一个典型的神经网络的训练过程如下:定义具有学习参数(或权重)的神经网络迭代输入数据集根据神经网络对输入数据集进行运算计算损失(输出与真实结果的距离,损失越小说明模型越准确)将梯度反向传播给神经网络的参数更新网络的权重(或参数)。通常使用一种简单的更新规则:权重 = 权重 - 学习率 * 梯度线性回归模型目标:构造一组输入数据 x 和其对应的标签 y ,让模型学习拟合出 w 和 b。我们这里要模拟出的线性回归函数:y = 2x + 1x 给的是从 0 - 10 一共11个数(11行1列
2021-01-11 23:17:42
736
原创 Pytorch学习——pytorch基本操作
一、基本使用方法查看torch版本创建指定维度的空矩阵初始化一个随机数矩阵初始化一个全0矩阵初始化一个全1矩阵直接传入矩阵的数据根据已有矩阵形状创建新的标准正态分布的矩阵显示矩阵大小 numpy -> ,shape() torch -> .size()索引 同numpy10.view操作可以改变矩阵维度 numpy->reshape() torch->view
2021-01-10 23:56:13
323
原创 java IO 从文件中读取数据的6种方法
Scanner(Java 1.5)按行读数据String、Int、Long类型等按分隔符读数据。按分隔符读取特定类型数据public void rf1(String filename) throws IOException { try (Scanner sc = new Scanner(new FileReader(filename))) { while (sc.hasNextLine()) { //按行读取字符串 String line = s.
2021-01-10 00:06:17
2041
原创 java IO 5种创建并写入文件的方法
Files.newBufferedWriter (Java 8)创建文件,并向文件内写入数据用try-with-resources 不用手动关闭流public void cf1(String filename) throws IOException { Path path = Paths.get(filename); // 使用newBufferedWriter创建文件并写文件 // 这里使用了try-with-resources方法来关闭流,不用手动关闭 try (Buf.
2021-01-09 20:42:30
416
原创 软件测试-白盒测试方法
白盒测试:(结构性测试,逻辑驱动测试)基于被测程序的源代码,而非基于定义支持严格定义、数据分析、精确度量方法:控制流/路径测试数据流测试其他:程序插装、域测试法、符号测试、Z路径覆盖法、程序变异程序图有向图结点:语句片段边:控制流DD-路径DD-路径是程序图中的一条链,使得:情况1:由一个节点组成,内度=0情况2:由一个节点组成,外度=0情况3:由一个节点组成,内度≥2或外度≥2情况4:由一个节点组成,内度=1并且外度=1情况5:长度≥1的最大链测试覆盖指标
2021-01-05 15:14:14
818
原创 Pytorch学习-TensorBoard的使用(用来观察训练的过程和结果)
一、SummaryWriter将输入直接转换成event files 写入 log_dir文件夹内(用TensorBoard打开)1. 初始化给定log_dir等参数writer = SummaryWriter()# folder location: runs/May04_22-14-54_s-MacBook-Pro.local/writer = SummaryWriter("my_experiment")# folder location: my_experiment2. add_sca
2021-01-02 22:48:12
669
原创 pytorch学习-入门介绍
一、函数说明工具dir() 展示模块内“工具箱"help() "工具箱"内工具的介绍dir(torch) #torch中的工具dir(torch.cuda) #torch.cuda中的工具help(torch.cuda.is_available) #对is_available函数的介绍二、编辑器的选择代码是以块为一个整体运行的Pycharm以所有行的代码为块优点:通用、传播方便、适用于大型项目缺点:需要从头运行Python Console以每一行的代码为块优点
2021-01-02 17:12:18
233
1
克隆代码数据集BigCloneBench BigCloneBench_BCEvalVersion.tar.gz
2021-06-04
BigCloneBench数据集 IJaDataset_BCEvalVersion.tar.gz
2021-06-04
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人