
python
acnowa
这个作者很懒,什么都没留下…
展开
-
Dataframe的一些操作合集
指定列进行排序df.sort_values(by='col_name')重命名列名df.rename(columns={'ori_col_name': 'new_col_name'}, inplace=True)原创 2021-08-30 20:04:08 · 343 阅读 · 0 评论 -
Tensorflow name_scope和variable_scope区别简明介绍
首先说明,name_scope 和variable_scope 的作用都是起到变量命名空间的作用,和C++中的命名空间基本上是同一种东西,能够起到更好的管理模块变量的作用。但是在具体给变量添加命名空间的时候,两者又有细微的差异。tf.variable_scope()在该命名空间下,变量和ops 都会被加上变量空间 。with tf.variable_scope("foo"): v = tf.get_variable("vector", [3], initializer=tf.random_n原创 2021-08-17 15:46:10 · 242 阅读 · 0 评论 -
统计数组或张量中全零行向量的个数
mtx = np.arange(15).reshape(5,3)mtx[2,:] = np.zeros((1,3))print(mtx)fr = np.count_nonzero(mtx,1)sec = np.not_equal(fr, 0)print(fr)print(sec)print(np.sum(sec))对于三维或者更高维度的数组,根据想要统计的情况,调整fr = np.count_nonzero(mtx,1) 中的维度即可。...原创 2021-06-27 11:48:43 · 471 阅读 · 0 评论 -
实现embedding的tf.gather函数
这里,开篇我首先介绍一个tf.gather函数容易踩坑的操作,再详细介绍该函数。坑tf.gather函数在GPU上运行时,当出现下标越界的情况时,程序不会报错,而是会返回一个全0的向量作为其embedding向量。在cpu上运行时,出现越界的情况就会直接报错。tf.gathertf.gather( params, #下标用来取值的张量 indices, #下标 validate_indices=None, name=None, axis=0)该函数的原创 2021-06-05 20:44:07 · 364 阅读 · 0 评论 -
TFReocrd类型数据读写
这里结合自身实际使用,记录一下对TFRecord文件中每一条数据遍历的方法。方法一该方法在自己的测验过程感觉比较快一点 cnt = 0 for serial_exp in tf.python_io.tf_record_iterator('../data/20_part-r-00199.tfrecord'): example = tf.train.Example() example.ParseFromString(serial_exp) la原创 2021-05-27 19:37:23 · 197 阅读 · 0 评论 -
tf.app.run() 和tf.app.flags
tf.app.run其常出现的场景为 if __name__ == "__main__": tf.app.run()tf.app.run()会调用main 函数,并传递参数。因此,必须在main 函数中设置一个参数位置。如果想要更换main 名字,只需要在tf.app.run 中传入一个指定的函数名即可。def test(args): passif __name__ == "__main__": tf.app.run(test)因为tf.app.run()要传递参原创 2021-05-11 16:13:43 · 325 阅读 · 0 评论 -
python if__name__ == “__main__“ 意义
之前看py文件范式都是这样写的,也就没有深究该行语句的含义。今天偶然看到了关于该语句的介绍,觉得还是有必要记录一下,帮助往后的初学者。背景对于一个py 文件,如果只对该文件进行执行,而不把该文件当成一个模块在别的py 文件中调用的话。那么此时该条语句对整个文件的影响不大。假如,你创建了一个fun.py 文件,其中的内容为# fun.pydef call_func(): print("This is a python function.")print("Call func here.")原创 2021-05-11 14:23:39 · 181 阅读 · 3 评论 -
python不同情况下的全局变量
全局定义变量可在函数内外定义均可;全局变量定义只在其之下起作用,对其上部无效;全局变量定义后并非一直不变,如果在其后仍有变量重新定义,变量值仍会改变;定义在函数中的全局变量,如果函数没有被调用全局变量无效。在一个模块内定义全局变量只能在本模块内使用不能再其他模块内使用;跨模块使用全局变量需要在一个另一个模块中定义全局变量并被调用...原创 2021-03-20 19:14:26 · 266 阅读 · 0 评论 -
pandas dataframe数据重塑图解Pivot, Pivot-Table, Stack and Unstack
文章目录 数据重塑图解—Pivot, Pivot-Table, Stack and Unstack引言Pivot常见错误 Pivot TableStack/Unstack 数据重塑图解—Pivot, Pivot-Table, Stack and Unstack...转载 2020-12-10 17:20:28 · 989 阅读 · 0 评论 -
Bug记录--python ndarray一维向量不能使用.T转置
说明对于一维向量而言,使用.T是无法进行行向量和列向量之间转换的。一维向量<class ‘numpy.ndarray’>(5,)具体情境我是在提取矩阵的一行进行计算的时候遇到的这个问题。我将两个矩阵的一行提取出来想对一个行向量转置之后进行列向量乘以行向量的运算(别问为什么不直接进行矩阵运算,因为这一步还有别的运算步骤我当前只能这样)。解决办法使用reshape方法将一个一维向量转变成一个n*1的二维向量,再使用.T进行转置。# 行向量错误的转置方法。你以为你转置了嘛?其实并原创 2020-11-21 22:21:24 · 1073 阅读 · 0 评论 -
用python比较两份文件的异同
【需求背景】有时候我们要对比两份配置文件是不是一样,或者比较两个文本是否异样,可以使用linux命令行工具diff a_file b_file,但是输出的结果读起来不是很友好。这时候使用python的标准库difflib就能满足我们的需求。下面这个脚本使用了difflib和argparse,argparse用于解析我们给此脚本传入的两个参数(即两份待比较的文件),由difflib执行比较,比较...转载 2020-03-30 13:32:11 · 2014 阅读 · 0 评论 -
keras 两种训练模型方式fit和fit_generator
在模型搭建完compile以后,一行"model.fit_generator(xxx)"就可以完成训练。真正让服务器开始忙的就是这一行代码。keras给模型喂入数据的函数有fit和fit_generator。fitfit()函数传入的x_train和y_train是需要将数据完整的加载进内存封装成数组的。import kerasfrom keras.models import Seque...转载 2019-12-15 22:11:16 · 2184 阅读 · 0 评论 -
Python 字典和数组的保存与读取
保存字典类型 #保存 dict_name = {1:{1,2,3,4},2:{9,10}} f = open('dict.txt','w') f.write(str(dict_name)) f.close() #读取 f = open('dict.txt','r') ...原创 2019-11-29 09:20:39 · 2044 阅读 · 0 评论 -
python 之 numpy 数组比较
数组比较==python可以直接使用==进行数组之间的比较,比较的结果是和数组一样大小的bool数组。即下标相对应位置上的值相同时,为True;否则,为False。两数组==的返回结果:any()、all()上面提到了数组之间利用==进行比较,那么这里就不得不提能对结果进一步处理的any()和all()了。==返回的结果还是个数组,不够直观明了。我就想知道这两个数组到底相不相等,不关...原创 2019-11-28 09:22:48 · 18312 阅读 · 3 评论 -
keras.backend.function()
def function(inputs, outputs, updates=None, **kwargs): """Instantiates a Keras function. Arguments: inputs: List of placeholder tensors. outputs: List of output tensors. updates:...原创 2019-11-18 15:44:29 · 3141 阅读 · 1 评论 -
python字符串前 r b f u 的作用
我们时常会在字符串或者在函数传参时看见字符串前会突兀的出现r b u f等字符,令人困惑不已。因此在这里对这些字符进行归纳介绍。r前缀在字符串前加r的作用是去除所接字符串中转义字符的影响。例如r'\n'表示一个\字符和一个字母n,而不再是表示换行了。因为r的作用就是消除转义作用,将转义字符当作普通字符来看。str = 'test_r\n'str1 = r'test_r\n'print ...原创 2019-11-12 10:08:13 · 305 阅读 · 0 评论