- 博客(51)
- 资源 (3)
- 收藏
- 关注

原创 python 中的可变参数怎么看
python 函数中常常看到函数的形参有 (*args,**kw)的形式,这个其实就是 python 中的可变参数,今天就来梳理一下,话不多说,浅显易懂,快速上手。所谓可变参数,就是传入的参数个数是可变的,在写通用框架的时候经常会用到。主要有以下几种类型。可变参数 *args传入的参数个数是不确定的,这样的参数会被解释成元组(tuple)传递给函数def mutablePar...
2019-10-12 14:27:03
573

原创 Django 数据库迁移时提示非空字段没有默认值的解决办法
在 Django 的 Movie Model 中定义了主键 movieID,但是执行 数据库迁移的时候,提示以下错误信息:You are trying to add a non-nullable field 'id' to movie without a default; we can't do that (the database needs something to populate ...
2019-04-22 20:27:26
4163
1

原创 TensorFlow 之 strides ,dropout
学习 TensorFlow 的时候,其中有几个函数参数一直很迷惑,现在做一个梳理。 strides strides 的作用很多文章说的是调整感受野在 feature map 中的距离,但是为什么是一个长度为 4 的 list,只用长度为 2 表示在长度和宽度上面移动的距离不就行了吗?而且 strides[0] 和 strides[1] 都必须为1,这是为什么?原来,strides 表示...
2019-03-20 12:59:35
382

原创 感知机的对偶形式及Gram矩阵的作用理解
学习李航《统计机器学习》的时候,看到感知机的对偶形式这里不甚理解,其实主要是对其中的系数 更新规则不是很理解。另外,只介绍了 Gram 矩阵,也没有说清楚 Gram 矩阵的作用。经过仔细的思考,写下了自己的见解。直接切入正题感知机模型:感知机的原始形式感知机的损失函数:损失函数的梯度: ...
2019-02-27 15:08:24
4594
3

原创 TensorFlow 中关于 gloable_step 的理解
最近学习的过程中总是看到 gloable_step 这个参数,但是也没有讲解他究竟是做什么用。具体来说出现在了优化器,指数衰减函数中,不甚理解。另外在指数衰减中,实现了 decayed_learning_rate = learning_rate * decay_rate ^ (gloable_step/decay_step)其他几个参数很好理解,分别是初始学习率,衰减率。decay_st...
2018-08-28 15:14:43
4153
4

原创 信息量,相对熵,交叉熵的理解
最近学习深度学习的时候,总是会把几种熵搞混,于是好好地理解了一番过后,对他们的认识就更加深刻了一些。这些指数本来是信息论的知识,是用来度量信息的参数(能够想到对信息这种抽象的事物的特征进行衡量,真乃神人也),引入到机器学习中,因为机器学习中有用到概率论的知识,而信息论中也同样有概率论做铺垫,因此也就自然的拿来做机器学习中的效果评估和优化目标。闲话少说,下面就言简意赅地对这几个熵进行说明。...
2018-08-24 15:48:08
402
转载 堆内存和栈内存详解
堆:首先应该知道操作系统有一个记录空闲内存地址的链表,当系统收到程序的申请时,会遍历该链表,寻找第一个空间大于所申请空间的堆结点,然后将该结点从空闲结点链表中删除,并将该结点的空间分配给程序,另外,对于大多数系统,会在这块内存空间中的首地址处记录本次分配的大小,这样,代码中的delete语句才能正确的释放本内存空间。栈: 在函数调用时,第一个进栈的是主函数中后的下一条指令(函数调用语句的下一条可执行语句)的地址,然后是函数的各个参数,在大多数的C编译器中,参数是由右往左入栈的,然后是函数中的局部变量。
2024-09-18 15:22:22
209
原创 python多进程全局共享变量Manager.dict() 的 value 未修改的问题
多进程共享变量 Manager.dict() 的赋值无法修改的问题解决
2022-09-27 16:35:03
1996
转载 深入浅出理解基于 Kafka 和 ZooKeeper 的分布式消息队列
转自:https://gitbook.cn/books/5ae1e77197c22f130e67ec4e/index.html
2021-10-18 20:41:26
171
原创 【学习路径】安全
【学习路径】安全问题【A1】【A2】【A3】【A4】问题安全人员都怎么初次入行,国内没有正儿八经的学校开设安全课程专业?[描述]那些过去在成为腾讯公司内的安全人员及白帽之前(在成为之前这一阶段,也都还算不上是正儿八经的岗位和职业吧?)技能技术都从哪儿获得的呢。以前国家网络安全法不完善。拿一些不知名的小站练手。现在实战练手可是犯法的了。就只是看看别人过去文章脑补过程了。以及学计算机系统的底层知识体系。未知攻焉知防。是从攻的角色入行,还是从防的角色入行的。以及先从攻,再转防【A1】自学
2021-06-25 13:22:18
301
原创 【学习路径】计算机入门
【学习路径之计算机入门】问题回答【A1】【A2】【A3】问题文科专业,对计算机越来越感兴趣,通过什么方法或课程可以像本科生一样系统学习,打好计算机基础?或者从哪门课程开始学习呢?[描述]网上有很多计算机课程,但都是为了就业或者专题的模块讲解,没有找到从零开始打基础的课程;不知道成人本科教育能否能让自己系统学习?另外,计算机系统学习,从哪门课程开始学习好呢?看了很多介绍,感觉有点晕回答以下来自一些过来人的回答【A1】计算机导论计算机组成原理操作系统计算机网络数据结构和算法c语
2021-06-25 13:13:30
193
转载 Linux资源管理之cgroups简介
引子cgroups 是Linux内核提供的一种可以限制单个进程或者多个进程所使用资源的机制,可以对 cpu,内存等资源实现精细化的控制,目前越来越火的轻量级容器 Docker 就使用了 cgroups 提供的资源限制能力来完成cpu,内存等部分的资源控制。另外,开发者也可以使用 cgroups 提供的精细化控制能力,限制某一个或者某一组进程的资源使用。比如在一个既部署了前端 web 服务,也部署了后端计算模块的八核服务器上,可以使用 cgroups 限制 web server 仅可以使用其中的...
2021-06-16 15:31:30
392
原创 一些不常见的 linux 命令学习
catcat 文件名 显示文件中的内容cat > 文件名 如果文件不存在则创建文件,相当于打开文件然后向里面写内容。如果文件存在则只能覆盖写。[root@gz /usr/local/services]# cat >te.txt 1234^C[root@gz /usr/local/services]# cat te.txt 1234cat 文件名1 文件名2 > 文件名3 将...
2021-06-16 11:34:44
175
转载 netfilter/iptables全攻略
日期:2011-11-18点击:113来源: fp_moon分享至:转自:http://www.opsers.org/linux-home/videos/chapter-netfilter-iptables-raiders.html内容简介防火墙的概述iptables简介iptables基础iptables语法iptables实例案例详解防火墙的简介防火墙是指设置在不同网络或网络安全域之间的一系列部件的组合,它能增强机构内部网络的安全性。它通过访问控制机制...
2021-06-02 16:38:21
236
转载 【linux命令】sort 命令
原文链接:https://www.cnblogs.com/51linux/archive/2012/05/23/2515299.html并做了适当修改sort是在Linux里非常常用的一个命令,管排序的,集中精力,五分钟搞定sort,现在开始!1 sort的工作原理sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。[rocrocket@rocrocket programming]$ cat seq.txtban
2021-05-06 17:41:42
178
转载 Docker,Docker Compose,Docker Swarm,Kubernetes之间的区别
原文链接:https://zhuanlan.zhihu.com/p/104870376最近在总结Docker容器,像是Kubernetes,Docker-compose,Docker Swarm,他们之间的区别,特意去研究了一下,分享一下,适合刚入门学习容器的同学了解。DcokerDocker 这个东西所扮演的角色,容易理解,它是一个容器引擎,也就是说实际上我们的容器最终是由Docker创建,运行在Docker中,其他相关的容器技术都是以Docker为基础,它是我们使用其他容器技术的核心。(批:
2021-04-07 21:06:41
273
原创 【好玩的python】之配置文件解析器 configparser
python 有个模块可以很方便地解析配置文件,这样我们就可以将配置写到单独的配置文件中而不是在主程序中还带上配置信息,模块分离,逻辑清晰。安装configparser :pip installconfigparser常用的配置文件 .ini 的格式如下[section1]key1 = value1key2 = value2[section2]key1 = value1可以像字典一样操作 .ini 配置文件,对配置文件进行创建和修改import configparse..
2021-03-19 15:47:53
391
2
原创 解决UnicodeEncodeError: ‘ascii‘ codec can‘t encode characters in position 14-17: ordinal not in range
发现问题linux 中的 shell 文件是 ascii 编码的,可以使用 file 文件名 查看。给 python 传递参数的时候,python 脚本是 utf-8 编码,显示如下错误。解决方法import sysreload(sys)sys.setdefaultencoding('utf8') 这样每次执行 python 的时候就会将系统编码设置为 utf-8,传递过来的参数也会转换为 utf-8....
2021-03-04 15:46:32
1170
4
转载 什么是WSGI
在Python Web开发时经常会遇到WSGI,所以WSGI到底是什么呢?本文我们一起来揭开WSGI神秘的面纱!先来看一下WSGI的介绍:全称Python Web Server Gateway Interface,指定了web服务器和Python web应用或web框架之间的标准接口,以提高web应用在一系列web服务器间的移植性。 具体可查看官方文档从以上介绍我们可以看出:WSGI是一套接口标准协议/规范; 通信(作用)区间是Web服务器和Python Web应用程序之间; 目的是制.
2021-02-20 20:19:38
271
原创 python常用内置函数map,reduce,zip
map,reduce,zip是经常会用到的3个内置函数,以简洁的语言总结一下map(f,iterable)map会用函数 f 对可迭代对象iterable(list,tuple等)中的每个元素进行操作,返回一个迭代器sum = map(lambda x:x*x,[1,2,3]) #map是个迭代器print(list(sum)) #[1, 4, 9]当然还可以传 2 个iterable 对象,此时对2个iterable对象对应的位置元素做 f函数 操作。sum = map(...
2021-01-20 17:31:03
305
4
转载 DNS域名解析过程
本文转自:https://www.jianshu.com/p/03015813f61a我们都知道在浏览器通过域名发起一个网络请求的时候,会有DNS服务器将域名解析成ip地址,以便向正确的ip地址发送请求,那么这一个过程具体是怎么处理的呢?今天整理了一下DNS域名解析的过程。大致分为10步:第一步浏览器会检查缓存中有没有域名对应的ip地址,这个缓存是有过期时长的,一般是几分钟到几小时不等。第二步如果浏览器缓存没有,那么就检查操作系统的hosts文件,比如windows就是C:\Window
2021-01-19 20:38:04
194
原创 kafka学习(四)---kafka工作流和消息存储
之前有说到过 kafka 的架构图,根据架构图 kafka 工作流程可以表达为下图机制。流程已经很清楚,生产者写消息到 kafka 集群,消费者 [组] 从 kafka 集群中消费消息。另外,其中的 0,1,2...就是消息的 offset,保存在 partition 中。其中有几点值得注意:1.为了容灾,leader 和 follower 一定不在同一个 broker 内。2.生产者写入和消费者消费的 partition 对象都是leader,而 follower 则主动与 lead.
2020-08-29 16:32:15
288
原创 kafka学习(三)--生产消息和消费消息
上一讲说 --describe 可以省略 --topic ,没有报错,这里看看两者区别因此,要查看特定的 topic 信息,建议加上 --topic
2020-08-22 17:39:08
1310
原创 kafka学习(二)--topic 的增删查操作
kafka 的 topic 支持增(create)删(delete)改(alter)查(describe)操作。./kafka-topics.sh [--help] 可以查看 kafka-topics 命令的使用方法注意:敲命令的时候不要敲错否则会报错还不知道自己错哪儿了,比如这样比如这样为此还专门看一下下载的版本,确认是稳定版没错了!--list(查)和 --describe(查)--list 查看目前所有的 topic 有哪些--describe 查...
2020-08-22 13:38:46
535
原创 kafka学习---安装与部署
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布/订阅消息队列”大规模发布/订阅模式是生产者生产的消息可以多个消费者(订阅者)消费该消息,这里面又有两种模式:消费者主动拉取消息和消息主动推送。相对于大规模发布/订阅模式,还有点对点模式,这种模式下,消息只能被一个消费者消费,不能实现消息的复用。本质上说,kafka是一个消息队列,也就是
2020-08-18 21:09:06
651
原创 python 中的 fork
讲到 python中 的 fork 主要就是和进程有关了,当前进程执行 fork 以后,系统就会将当前进程复制一份,从而创建出一个子进程,就好像影分身一样。fork 函数会返回两个值,父进程(当前进程)拿到子进程 id 表示自己是本体或者长辈进程,而子进程拿到 0 表示自己是孩子进程。上例子:通过 getpid 可以拿到当前进程 id ,getppid 可以拿到当前进程的父进程 id。通过结果可以发现:1.当前进程 62918 执行 fork 以后,就变成了父进程(62918),而父进程拿到
2020-08-08 12:00:56
2324
原创 廖雪峰 python 教程中闭包例子的理解
闭包简单来说就是内层函数引用了外层函数的参数,并最终返回内层函数这样的一种结构。这个结构有一个特点,那就是函数不会立刻执行,要理解这个意思,其实就是理解 f 和 f() 的区别,f 不会执行函数而 f() 会执行函数,计算结果。廖雪峰的教程中例子所要说明的问题就是:返回的函数的时候,相关参数和变量都保存在返回的函数,并且返回的函数并不会立刻执行,而是直到调用了f()才执行。def count(): fs = [] for i in range(1, 4): de
2020-07-17 17:19:46
427
原创 可迭代对象和迭代器对象
可迭代对象(iterable)和迭代器对象(iterator)的概念是如此相似,常常容易混淆,今天就来梳理区分一下。可迭代对象可迭代对象简单来说这个对象是可以迭代的,例如 list,tuple,set,dict,str 等。可以利用 for 来循环的对象都是可迭代对象。可以利用 isinstance() 函数来判断对象的类型:>>> from collections import Iterable>>> isinstance([],Iterab.
2020-07-17 15:59:28
1509
原创 记一次 scrapy 10060 的错误修复历程
实习的时候用到 scrapy,写了一个简单的 demo,建立好 scrapy 项目,写好 spider 以后运行 scrapy crawl quotes 的时候,出现了 TCP 链接错误 [10060],试了很多方法,也用了网上的代理,问题还是没有解决推测是由于公司内网的原因,请求不到目标 url ,这种目标主机[存在]找不到的问题解决方法肯定还是要使用代理,最好使用公司的代理翻出...
2019-10-28 15:57:09
1004
原创 简单清晰的 Git 版本控制(五)------ Git 分支(2)
之前已经学会了分支的创建,删除,转换和合并,那么如何对分支进行管理呢分支的管理查看分支:git branch之前用到过 git branch 创建分支,删除分支,直接使用 git branch 就是查看有哪些分支。其中,有 * 代表是当前工作分支。查看各个分支最后一次提交信息:git branch -v$ git branch -viss53 93b412c ...
2019-10-24 17:03:40
157
原创 简单清晰的 Git 版本控制(四)------ Git 分支(1)
分支是 Git 的利器,有了分支,开发人员可以独立做不同的事情而事情之间不会干扰。何为分支先了解 Git 是怎样存储数据的。假设有3个文件需要跟踪,将他们添加到暂存区域后,会为每个文件计算校验和,然后保存文件快照到 Git 仓库中(Git 使用 blob 类型的对象存储这些快照)。使用 git commit 提交后,Git 会将已跟踪的数据保存为树(tree)对象,树对象中保存了各...
2019-10-23 17:31:31
163
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人