- 博客(44)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 使用pycallgraph分析python代码调用关系
查看项目源码时，需要理清调用关系才能更好理解其中逻辑。最近发现一个库，可以较为方便的自动生成调用关系图。
2024-05-23 15:39:58
311
原创 Grounding dino + segment anything + stable diffusion 实现图片编辑
基于语义的目标检测（使用grounding dino）在检测到的范围内进行目标分割生成mask（使用segment anything）图片绘制（使用stable diffusion）总体架构图从图中可以看出，本算法本质上是对图像和文本进行多模态融合，将二者映射到同一个向量空间并使用attention的思路进行匹配从而得到文本对应的图像。
2023-08-13 22:42:51
1975
原创 《机器学习系统：设计与实现》读书笔记一
最近几年一直在做算法工程的工作，对机器学习系统有所涉猎，也很感兴趣。近期发现一本开源书籍《去图书馆找了它的纸质版，发现内容不尽相同。在这里结合两者做一个读书笔记。本文是第一篇，主要涉及《第一章：导论》的内容。
2023-08-13 01:50:38
500
原创 Faiss学习笔记
faiss是一个向量检索库。它的GitHub上描述是这样的支持向量相似度检索支持向量聚类支持GPU使用C++编写，支持Python接口本质上是解决基于向量相似度的knn问题MarkdownText-to-HTMLAuthorsJohnLuke。
2023-07-16 20:30:51
459
原创 openresty error.log格式字段
请注意，所有错误日志格式都是相同的。格式： local_time [log_level] Process_id#Thread_id *Connection_id Module_name [language] file_name:line_number: function_name(): log_body, protocol client_address, server_address。
2023-04-23 18:27:11
257
原创 uwsgi超时配置
uwsgi超时配置http-timeout和socket-timeout都是超时，区别：http-timeout用于直接提供http接口socket-timeout用于和nginx通过socket连接http-timeout=10socket-timeout=10当超过10s时，uwsgi会强行断开连接，但逻辑还会继续如：业务逻辑耗时过长，处理时间超过10s，此时只会断开连接，而业务逻辑不会断。如果需要在10s后就不再继续，参见harakiri参数...
2021-01-15 14:46:57
3061
1
原创 ngx.log(ngx.ERR,uri,debug.traceback())
openresty打印tracebackngx.log(ngx.ERR,uri,debug.traceback())
2020-08-18 14:19:02
1811
原创 使用openresty接收curl请求参数为true的问题
前段时间使用openresty网关接收请求时，总会有零星的500错误出现。查看日志发现是在参数校验的地方出错。服务的参数校验部分主要功能为判断输入的文本长度，以判断走长文本逻辑还是短文本逻辑。部分代码如下：ngx.req.read_body()local post_args ,err = ngx.req.get_post_args()ngx.log(ngx.INFO,string.format('post_args: %s',cjson.encode(post_args)))if post_args
2020-07-07 19:32:23
539
原创 openresty中通过capture执行子请求不通过access_by_lua阶段的解释
在openresty中，执行capture时会跳过access阶段。参加agentzh在邮件列表中的说法：ngx.location.capture() 发起的是 nginx 子请求。根据 nginx 的设计，所有的子请求（不限于 ngx_lua模块发起的子请求）都会直接跳过 access 请求处理阶段里的所有处理程序（不限于 ngx_lua 模块的 access_by_lua）。参考：[1] openresty邮件列表...
2020-07-04 14:49:22
760
原创 openresty获取环境变量
最近开发中，使用openresty获取环境变量时遇到一些问题，在此记录一下。默认情况下，nginx 会移除所有从父进程继承的环境变量，如果你想使用这些环境变量，需要使用该指令显示告知nginx不要移除你指定的环境变量。而且你也可以更改它们的值或创建新的环境变量。操作方法为：nginx.conf中插入配置env ENV;lua代码中调用os.getenv("ENV")注意：此方法只能拿到openresty启动时候的环境变量，在运行过程中添加或修改的环境变量是不会变化的。例如：1.启动
2020-06-17 16:29:11
2043
原创 使用py-spy绘制python程序火焰图
安装：pip install py-spy 监控pid生成火焰图，文件为profile.svgpy-spy record -o profile.svg --pid pid参考文档：https://www.xingmal.com/article/article/1232585298689527808
2020-04-30 12:43:10
1917
原创 uwsgi no python application found
uwsgi报错no python application found表示python程序无法启动，但uwsgi还是会启动，并占用端口。此时可能会给开发者错觉，误认为程序启动无误。加配置need-app=true加此配置后，如果报错，则uwsgi不会启动...
2020-04-14 18:13:51
558
原创 lightLDA dump_binary格式分析
原始注释：/** Output file format:* 1, the first 4 byte indicates the number of docs in this block* 2, the 4 * (doc_num + 1) bytes indicate the offset of reach doc* an example* 3 // there are 3 doc...
2020-03-12 20:59:57
238
原创 apollo配置读取方式
3种：1.通过带缓存的Http接口从Apollo读取配置2.通过不带缓存的Http接口从Apollo读取配置3.长轮询https://github.com/ctripcorp/apollo/wiki/其它语言客户端接入指南...
2019-08-08 16:32:17
2213
原创 Object of type 'int64' is not JSON serializable
今天，在将字典转为json串时，遇到错误Object of type ‘int64’ is not JSON serializable print(aiop)结果为[8, 8]后来发现居然是list中数字的类型不同 print(type(aiop[0])) print(type(aiop[1]))结果为<class 'numpy.int64'><class '...
2019-03-27 17:47:36
2617
原创 1. Two Sum
class Solution: def twoSum(self, nums: List[int], target: int) -> List[int]: dic = {} for x,y in enumerate(nums): dic[y] = x for a in range(len(nums)): ...
2019-03-12 09:34:25
133
原创 grpc样例
proto文件syntax = "proto3";package cus_hash;service CusHash{ rpc GetCusHash(CusHashReq) returns (CusHashRes) {}}message CusHashReq{ string HashType = 1; string Sessid = 2; string HashStr = 3...
2019-01-21 11:13:37
243
1
原创 tornado使用元类（metaclass）动态生成handler
import tornado.web class baseHandler(tornado.web.RequestHandler): def render_method(self,page): self.render(page)class AHandler(baseHandler): def get(self): self.render_me...
2018-10-31 22:04:36
342
原创 （入门）使用ab进行压力测试
最近有一个使用ab测试服务器并发量的需求，顺便鼓捣了一下ab的入门操作。发现在网上的内容有些千篇一律。在此记录下我测试的过程。我使用的ab测试命令如下ab -n 100 -c 10 -T 'application/x-www-form-urlencoded' -p postfile http://172.25.24.221:8880/project此服务使用Tornado开发，i...
2018-03-14 19:42:11
4677
原创 pyspark使用anaconda后spark-submit方法
在使用pyspark提交任务到集群时，经常会遇到服务器中python库不全或者版本不对的问题。此时可以使用参数–archives，从而使用自己的python包来解决。
2017-10-26 11:02:24
14380
16
原创 启动spark报错java.net.UnknownHostException: unknown error解决方案
启动spark时，报错如下（主机名也为spark）：[root@spark bin]# ./pyspark Python 2.6.6 (r266:84292, Feb 22 2013, 00:00:18) [GCC 4.4.7 20120313 (Red Hat 4.4.7-3)] on linux2Type "help", "copyright", "credits" or "license
2016-08-04 16:08:18
8048
原创 python实现单例模式
单例模式可以保证一个类仅有一个实例，并提供一个访问它的全局访问点。本文主要基于两种思路，一为任何实例化后访问到的都应该是同样的对象。二为访问的不是同一个对象，但其中数据是一样的。
2015-07-16 22:39:26
494
原创 Python通过thrift访问hadoop：报错java.lang.IllegalArgumentException: Wrong FS: hdfs:/ expected file:///
使用Python通过thrift访问hdfs的基本步骤，同时遇到访问中报错java.lang.IllegalArgumentException: Wrong FS: hdfs://xxxx expected file:/// 的解决方案
2015-04-19 03:10:29
1655
原创 练习一
部分Acpu类型和型号：[root@node-server 1]# cat /proc/cpuinfoprocessor : 0vendor_id : GenuineIntelcpu family : 6model : 23model name : Pentium(R) Dual-Core CPU E5300 @ 2.60GHzstepping : 10cp
2015-04-15 09:37:24
449
原创 gentoo编译中出现‘Clock skew detected’的解决办法
最近在编译gentoo的时候，按照官方教程一步一步都没出错，只是在最后编译的时候，敲入make && make module_install一直没有完成。由于当时有别的事情，也就走开了。后来一天之后回来再看的时候仍然没有完成。看屏幕显示，发现一直反复在出现一个warning：make: Warning: File 'scripts/Makefile.extrawarn' has mod
2015-01-18 21:49:03
874
原创 bin/ld: cannot find -ll 解决方法
近日在学习lex过程中出现了问题：>cc lex.yy.c -ll会提示bin/ld: cannot find -ll在ld时，如果提示这类无法找到的错误，一般都是缺少相应的库文件。有些可以通过安装开发包解决。但我此次并没找到其他开发包。后来google以后在一篇帖子里面找到了方法（链接为 http://forums.justlinux.com/showthread.
2015-01-09 10:33:33
1498
原创 Fedora 19 Kdump 自动化测试套件 结题报告
经过两个月的开发，在老师的指导下，安装使用： 1.进入目录后，使用命令python setup.py进行安装。安装位置为／usr／local／ftest 2.安装后，需要进入／usr／local／ftest／ftest.conf.d／ftest.conf进行配置，选择系统crash方式、vmlinux位置以及kdump选项。 3.在分析crash得到的vmcore文
2014-09-11 03:37:22
557
转载 Linux既输出到屏幕，又保存到文件
今天向大家推荐一个好用的命令 tee 有时我们想要在屏幕上输出信息，又想同事保留下输出的信息到文件中，方便分析的话，tee命令可以帮上大忙。 tee名称：从标准输入中读取并同时写入到标准输出和指定的文件上总揽: tee [Options]…… [File]……描述： 将标准输入复制到每个指定的文件File中，也输出到标准输出上选项：
2014-08-17 16:22:51
4039
原创 Fedora 19 Kdump 自动化测试套件 进度情况0721
昨天晚上提交了第一版可以运行的程序，目前只实现了sysrq-c的nfs存储，且nfs地址是xiesi
2014-07-22 10:51:57
485
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人