shengruxiahua2571的博客

背景：在使用albert_zh模型完成文本分类训练后，发现其并没有解决bert推理消耗资源的问题（cpu环境中的问题，gpu环境会好很多），后续尝试了tflite量化模型文件，发现可以减少模型大小为原来的1/2甚至1/4，但是依旧无法提升推理效率。此篇文章记录tflite量化后的模型如何部署为服务。1、使用上述bert模型微调后会生成一个output文件夹，其中包括模型的ckpt文件，参考Save and Restore a tf.estimator for inference可以生成saved_m

1、Brief introduction about the types of worker in gunicorn and respective suitable scenario

背景在使用python flask部署模型api时，发现单个进程的cpu使用率能达到500%左右，超过了100%原因python的GIL锁仅针对纯python代码有效，例如：Python interpreters uses up to 130% of my CPU. How is that possible?使用如下的纯python代码，多线程cpu使用率不会超过100%（实测最多101%）import threadingimport timedef f(): while 1:

1、下面两种方法是相同的，requests都会默认建立10个连接数上限制是10的连接池import requests#方法1s = requests.Session()s.get('https://www.baidu.com')#方法2requests.get('https://www.baidu.com')2、其中涉及到的几个参数pool_connections=D...

unicode和utf-8编码的区别和联系

直接用python3命令可以正常启动，但是在pychar中flask启动后，请求报404，代码没有问题，参考这个链接解决：https://blog.youkuaiyun.com/JENREY/article/details/86699817按照上述修改后请求可以正常工作，但是无法通过代码配置默认端口号，需要在pychar的run-Edit-Configuration 中找到Parameters参数并添加-...

问题背景解决办法参考

python中的selfpython类中的方法可以分为对象方法（实例方法）类方法静态方法对象方法的第一个参数需要为self，也可以是其他写法，但是默认通用的写法是self。...