liufang1991的专栏

背景查看响应时间日志，新增加的两台GPU机器服务器响应时间要比老的机器要快3倍qps 相似，机型一模一样，同一个服务和同样的模型排查htop 查看老机器开启了 swap, 新机器关闭了swap，于是将老机器的 swap 关闭，然而并没有效果prometheus 比对两台机器的运行差异，除了老机器CPU使用率和负载都比新机器高以外其余的指标全部都接近，排除磁盘、网络等问题export -p 对比环境变量一样，排除环境变量问题lsof -p 进程ID| grep mem 拿到p

TensorRT多线程背景TensorRT 在主线程速度比 tensorflow 快了很多，30-60倍的提升。TensorRT 官方多线程的demo，是一个显卡启动一个线程实际生产环境中用的thrift RPC，每个连接都是用 threading.Thread 跑的，也就是需要在多线程下运行解决方案threading.lock加锁可以在多线程下限制单线程可以运行起来，平均一次计算耗时4.5ms左右，表现比单线程慢了2-3倍，但是比tensorflow要快了很多coding如下，也可以用th

1.第三方公众号用户openId是否有效场景： 第三方公众号授权给了我们，第一次授权了正确的公众号，第二次错误的被人授权了另外一个小的公众号，最后重新授权了正确的公众号，需要验证哪些用户存储的openId无效2.分库分表暴力查询场景：数据分成了两个库，每个库有256张分表，总表中的数据丢失了，需要去分表中确定数据所在的分库和分表...

应用场景有很多评价内容，对评价内容进行聚类，得到每个类别的关键可以用python的scikit-learn或者mahout，得到聚类结果都只能作为参考，最终结果仍然用人工定义python方案1.准备足够多的的评论样本，最好1万+2.对每个评价内容用jieba分词，这一步最重要，自建特定行业词库分词效果最好3.scikit-learn的方法得到所有样本的tf-idf矩阵4.拟定一个聚类...