mtj66的博客，交流WX:SpringBreeze1104

在工作中难免会使用数据库，为了能够高效并发访问数据库，数据库连接池必不可少，由于本站copy模式盛行，导致数据库连接池被错误使用，遇到错误甚至追求能跑通就行。本文就数据库链接池的实际使用场景来说明如何应用数据库连接池。在部署机器学习模型时采用的是flask框架，模型预测本身是一个很快的事情，无奈有太多的特征需要通过接口（或者是ots，mysql等）获取，导致响应时效性降低。为了能很好的实现并发性，提升QPS，采用gunicorn进行多进程，异步处理方案。此时单个进程只有一个数据库链接，就会导致异步执行的线程

https://blog.youkuaiyun.com/kmblack1/article/details/80761647详解 PostgreSQL explain 查询计划2018年06月21日 15:49:57 kmblack1 阅读数：1004 除第一行以外每个->表示一个子动作 执行计划的阅读顺序都是从后至前 width=0是表示只获取行的位置,没有读取数据.开...

本文实现了一个按照指定百分位的数据生成等距的序列值,分位数的数据按照每增长一个百分点分一组,如果分组的数据没有值自动会合并到下一组,直到满足条件的分组,上限100组哦.TODO优化:动态分组,并且不限制分组数量.思路1 将分组后的数据进行自关联(需要转成行记录),拿到本组以及下一个分组的数值,然后和需要分组的表进行关联当需要分组的字段落地对应的分组区间的时候(此处采用不等值连接,不知道...

delimiter //    /** 定义分隔符 **/DROP TABLE if exists test  //CREATE TABLE test(id int(11) NULL) ///********************** 最简单的一个存储过程 **********************/drop procedure if exist

实时场景下的机器学习模型实时特征离线特征融合方案(踩坑指南)

本文主要提供流程1、通过useragent解析手机型号，手机网络，手机系统版本等2、通过解析的手机型号和手机品牌维表进行关联3、手机品牌维表需要自己更新维护，可以参考:https://github.com/matiji66/MobileModels，具体见如下流程具体流程可以参考文件：useragent解析逻辑&手机品牌匹配.txt-其它文档类资源-优快云下载...

数据源：kafka topic数据类型为json业务场景：解析json,由于数据层级比较深，而且包含数组，此处键值可能为空所以数据就变成了双流join，甚至是多流join。问题原因：采用left join导致数据回撤，然后同一个主键数据产生重复是采用inner join 还是 outer join，具体区别见Flink Sql教程（5）_狄杰的博客-优快云博客_connector.startup-mode由于此处关联可能存在键值为空匹配不到的情况，采用了很多left join，..

优化点:一次map多个reduce,有效节省了map操作.本脚本目的:实现表字段空值率统计流程:1.获取表结构2,通过excel或者是notepad进行批量转换,3,将语句格式化成如下的from insert 语句,然后执行就OK了.4,每个insert语句后面可以跟where语句create table if not exists tmp_null_static (...

方式1. 随机采样,抽取百分之5 的数据 rand(id)<0.05-- 随机采样-- create table tmp_info_ycf as-- select * from info_ycf where rand(policy_id )< 0.03 limit 20000 ;-- ;方式2. 根据某个字段进行统计,数据尽量均匀,create table...

http://www.cnblogs.com/CareySon/archive/2013/01/09/2853094.html 今天想到一些优化的问题,对驱动表重新认识了一下.浅谈SQL Server中的三种物理连接操作简介    在SQL Server中，我们所常见的表与表之间的Inner Join,Outer Join都会被执行引擎根据所选的列，数据上是否有索引，所选数据的选择...

分组的小技巧，不知道有没现成的函数可以计算出来各自对应的分组select  policy_id ,reserve_amount_first  ,min_coins_indemnity_fee ,max_coins_indemnity_fee,round((reserve_amount_first-min_coins_indemnity_fee + line_space/10)/(lin...