一些乱七八糟的问题

1,当时做fzyc时,需要计算一些周边区域的指标,最初的通过for循环来找到该区域的周边区域进行计算,但是在spark中使用for循环效率很低,而且总是感觉很别扭,这时,我们小组长提出了一个想法,直接通过spark计算,该区域发生一次事件,就在它周边所有区域上加一个数值,最后在进行合并,这样就避免使用for循环;
2,大数量的比对,提供一种思想,写入临时表,然后通过联合查询sql在数据库中完成;
3,quartz分布式部署问题,当项目通过Nginx负载均衡分布式部署时,根据状态读取数据时,要注意数据重复性问题,这里提出一种方案,就是将库里面的数据进行类似分片的操作,每个节点/服务器只读取指定的数据;
4,git clone时将https协议转换为git协议:git config --global url.“git@git-pd.megvii-inc.com:”.insteadOf https://git-pd.megvii-inc.com/

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值