
算法
speedyao
女儿奴
展开
-
基于“与或”的多值状态码设计
使用背景 前段时间项目中需要跑批给用户表增加A、B、C信息(ABC分别代表不同的字段),这些信息是通过外部网站爬虫获取的,然而这些外部网站由于IP限制、QPS限制导致调用的失败率很高,因此需要为每一个字段添加成功状态信息。实现目标:减少索引字段 执行效率高 扩展性强实现方法 只用一个int类型的state表示状态信息,并且以每一个二进制位表示每一个字段...原创 2018-08-02 12:29:37 · 844 阅读 · 0 评论 -
分布式爬虫设计思路
之前和一朋友聊天过程中画的思维草图,贴在这里抛砖引玉原创 2019-02-15 17:22:15 · 642 阅读 · 0 评论 -
快速排序原理以及java实现
原理:选择一个关键值作为基准值。比基准值小的都在左边序列(无序的),比基准值大的都在右边(无序的)。一般选择序列的第一个元素。一次循环:从后往前比较,用基准值和最后一个值比较,如果比基准值小的交换位置,如果没有继续比较下一个,直到找到第一个比基准值小的值才交换。找到这个值之后,又从前往后开始比较,如果有比基准值大的,交换位置,如果没有继续比较下一个,直到找到第一个比基准值大的值才交换。直到从前...原创 2019-03-11 09:43:12 · 3371 阅读 · 0 评论