qq_34316768的博客

一次使用阻塞队列进行线程并发控制的实践背景大致实现思路可能的问题背景目标:使用多线程消费来自kafka的数据要求:线程数可控制,代码简洁大致实现思路从Kafka分批拉取数据,每批数据分给多个线程并发处理(此处是公司包装的Kafka调用方式)并发控制分为两个部分:一方面对于封装的Kafka调用可以配置启用处理线程数，每个线程的执行是相对独立的(对于每个包内取出的数据采用平均分配的...

一次相对独立的大数据处理历程背景技术思路解决思路历程背景某个业务需求要求遍历一个数据量在千万级的大表，这个大表存储了一类主体的部分信息；但本次需求还要处理一些超出主体信息外的内容，这要求我还要去根据主体的编号去另外的表或者使用ES查询一些信息；关联表数据及ES中的数据量级在百万左右。本次业务的主要限制可能在于：主体信息表量级很大，不可能做关联查询或者一次性拉取所有数据；且对于大表的读取，...

入职三月总结前言这段时间做了些什么这段时间学了些什么心得体会未来的目标与规划前言8号正好是入职的日子，一回首已是三月，这三月匆匆而过，我也逐渐完成了自己由学生到程序员的转变，在这个时间点正好可以做个总结工作，也以此承前启后。这段时间做了些什么刚入职的半个月其实也没有任何的产出，主要是在熟悉公司的制度文化，并稍微对于码代码这件事进行了初步的锻炼；而后开始逐渐有了些工作进行锻炼学习，这些工作...