Web Service 接口实现大量数据传输的解决方案

最新推荐文章于 2024-08-02 16:32:26 发布

转载最新推荐文章于 2024-08-02 16:32:26 发布 · 612 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/zfswff/p/5386784.html

文章标签：

#大数据 #java

本文介绍了一种利用多线程高效处理大量数据的方法。通过交替进行数据获取和处理任务，实现了资源的有效利用。文中还提到了使用实体对象格式反序列化XML来转换数据的具体实践。

1，流程图

2，流程说明：
线程1开始请求接口获取1W条数据，当数据成功获取后，接口是闲置的，这时我们开始线程2获取数据，同时线程1继续执行获取数据的后续工作，如果转换数据，这里我用的办法是，使用预先定义的实体对象格式反序列化XML （据说这种方式比遍历XML或是载入到DataSet中循环读取都要高效的，具体我没有测试过，哈哈）将数据插入到数据后停止线程1。使用这样线程循环的办法处理所有线程读取数据。

转载于:https://www.cnblogs.com/zfswff/p/5386784.html