数据存储优化：利用多线程与滑动窗口机制提升效率-优快云博客

本文主要介绍了在数据存储过程中遇到的性能问题及优化策略。通过对GitHub项目的star数、fork数、issue数进行收集，发现原始的单线程逐个请求方式耗时较长。为解决此问题，作者采用了多线程和滑动窗口机制，通过批量发送请求并设定等待时间，显著提高了数据存储的效率，如使用20个线程将时间从原来的两分钟缩短到13秒。同时，作者指出线程数量并非越多越好，需兼顾资源消耗和服务器压力。

在上一节数据存储中,我遍历了projects并且把数据存储到了数据库,但是时间有点长,这一节我们主要是分析并优化这个存储过程

获取到所有待收集信息的项目列表
遍历项目列表依次获取到每个项目的主页信息进一步就可以直到该项目的star数 fork数 issue数
把这些数据存储到mysql中
写一个简单服务器来展示数据库中的数据(通过图标的形式看到一个更直观的效果)

public static void main(String[] args) throws IOException {
   
   
        Crawler crawler = new Crawler();
        //获取到待收集的项目列表
        String htmlBody = crawler.getPage("https://github.com/akullpp/awesome-java/blob/master/README.md");
        List<Project> projects = crawler.getProjectList(htmlBody);
        //遍历项目列表 依次获取到每个项目的主页信息 进一步就可以直到该项目的star数 fork数 issue数
        ProjectDao dao = new ProjectDao();

        for (int i = 0; i < projects.size() ; i++) {
   
   
            try {
   
   
                Project project = projects.get(i);
                System.out.println("正在爬 " + project.getName()+ "...");
                String repoName = crawler.getRepoName(project.getUrl