代码code

最新推荐文章于 2021-07-03 22:21:53 发布

原创最新推荐文章于 2021-07-03 22:21:53 发布 · 3.2k 阅读

0 ·

CC 4.0 BY-SA版权

code 专栏收录该内容

1 篇文章

订阅专栏

本文介绍了一种网页数据抓取流程，包括抓取、解析和保存数据等步骤，并提供了重新解析机制，确保数据准确性和时效性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

  // 执行抓取、解析和保存数据操作
                fetchStatus = doFetch();
                parseStatus = doParse();
                insertStatus = doInsert();
                updateLastFetchStatus(fetchStatus, parseStatus, insertStatus);
                deleteLoginStatus();
            }
        } catch (Exception e) {
            if (isGetLock) {
                deleteLoginStatus();
            }
            handleProcessException(e);

        } finally {
            handleProcessFinally(customerFetch);
            super.insertFetchLogOfTag("结束执行", "");
        }

public Boolean parseAgain() {
        Boolean result = false;
        try {
            // 删除老的Hbase数据
            if (HbaseUtil.isAvailable()) {
                this.creditInfoHBaseService.deleteDataByHbase(super.getCustomerFetch().getId());
            }
            // 删除老的Mysql数据
            this.creditDataService.deleteDataByMysql(super.getCustomerFetch().getId(), getBankCode());
            // 获取原始页面
            List<FetchPage> fetchPages = getFetchPageList();
            if (fetchPages == null || fetchPages.size() == 0) {
                logger.info("重新解析原始页面为空,bankCode:{},loginId:{},sessionToken:{}", getBankCode(), super.getCustomerFetch().getLoginId(), getSessionToken());
                return result;
            }
            String host = PropertiesUtil.getValueByKey("hostUrl");
            String fetchPageUrl = host + PropertiesUtil.getValueByKey("fetchPageHtmlUrl") + "?pageId=";
            super.getWebClient().getOptions().setJavaScriptEnabled(false);
            // 构建缓存
            rebuildHtmlPageMap(fetchPages, fetchPageUrl);
            // 执行重新解析

这里写图片描述