Atitit 爬虫 node版 attilax

最新推荐文章于 2020-10-29 12:18:56 发布

原创最新推荐文章于 2020-10-29 12:18:56 发布 · 1.1k 阅读

0 ·

CC 4.0 BY-SA版权

软件功能标准化同时被 2 个专栏收录

668 篇文章

订阅专栏

ide lib framework类库框架

593 篇文章

订阅专栏

本文介绍了一个使用Node.js实现的简单爬虫应用案例，通过HTTP请求获取网页内容，并利用文件系统模块保存到本地。该爬虫针对特定网站进行了配置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Atitit 爬虫 node版 attilax

1.1. 貌似不跟python压实，，java的webmagic压实，，什么爬虫框架也没有，只好自己写了。

查了百度三爷资料也没有。都是自己写。。

1.2. 爬虫算法调用http模块获取内容。

算去时间戳作为文件名tag部分。。

调用Io模块，保存为文件

1.3. C:\0workspace\atiplat_spider\com.attilax\spider\orgSpd.js

/**
* Created by Administrator on 2017/1/14.
*/
var sys = require("util");
var fs = require('fs');
sys.log("Hello world");

var https = require('http');

function getUrls()
{
    var urls=new Array();
    for(var i=1;i<100;i++)
    {
        var reqdata_str="orgName=&corporateType=1&managerDeptCode=®istrationNo=&unifiedCode=&order=registrationDate&legalName=&page_flag=true&pagesize_key=result&goto_page=next¤t_page=@page@&total_count=1938&to_page=";
        reqdata_str=reqdata_str.replace("@page@",i);
        urls.push(reqdata_str );
    }
    return urls;
}

//main
var urls=getUrls();
var cnt=0;
for(idx in urls)
{
    var url=urls[idx];
    console.log("url:"+url);
    cnt++;
    req(url,cnt);
}
function req(reqdata_str,page)
{

var reqData={
    order:'registrationDate',
    corporateType:'1',
    current_page:'4',
    page_flag:true,
    pagesize_key:'result',
    goto_page:'next',
    total_count:1938,
    orgName:'',
    managerDeptCode:'',
    registrationNo:'',
        unifiedCode:'',
    legalName:'',
    to_page:''
    };
var data_str= JSON.stringify (reqData);
sys.log("--reqData.length:"+data_str.length);
//var reqdata_str="orgName=&corporateType=1&managerDeptCode=®istrationNo=&unifiedCode=&order=registrationDate&legalName=&page_flag=true&pagesize_key=result&goto_page=next¤t_page=3&total_count=1938&to_page=";

var post_options = {
    host: 'www.chinanpo.gov.cn',
    port: '80',
    path: '/search/searchOrgList.do?action=searchOrgList',
    method: 'POST',
    headers: {
        'Content-Type': 'application/x-www-form-urlencoded',
         'Content-Length':reqdata_str.length,
        'Origin':'http://www.chinanpo.gov.cn',
        'Referer':'http://www.chinanpo.gov.cn/search/searchOrgList.do?action=searchOrgList',
       'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 Safari/537.36',
        'Upgrade-Insecure-Requests':1
    //    'Cookie':'chinanpojsessionid=C5B432F4A8100CFA5803EA018A8B4AEC; _gscu_815174165=84382222mstxh112; _gscs_815174165=t84402470rmeenn15|pv:2; _gscbrs_815174165=1; Hm_lvt_3adce665674fbfb5552846b40f1c3cbc=1484382201; Hm_lpvt_3adce665674fbfb5552846b40f1c3cbc=1484403650'
    }
}; //poost opt end

var post_req_ClientRequest=https.request(post_options, function(res) {
    console.log("statusCode: ", res.statusCode);
//   console.log("headers: ", res.headers);
    var html = '';
    res.on('data', function(d) {
      // process.stdout.write(d);
        html += d;

    });

    res.on('end', function(data) {
        save(html,page);
    })

}).on('error', function(e) {
    console.error(e);
});

// post the data
post_req_ClientRequest.write(reqdata_str);
//https.write(reqData);
post_req_ClientRequest.end();

}
function getTimestamp()
{
    var timestamp = (new Date()).valueOf();
    return     timestamp;
}

function save(html,page)
{
    console.log('start save!')
    // ��ץȡ��ݱ��浽��ļ��
    fs.writeFile('c:\\00orgSave\\index_P'+page+"_"+getTimestamp()+'.html', html, function(err) {
        if (err) {
            console.log('��ִ��!')
        }
        console.log('��index.html��')
    })

}