ghostyusheng 's blog

#!/usr/bin/env python import requests import MySQLdb import re import json import threading import time from bs4 import BeautifulSoup # from lxml import etree # headers = { # 'Accept':'text/html,

用nodejs编写爬虫跟其他语言一样，比较简单，比较各个语言标准库都差不多，主要就是抓取页面，然后分析dom节点，获取数据。 requests 经典的请求库，cherrio 像jquery一样解析dom的库。 这里用csdn举例。 var request = require('request'); var promise = require('bluebird'); const cheeri...