python 爬取领英的信息

最新推荐文章于 2025-07-03 07:17:00 发布

原创

最新推荐文章于 2025-07-03 07:17:00 发布 · 830 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #linkedin

本文介绍了如何利用Python进行网络爬虫，详细讲解了如何针对LinkedIn网站进行信息抓取，包括设置请求头、登录过程模拟、解析网页内容等关键步骤，帮助读者掌握Python爬虫在实际应用中的技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

# -*- coding: utf-8 -*-
import os
import pickle
import time

from selenium import webdriver
from selenium.webdriver.support.wait import WebDriverWait
import csv
from selenium import webdriver
from scrapy.selector import Selector
from scrapy.selector import HtmlXPathSelector
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException
option = webdriver.ChromeOptions()
# 浏览器静默
option.add_argument("headless")
# 图片是否打开
option.add_argument('--disable-gpu')
# 日志信息
option.add_argument('log-level=3')
brower = webdriver.Chrome(options=option)
# brower = webdriver.Chrome()
brower.set_page_load_timeout(30)
brower.maximize_window()
def getLinkeninCookies(account,password):
    # get login taobao cookies
    url = 'https://www.linkedin.com/feed/'
    brower.get('https://www.linkedin.com/login/')
    time.sleep(1)
    brower.find_element_by_xpath('//*[@id="username"]').send