
python爬虫
金融小白数据分析之路
小白数据分析、前后端开发工作者
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
anaconda安装路径下的Scripts
二、配置环境1.将chromedriver.exe放置在anaconda安装路径下的Scripts目录下,例如:D:\Anaconda3\Scripts2.将chromedriver.exe放置在Chrome安装路径下,并设置环境变量from selenium import webdriverfrom selenium.webdriver.common.keys import Keysdriver = webdriver.Chrome()...原创 2021-06-10 15:35:57 · 3247 阅读 · 0 评论 -
油猴天眼查公司链接获取(用油猴实现爬虫python版)
使用方法1.先书写油猴脚本// ==UserScript==// @name 天眼查获取公司列表// @namespace http://tampermonkey.net/// @version 1.1// @description try to take over the world!// @author You// @match https://www.tianyancha.com/search*// @require原创 2021-03-24 16:08:48 · 3599 阅读 · 7 评论 -
不会写爬虫也可以实现爬虫,postman爬虫1分钟实现(抓取amazon为例)
以抓取https://www.amazon.com/s?i=merchant-items&me=A13DQ57DOIYQVG&page=9网页为例原创 2021-03-23 14:19:16 · 808 阅读 · 0 评论 -
tampermonkey油猴使用实现对亚马逊店铺的自动翻页功能
可以查找如https://www.amazon.com/s?k=curtain&page=1// ==UserScript==// @name amazon// @namespace http://tampermonkey.net/// @version 0.1// @description try to take over the world!// @author You// @match https://www.a原创 2021-03-19 21:53:34 · 958 阅读 · 0 评论 -
东方财富历史资金流获取4000多个网页只要1个小时
# http://data.eastmoney.com/zjlx/300670.html# http://data.eastmoney.com/zjlx/002157.html# 下载数据的链接import pandas as pdfrom lxml import etreedf=pd.read_excel('东方财富数据.xlsx',converters={'股票代码':str})stockcode=df['股票代码'].tolist()from selenium import webdr.原创 2021-03-19 11:48:24 · 1054 阅读 · 6 评论 -
instagram的post数据获取
1.找到需要的内容,F12在network中选择XHR文件。2.分析链接链接1:https://www.instagram.com/graphql/query/?query_hash=103056d32c2554def88228bc3fd9668a&variables=%7B%22id%22%3A%222176779867%22%2C%22first%22%3A12%2C%22after%22%3A%22QVFEYzFqUFVzZ2tQWVNDekQ1TXBRLWdnWHNzU01UQ原创 2021-03-09 11:35:11 · 2157 阅读 · 2 评论 -
亚马逊get_attribute获取rankings文本方法(二)
find_element_by_xpath.text使用一直不能获取文本可以换一种方法,用find_element_by_xpath.get_attribute(‘textContent’)获取。find_element_by_xpath.get_attribute(‘innerHTML’)获取元素内的全部html.find_element_by_xpath.get_attribute(‘outerHTML’)获取包含所选元素的全部html....原创 2020-11-24 09:27:06 · 195 阅读 · 0 评论 -
selenium使用详细手册(一)
1.启动打开网站driver.get("网站")2.获取当前的urldriver.current_url3.浏览器后退按钮driver.back()4.浏览器前进按钮driver.forward()5.刷新当前页面driver.refresh()6.获取当前页面标题driver.title7.获取windows窗口句柄driver.current_window_handle8.切换窗口或标签#举例说明from selenium import webdriverfrom se原创 2020-11-17 15:26:05 · 339 阅读 · 0 评论