
python
苏格拉没有鞋底
这个作者很懒,什么都没留下…
展开
-
导入包报错内容出现line xxx import Iterable from collection
报错出现File “D:\anaconda\lib\site-packages\past\types\oldstr.py”,line 5 import Iterable from collection的情况这是因为python3.7之后修改了这句调用的语法可以找到对应路径修改为from collections.abc import Iterable即可成功运行...原创 2022-06-04 20:30:51 · 235 阅读 · 1 评论 -
selenium+python爬虫全流程教程
python+selenium爬虫全流程详解selenium+python爬虫简介selenium测试脚本python+selenium模拟浏览器----以chrome为例浏览器驱动安装浏览器模拟基本操作爬取数据--web定位案例--b站排行榜定位方法以及实操部分可能会用到的方法(辅助爬虫/降低反爬)加快网页加载速度(不加载js,images等)异常捕捉网页等待加载在输入框中输入数据网页点击(如点击下一页,或者点击搜索)打印网页信息切换iframe网页滚动(更像真人)随机等待几秒再操作(更像真人)三级目录原创 2022-03-12 23:37:50 · 36428 阅读 · 12 评论 -
知网专利数据selenium爬虫
from selenium import webdriverfrom selenium.common.exceptions import NoSuchElementExceptionimport csvimport timeimport randomimport pymysqltry: db= pymysql.connect(host = "localhost", user = "root", passwor原创 2021-06-26 23:28:23 · 535 阅读 · 0 评论 -
正向云模型(生成云)计算及绘图
import csvimport numpy as npimport matplotlib.pyplot as pltimport pandas as pdfrom mpl_toolkits.mplot3d import Axes3Dfrom matplotlib import styleimport mathdef forwardCloud(Ex,En,He,N): #正向云模型(生成云) cloudpoint=[]; plt.rcParams['font原创 2021-06-26 23:27:16 · 2263 阅读 · 0 评论 -
WOS论文详细数据页面信息selenium爬虫
import randomfrom selenium import webdriverfrom selenium.common.exceptions import NoSuchElementExceptionimport csvimport timeimport redef start_spider(): browser.get(url) page = browser.page_source time.sleep(2) title=browser.find_e原创 2021-06-26 23:24:11 · 964 阅读 · 0 评论 -
最开始学selenium爬虫看的代码(注释详细)
from selenium import webdriverfrom selenium.common.exceptions import NoSuchElementExceptionfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import..原创 2021-06-26 23:19:43 · 407 阅读 · 0 评论 -
专利网站selenium自动输入申请人、日期爬虫
import refrom selenium import webdriverfrom selenium.common.exceptions import NoSuchElementExceptionfrom selenium.webdriver.support.ui import Selectimport csvimport time# browser = webdriver.Chrome()# 最小化窗口options = webdriver.ChromeOptions()prefs原创 2021-06-26 23:14:48 · 322 阅读 · 2 评论 -
国家科学自然基金selenium自动输入爬虫
#国家科学自然基金自动输入爬虫from selenium import webdriverimport csvimport timeoption=webdriver.ChromeOptions()# 打开参数option.add_experimental_option('excludeSwitches', ['enable-automation'])browser = webdriver.Chrome(options=option)browser.implicitly_wait(10)u原创 2021-06-26 23:11:52 · 826 阅读 · 1 评论 -
累加暂停,list的运用
累加暂停,list的运用一个csv中相同的campaign_id为一个项目(如campaign_id为2289411的为一个项目),共有一千多个项目,在每个项目中使amount累加直到大于goal的值,输出此时的created_at日期。#累加暂停,list的运用import pandas as pdfile_path = 'D:/延伸目标日期确定数据.csv'# 使用pd.read_csv读取数据data = pd.read_csv(file_path)a=876#amout第一个值da原创 2021-06-26 23:07:22 · 135 阅读 · 0 评论 -
日期加某个天数变成一个新的日期(object数据类型)
日期加某个天数(如5天)变成一个新的日期(object数据类型)日期加某个天数(如5天)变成一个新的日期,但碰到由于时间格式不规范导致的数据类型是object的可以用下列代码,先转换,再加。#-*- coding:utf-8 -*-import warningswarnings.filterwarnings("ignore")import pandas as pdimport numpyfile_path = 'D:/campaign_info (2)/campaign_info.csv'原创 2021-06-26 22:22:00 · 1157 阅读 · 0 评论 -
对数据进行k-means聚类并进行三维可视化
import csvimport matplotlib.pyplot as pltimport numpy as npimport xlrdfrom sklearn import preprocessingfrom mpl_toolkits.mplot3d import Axes3D# 标准化数据集 Xfrom xlsxwriter import worksheetdef normalize(X, axis=-1, p=2): lp_norm = np.atleast_1d(n原创 2020-09-03 18:26:26 · 16130 阅读 · 32 评论 -
将excel文件中数据进行筛选并将新的数据存入csv文件
将excel文件中筛选数据并存入csv文件如图将作者只有一人的整行数据筛选出来转换成代码如下:import xlrdimport csvdef main(): # 读取Excel wk = xlrd.open_workbook(r'D:\数据转换.xlsx') # 获取目标EXCEL文件sheet名 sheets = wk.sheet_by_name('Sheet1') # 根据表索引 f = open('D:\数据转换.csv', 'w',原创 2020-09-01 09:18:38 · 954 阅读 · 0 评论 -
python+selenium爬虫按照名单循环爬取作者知网下载量等信息
主要爬取下面的表格内的信息如文献篇数,被引用数等等用的是selenium爬虫from selenium import webdriverfrom selenium.common.exceptions import NoSuchElementExceptionimport csvimport timebrowser = webdriver.Chrome()browser.minimi...原创 2020-05-05 12:30:08 · 1018 阅读 · 0 评论 -
pytorch神经网络特殊的优化器使用的一些注意点笔记
详情可参考官方文档所有优化器都实现一种step()更新参数的方法。它可以以两种方式使用:optimizer.step()这是大多数优化程序支持的简化版本。一旦用来计算梯度,就可以调用该函数 backward()。例:for input, target in dataset: optimizer.zero_grad() output = model(input) ...原创 2020-04-14 23:27:53 · 271 阅读 · 0 评论 -
numpy——ndarray运算(自生成股票数据案例)之逻辑运算、通用判断函数、三元运算符
一、逻辑运算1.随机生成八只股票两周的交易日涨幅数据>>> import numpy as np>>> stock_change=np.random.normal(loc=0,scale=1,size=(8,10))>>> stock_changearray([[-1.46202007, 0.95114736, 0.2516571...原创 2020-04-05 22:47:02 · 413 阅读 · 0 评论 -
numpy案例(随机数生成,索引,修改形状,修改类型,去重)
一、随机生成八只股票两周的交易日涨幅数据>>> import numpy as np>>> stock_change=np.random.normal(loc=0,scale=1,size=(8,10))#这里用正态分布随机数>>> stock_changearray([[-1.1343391 , 1.65608029, -0.682...原创 2020-04-03 23:44:01 · 670 阅读 · 0 评论 -
python实现一个简单的knn算法
这里呢用的是python的一个强大的机器学习库sklearn库用他的一些方法来实现,这是一个简单的knn算法实现,所以k没有使用交叉验证确定,直接选择k=3x=[[164],[168],[187],[167],[174],[162],[175],[170],[176],[169],[178],[165],[183],[171],[179],[172],[173],[172],[175],...原创 2020-02-29 23:38:50 · 232 阅读 · 0 评论 -
python省级疫情地图
写了一个江西省的疫情地图,爬的是网易的数据,加上pyecharts效果图是这样的话不多说,上代码(headers弄得有点多,你们随意)# -*- coding: utf-8 -*-import reimport timefrom pyecharts.charts import Mapfrom pyecharts import options as optsimport reques...原创 2020-02-25 19:19:32 · 1906 阅读 · 1 评论 -
基于字典的简版信息管理系统
上一篇写的是基于列表的,而这篇是基于字典的,由于字典的键值对特性,这个系统也便多了一个具有查找的功能看代码 n=str(input("请输入要查找的名字:")) print(stus.get(n,"查无此人"))其它大体相同,只是部分地方略作修改print("欢迎来到哈哈哈哈简版信息管理系统")stus={"张三":"\t张三\t男\t6666666666...原创 2019-11-28 20:56:56 · 339 阅读 · 0 评论 -
小白时期python用表格做简版信息管理系统
这是自己学python早期的时候花了一个小时写完的一段代码,内心很激动,谅解一下当初以我这个小白水平写出来的代码。首先我们把想要的功能先写出来1. 查看信息2. 增加信息3. 删除信息4. 退出系统5. 其它这个是用列表写的,所以功能没那么全,下一篇我会用字典写,从而也会多出一个查找信息的功能。首先,欢迎界面直接print就行了print("欢迎来到'啦啦啦啦'简版信息管理系统...原创 2019-11-28 13:47:49 · 397 阅读 · 0 评论