两个文件,按照一个文件中的某一列筛选另一个文件中的数据

如何从一个文件夹中众多的文件中筛选出指定的文件到另一文件夹下 最近在处理数据的时候,遇到了一个关键问题,如何如何从众多的同类型文件中筛选指定名称的文件到另一文件下,比如我现在有按照时间序列生成的2000-2020若干天的tif数据,但我想把每年的天数据放到一个年份文件夹下。比如2000年的天数据放到2000的文件夹下。如果是小时呢?如果时间序列更长怎么办?手动此时不如不做了。这里会用到MATLAB生成指定文件名和文件夹,以及采用dos命令来批量分配,笔者亲身试验,比各位一个一个筛选省去至少若干天的时间。 阅读详情

当我们手头有两个文件,一个文件很大,有很多很多行,而另一个文件比较小,现在我们需要根据两个文件的一个公共列,取出大文件中同时出现在两个文件中的那些行的所有数据。

数据解释如下:

文件A:

文件B:

我想从文件A中取出“汉字井号”分别为“孤东7-27更5186”、“孤东7-23斜更186”、“孤东7-6平1”这几行的资料。代码如下

# -*- coding: utf-8 -*-
"""
Created on Wed Nov 29 10:46:31 2017

@author: wq
"""

import pandas as pd

#input.csv是那个大文件,有很多很多行
df1 = pd.read_csv('A.csv', encoding='gbk')

#input1.csv是那个小文件,其中他们有一行或者若干行存储的特征参数相同
df2 = pd.read_csv('B.csv', encoding='gbk')

#加encoding=‘gbk’是因为文件中存在中文,不加可能出现乱码
index = df1[u'汉字井号'].isin(df2['well'])

outfile = df1[index]

outfile.to_csv('outfile.csv', index=False, encoding='gbk')
效果如下:


Pandas读写csv文件,根据其中一列分组(可去重),按照条件merge合并两个表,append添加行,根据列值选择行 1、简单读写操作 读操作 import pandas as pd file_name = u'文件名.xlsx' excel_file = os.getcwd() + ‘/’ + file_name data = pd.read_excel(excel_file, sheet_name=0, header=0) 其中sheet_name表示excel文档中的sheet表,要取起一个sheet,sheet_name=0,以此类推。 header表示列表名是在哪一行出现,如果是第一行,则header=0,以此 阅读详情

相关推荐

python按照日期筛选excel_【Python代替Excel】6:按条件筛选

准备工作:下载示例数据,提取码:tkqn 数据例子数据预览在Excel中,有个筛选的功能,可以根据条件,去筛选想要的数据,之后想删除、想修改、想添加文字,等等都比较方便。在Python中也可以根据条件,去筛选数据。找出购买金额最多的用户上篇文章求出购买金额最多的用户ID是A3OXHLG6DIBRW8,根据用户ID,筛选出这名用户的所有订单:most_sale_user = amazon_data[...

weixin_39607474的博客 1749

【python学习】pandas筛选csv文件中含有某个字段的整行数据,并存入新csv文件

本次任务是根据csv文件中某字段,筛选出含有该字段的整行数据,并存入新的csv文件。

袁家瑜的博客 3848

SKF SimPro Quick 4.8.1发布

发布说明可以在SimPro手册的SKF SimPro Quick应用程序的一般部分下找到(帮助→SKF SimPro快速手册→一般→发布说明)。请删除旧版本,请备份您存储在C:\SKF SimPro xxx\files文件夹中的文件以及所有自定义报告模板和表格。我们很高兴地通知您,我们的轴承应用工程软件SKF SimPro Quick 4.8.1可供下载。将新的安装文件下载到本地计算机后,双击它安装向导将打开(按照说明操作)3.安装后,在本地机器上启动SKF SimPro Expert软件。

小韩的博客 1820

Pandas根据某一列筛选另一表中未出现过的行记录(根据B表某一列,将B表出现过的记录,从A表中剔除)

本文介绍了使用pandas库比较两个Excel表格数据的操作方法。通过merge()函数关联两个表格的key值,设置indicator参数为True来标识匹配结果。然后筛选出仅存在于左表(A表)的记录行,并保存为新的Excel文件。文章还提供了完整代码示例,包括读取Excel、数据合并、筛选和保存结果等步骤。特别提醒B表应避免重复值,建议先对匹配列去重再关联。这种方法适用于需要从A表中剔除B表已存在记录的场景。

qq_39136872的博客 4085

英飞凌TC3xx的GTM模块到底有多强?从PWM生成到电机驱动,一篇讲透车载定时器核心

本文深入解析英飞凌TC3xx系列中的GTM模块在汽车电子领域的强大功能,从PWM生成到电机驱动的全链路设计。通过模块化架构和硬件级解决方案,GTM显著提升系统精度和响应速度,适用于电机控制、电源管理等复杂场景。文章结合实战经验,详细拆解GTM的技术实现和性能优势。

weixin_27741699的博客 204

openEuler Embedded新增软件包及在线安装软件方法

openEuler Embedded是基于Yocto构建的嵌入式操作系统,默认不包含dnf/apt软件包管理器,主要使用rpm格式。新增软件需通过manifest文件检查是否集成,未集成则需适配新配方。对于在线安装需求,可采用轻量级容器方案:通过isulad运行openEuler服务器版容器镜像,在容器内使用dnf命令安装软件(如Nginx),实现服务器生态兼容。部署前提包括设备支持、存储空间(≥10GB)和网络连接,需先安装并启动isulad服务。这种方法结合了嵌入式系统的轻量化特性和服务器系统的软件管理

专注嵌入式开发与 Linux 系统应用实战,分享芯片驱动、设备调试、系统工具开发干货。 1227

mybatis-plus根据某一列去重复_Excel中去除重复项的几种情况,你一定会遇到!

昨天有位朋友咨询如何去除Excel的重复项,通常是不同Excel的,但是不同Excel的数据进行处理复杂程度就增加了,所以需要一些变通的方法,比如弄到一张Excel中进行处理。关于重复项,有整行内容重复的,也有部分内容重复的,就像下图左边的表格,有三个“张三”和两个“王五”,怎样变成右边那个没有重复项的表格呢?如果只有一部分列的内容重复,其他列的内容不重复的又怎么处理呢?怎样统计每个不重...

weixin_39580748的博客 2206

java三角套利_三角对冲套利-EA原理全解析

它是两个直盘货币和一个交叉盘货币之间的相互对冲,交易员往往受到外界因素的影响无法严格执行造成亏损。该系统经过大量数据统计分析和严格的科学论证计算,并通过多年实盘交易验证可以达到稳定盈利。希望交易员严格按照交易规则执行。此策略利用交叉外汇对的市场价格与其合成价格的价差来实现套利,还以EUR/USD和GBP为例:1,我们关注三个外汇对:EUR/USD,GBP/USD,以及GBP/EUR2,计算GBP/...

weixin_29531897的博客 2419

根据一列数据 抽取另一个文件的行数据

方法一: 使用awk处理,先读入文件中的一列数据,然后在第二文件中做判断 awk -F'\t' 'FILENAME=="commUsers_Hotel"{F[$0]=1}FILENAME=="Hotel3"{if($0 in F){print}}' commUsers_Hotel Hotel3 > fugai  ...

weixin_34015860的博客 2277

SolidWorks草图绘制实战:如何用图片参考快速搞定智能小车底板设计

本文详细介绍了在SolidWorks中利用图片参考进行草图绘制的实战方法,以智能小车底板设计为例,帮助设计师快速将概念转化为精准三维模型。通过插入、对齐参考图片并高效描图,结合参数化约束与尺寸驱动,大幅提升设计效率和准确性,尤其适合新手入门与老手优化工作流。

rust6ferris的博客 219

(14-3)值分布式算法:QR-DQN (Quantile Regression DQN)算法

QR-DQN(Quantile Regression DQN)是一种强化学习算法,它是深度 Q-网络(Deep Q-Network,DQN)的一个变种,旨在更好地处理值函数的不确定性。QR-DQN的实现步骤与传统的DQN类似,但在目标分布计算和损失函数方面有一些不同之处,这使得它能够更好地处理值函数的不确定性。QR-DQN(Quantile Regression DQN)算法的核心思想是将值函数表示为一个分布,而不是传统的单一值估计。在下面的内容中,将讲解一个使用QR-DQN算法的例子。

码农三叔 2055

python对excel操作获取某一列,某一行的值,对某一列信息筛选

python对excel操作大全详解(获取某一列,某一行的值,对某一列信息筛选) 在此使用的包是pandas,因为其可以同时处理xls和xlsx两种excel文件。 使用pd读取有多个sheet的excel pandas读取的常用格式pd.read_excel(file, sheet_name),其中sheetname可以使用数字进行替代,从0开始,默认为0 pandas写入的格式为data.to...

春风若是你的博客 16万+

热更新方案 HybridCLR 学习教程 |(一)原理及准备工作

前面文章介绍了热更新相关的知识,包括使用xLua实现热更新实战等 那本文就来介绍一下 热更新方案 HybridCLR(代号wolong,原huatuo)和基本使用方法。 若是想了解更多关于HybridCLR的东西也可以去 官网 详细查阅。

努力前行,总会成为自己心中的那道光 2万+

r语言中从一个文件中筛选出另一个文件的信息

开发者相关视频讲解:美国禁用中国大学MATLAB快四年,国产替代完成了吗?从一个文件中筛选出另一个文件的信息 整体流程 教学流程#render_6_3380748850-svg{font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:...

weixin_36958263的博客 252

015、架构_配置文件_管理节点(proxymanager.ini)

该配置文件中的参数在后台配置,两种生效方式:*所有参数重启生效。*部分参数可以使用工具dbtool动态生效。动态生效命令为:dbtool-pm-load-config。配置文件“proxymanager.ini”用于设置元数据管理模块的信息。文件路径为“~/etc”。配置文件“proxymanager.ini”是普通的文本文件。默认值proxymanager-alarmconfutf8.txt。配置错误或不配置,PM无法连接MDS,无法服务。获取元数据失败超时处理时间。异常时请求启动对等回滚。

Oracle/MySQL 到 国产信创数据库|迁移 · 调优 · 信创替换 331

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

python按照日期筛选数据_pandas 按日期范围筛选数据的实现

pandas 是 python 中一个功能强大的库,这里就不再复述了,简单介绍下用日期范围筛选 pandas 数据。日期转换用来筛选的列是 date 类型,所以这里要把要筛选的日期范围从字符串转成 date 类型比如我的数据包含列名为 trade_date,从 20050101 - 20190926 的数据,我要筛选出 20050606 - 20071016 的数据,那么,先如下转换数据类型:s_...

weixin_29888579的博客 9974

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

python筛选excel某一列中相同的数据

求赞----求关注 python筛选excel某一列中相同的数据 1.需要cmd下载 pip install pandas 的模板 2.注意文件的路径问题不要出错 3.还有文件的编码格式 ------encoding = 'gbk' import pandas as pd #读取excel文件信息 d...

灵均兰草 3万+

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

python筛选出某一列中重复项_python筛选出两个文件中重复行的方法

'''查找A文件中,与B文件中内容不重复的内容'''#!usr/bin/pythonimport sysimport os'''字符串查找函数,使用二分查找法在列表中进行查询'''def binarySearch(value, lines):right = len(lines) - 1left = 0a = value.strip()while left <= right:middle = ...

weixin_39616367的博客 1618

R语言中 按照数据中的顺序进行筛选和排序

目的 这里有两个数据框,两者有相同的列(ID),这里想把第一个数据框,按照第二个数据框的ID列进行提取,顺序和第二个数据框一致。 数据框1 > tt = data.frame(id = 1:10,y = rnorm(10)) > tt id y 1 1 0.7264999 2 2 -1.3817018 3 3 -0.8626703 4 4 2.0663756 5 5 0.1997253 6 6 0.5968497 7 7 -0.8836

邓飞----育种数据分析之放飞自我 9068

图片名字存在txt文件中,从另一个装有图片的文件夹中筛选对应的图片。python代码

txt文件的每一行都存一张图片的名字(带尾缀),从另一个存有全部图片的文件中筛选txt中存在的图片。 # -*- coding: UTF-8 -*- # !/usr/bin/env python import sys #导入sys模块 import re #导入re模块 from PIL import Image #PIL是python的第三方图像处理库 sys.path.ap...

奔跑的小仙女 3454

Python—将一个文件复制到另一个文件以及合并两个文件

题目: 1.编程实现将文件 file1 的内容复制到文件 file2 中。 2.有一个职工通讯信息文件"TeleAddressBook. txt”,内容为 解答: 1、编程实现将文件file1的内容复制到文件file2中。 思路:首先新建文件夹file1,其中新建了AddressBook.txt、EmailAddressBook.txt、TeleAddressBook.txt三个文本文件,其次在spyder(python3.8)中编写代码,最后通过运行代码将文件file1的内容复制到文件file2中。 代

weixin_45652976的博客 5248

[awk shell] 判断一个文件中内容在另一个文件中

判断test2.txt 中第一列的内容在test1.txt 中, 很简单的一条awk命令即可:awk ‘NR==FNR{a[1]=1]=2;next}NR!=FNR{if(1ina)print1 in a)print 0”:”a[$1]}’ test1.txt test2.txt说明: FNR和NR的特性,当扫描第一个文件时,FNR与NR相同。 先对第一个文件进行扫描,将每行的内容以键值对的

栾金鹿 1万+

用Python实现数据筛选与匹配

下面我们将学习两个项目案例代码,分别解决Excel常见场景中的数据筛选问题和数据匹配问题。 数据筛选要求我们在表中筛选出符合条件的数据。数据匹配需要我们在多个表之间匹配相关的数据。 与之前一样,完成项目问题的代码,需要我们先分析数据筛选和数据匹配的需求,再找到对应知识点,确定代码的执行顺序,从而实现项目代码。 案例一:数据筛选 这个案例需要我们筛选出迟到人员的信息,来具体看看。 在【10月考勤统计.xlsx】工作簿中,保存了公司一百名员工的迟到信息,这些信息包含了迟到时间和迟到次数。

mez_Blog的博客 9362

Pandas 按照一列中所有值进行筛选并导出至单独文件

Pandas 按照一列中所有值进行筛选并导出至单独文件

SUFEHeisenberg的博客 863
上一篇: 机器学习(一):用sklearn进行数据预处理:缺失值处理、数据标准化、归一化
下一篇: 用pandas按列合并两个文件
destiny_python
博客等级 码龄10年 46粉丝 32原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值