比对删除库中数据

最新推荐文章于 2024-04-30 14:45:52 发布
最新推荐文章于 2024-04-30 14:45:52 发布
阅读量185 收藏
点赞数
文章标签： python 数据挖掘 pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012366798/article/details/127023986
版权 
# coding=utf-8
import csv
import ntpath

import pandas as pd
import pyhdb


def parse_excel(df, file, program, ending_time):
    file_group = file.replace('__', '_').split('_')[1]
    if file_group not in prefix_dict_1:
        prefix_dict_1[file_group] = []
        prefix_dict_2[file_group] = []
    lots = file.replace('__', '_').split('_')[0]
    op = file.replace('__', '_').split('_')[2]
    part_no = file.replace('__', '_').split('_')[3]
    if len(op) < 2:
        return
    if 'T1' == op or 'P1' == op:
        op = 'P1'
        retest = 0
    elif 'R1' == op:
        retest = 1
    elif 'R2' == op:
        retest = 2
    elif 'R3' == op:
        retest = 3
    else:
        print('\t', '非T1R123')
        return
    if 'FA' in file.replace('__', '_').split('_')[4]:
        temperature = 25
    elif 'FH' in file.replace('__', '_').split('_')[4]:
        temperature = 150
    elif 'FM' in file.replace('__', '_').split('_')[4]:
        temperature = 80
    else:
        temperature = 0
    res_data = []
    # 对规则和不规则csv文件判断
    df_group = df.groupby('PART_ID')
    for key in df_group.groups:
        pro_data = df_group.get_group(key)
        now_row = None
        for idx, row in pro_data.iterrows():
            if key is None or len(key.strip()) == 0:
                continue
            if now_row is None:
                now_row = row
            else:
                now_row = row
        if now_row is None:
            continue
        for x in range(len(title)):
            # print(title)
            nt = title[x]
            if len(nt.strip()) <= 0:
                continue

            line = [file, ending_time, key, lots, part_no, program, file_group, temperature, retest, nt,
                    now_row[nt], now_row['T_TIME'], now_row['SOFT_BIN'], op]
            # print(line)
            res_data.append(line)
    sel_line(res_data)

    for idx, rows in df.iterrows():
        if idx < 1:
            global parameter_id, is_chart
            if parameter_id <= 50:
                is_chart = 1
            else:
                is_chart += 1

            for x in range(len(title)):
                nt = title[x]
                if len(nt.strip()) <= 0:
                    continue
                module_line = ['AUTOMOTIVE', part_no, file_group, nt, limit_l[x], limit_u[x],
                               unit[x], parameter_id, program, parameter_id, unit[x], 1]
                parameter_id += 1
                is_chart += 1
                # print(module_line)
                # PARAMETER
                module_excel.append(module_line)


# 数据格式化
def sel_line(res_data):
    res_header = ['file', 'ending_time', 'part_id', 'lot_id', 'part_no', 'program', 'file_group', 'temperature',
                  'retest', 'nt', 'value', 't_time', 'soft_bin', 'lots']
    df = pd.DataFrame(res_data, columns=res_header)
    df_group = df.groupby('part_id')
    for key in df_group.groups:
        # print(key)
        pro_data = df_group.get_group(key)
        for idx, row in pro_data.iterrows():
            out_line = row
            # Fixed
            line_3 = [out_line['file'], out_line['ending_time'], out_line['part_id'], out_line['lot_id'],
                      out_line['lot_id'], out_line['part_no'], 0, 0, '', '', out_line['program'],
                      out_line['file_group'],
                      out_line['temperature'], out_line['lots'], 0, 0, '', 'TF', 0, 0]
            # Other
            line_1 = [out_line['part_id'], 0, 0, out_line['retest'], out_line['nt'], out_line['value'],
                      out_line['program'], out_line['lot_id'], out_line['ending_time']]
            # Devices
            line_2 = [out_line['part_id'], 0, 0, out_line['retest'], out_line['t_time'], out_line['soft_bin'],
                      out_line['soft_bin'], out_line['lot_id'], '', 1, out_line['program'], out_line['ending_time']]

            if not pd.isna(out_line['value']) and len(str(out_line['value'])) > 0:
                prefix_dict_1[out_line['file_group']].append(line_1)
            if line_2 not in prefix_dict_2[out_line['file_group']]:
                prefix_dict_2[out_line['file_group']].append(line_2)
            if line_3 not in all_ft:
                all_ft.append(line_3)


# Fixed
header = ['FLIE_NAME', 'ENDING_TIME', 'WAFER_ID', 'LOT_ID', 'C_LOT', 'PART_NO', 'RECORDS', 'INSERT_NUM', 'UPDATE_NUM',
          'MACHINE_NAME', 'PROGRAM', 'STEP', 'TEMPERATURE', 'FLOW', 'PARA_RECORDS', 'PARA_INSERT', 'PARA_UPDATE',
          'VENDOR', 'RAW_WAFERID', 'RASS_DIE']
# Other
prefix_header_1 = ['WAFER_ID', 'LOCATE_X', 'LOCATE_Y', 'RETEST', 'TEST_NAME', 'VALUE', 'PROGRAM', 'LOT_ID',
                   'ENDING_TIME']
# Devices
prefix_header_2 = ['WAFER_ID', 'LOCATE_X', 'LOCATE_Y', 'RETEST', 'T_TIME', 'SOFT_BIN', 'HARD_BIN', 'LOT_ID', 'PART_ID',
                   'SITE_NUM', 'PROGRAM', 'ENDING_TIME']
# Color
new_header = ['SOFT_BIN', 'BIN_NAME', 'PROJECT_TYPE', 'PART_NO', 'PROCESS', 'TEST_PROGRAM', 'COLOR', 'CREATE_DATE']
# Parameter
module_header = ['PROJECT_TYPE', 'PART_NO', 'PROCESS', 'PARAMETER', 'LIMIT_L', 'LIMIT_H', 'UNIT', 'TEST_NUM',
                 'TEST_PROGRAM', 'PARAMETER_ID', 'DISPLAY_UNIT', 'IS_CHART']
new_excel = []
module_excel = []

# 输出文件夹
out_file_dir = 'Output'

# 读取excel目录
file_dir = r'ASAASDAASDC_FT2_P1_ASDASFS_FM111_A3_SR01_2022-02-02_01_11_11_.csv'

file = file_dir.split('\\')[-1]
prefix_dict_1 = {}
prefix_dict_2 = {}
all_ft = []
num = 0

xlsx_file = file_dir
read_data = []
head = None
new_head = None
program = file.replace('__', '_').split('_')[5] + '_' + file.replace('__', '_').split('_')[6]
file_group = file.replace('__', '_').split('_')[1]
ending_time = file.replace('__', '_').split('_')[7] + ' ' + file.replace('__', '_').split('_')[8] + ':' + \
              file.replace('__', '_').split('_')[9] + ':' + file.replace('__', '_').split('_')[10].split('.')[0]

# print(file_group)
parameter_id = 1
with open(xlsx_file, encoding='gbk') as f:
    row = csv.reader(f, delimiter=',')
    for idx, r in enumerate(row):
        if len(r) <= 0:
            continue
        if head is not None or new_head is not None:
            read_data.append(r)
        first = r[0]
        # 初始化数据开始行
        if 'SITE_NUM' in first:
            head = r
        elif 'SBin' in first:
            l1 = first.split(']')[0].replace('SBin[', '')
            if 'Fail__Default' in first:
                l2 = 'Fail__Default'
            elif 'Pass__Default' in first:
                l2 = 'Pass__Default'
            else:
                l2 = first.split()[1].replace('__AllFail', '')

            part_no = file.replace('__', '_').split('_')[0]
            # COLOR
            new_excel.append([l1, l2, 'AUTOMOTIVE', part_no, file_group, program, 'test color', ''])

# print('\t', '当前开始行：', head)
map = {}
df = pd.DataFrame(read_data, columns=head, dtype=object)
df['SOFT_BIN'].replace('3', '1', inplace=True)
title = list(df.columns.values[6:])

unit = df.iloc[0, 6:].values
# print(unit)
limit_l = df.iloc[1, 6:].values
# print(limit_l)
limit_u = df.iloc[2, 6:].values
# print(limit_u)
parse_excel(df, file, program, ending_time)

"""--------------------------------------------------Upsert To HANA--------------------------------------------------"""
"""--------------------------------------------------Upsert To HANA--------------------------------------------------"""
"""--------------------------------------------------Upsert To HANA--------------------------------------------------"""


def get_connection():
    conn = pyhdb.connect(
        host="",
        port=34215,  # 多租户的端口需要准确的如30053，
        user="",
        password=""
    )
    return conn


"""---------------------------------------------------Fixed To HANA--------------------------------------------------"""
df_fixed = pd.DataFrame(all_ft, columns=header)


# print(df_fixed['WAFER_ID'])

# ----------------------------------------------------------------------------------------------------------------------
def select_wafer(file_wafer_ids):
    cur = conn.cursor()
    sql = "SELECT WAFERID,DEVICES_TIME FROM AUTOMOTIVE_FT_DEVICES_FIXED_ITEM WHERE WAFERID IN ({})" \
        .format(','.join(["?" for _ in file_wafer_ids]))
    cur.execute(sql, file_wafer_ids)
    results = cur.fetchall()
    return results


conn = get_connection()
cursor = conn.cursor()
# 取文件中的wafer_id 去查数据库
file_wafer_ids = list(df_fixed['WAFER_ID'])
results = select_wafer(file_wafer_ids)
if len(results) > 0:
    # 库中有数据才处理, 转为id映射
    db_id_time_map = {}
    for res in results:
        db_id_time_map[res[0]] = res[1]
    file_del = []
    for idx, rows in df_fixed.iterrows():
        file_wafer_id = df_fixed['WAFER_ID']
        if file_wafer_id in db_id_time_map:
            db_time = db_id_time_map[file_wafer_id]
            if db_time < file_wafer_id:  # 如果数据库中的时间小于文件中的，删库
                cur = conn.cursor()
                sql = "DELETE FROM AUTOMOTIVE_FT_DEVICES_FIXED_ITEM WHERE WAFERID = ?"
                cur.execute(sql, (file_wafer_id,))
            else:  # 文件 < 数据库, 删文件里的
                file_del.append(idx)
    df_fixed = df.drop(file_del)
    df_fixed.to_csv(ntpath.join(out_file_dir, 'Automotive_FT_Devices_Fixed_Item.csv'),
                    header=header, encoding='gbk', index=False)
# -----------------------------------------------------------------------------------------------------------------------


def every_strand(list_temp, n):
    for i in range(0, len(list_temp), n):
        yield list_temp[i:i + n]


def write_fixed_item(fixed_item):
    mark = '?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?'  # sql values
    cols_str = 'FILE_NAME,' \
               'DEVICES_TIME,' \
               'C_LOT,' \
               'SUB_LOT,' \
               'PART_NO,' \
               'WAFERID,' \
               'RECORDS,' \
               'INSERT_NUM,' \
               'UPDATE_NUM,' \
               'MACHINE_NAME,' \
               'PARA_RECORDS,' \
               'PARA_INSERT,' \
               'STEP,' \
               'TEMPERATURE,' \
               'TESTER_ID,' \
               'PARA_UPDATE,' \
               'FLOW,' \
               'RAW_WAFERID,' \
               'PASS_DIE,' \
               'VENDOR'

    sql = '''UPSERT "{}" ({}) values ({}) WITH PRIMARY KEY'''.format(fixed_table_name, cols_str, mark)
    cursor.executemany(sql, fixed_item)
    conn.commit()
    print("====   FIXED Inserted Successfully   ====")


fixed_table_name = 'AUTOMOTIVE_FT_DEVICES_FIXED_ITEM'
num = 1000  # 每次插入的条数
df_fixed['ENDING_TIME'] = pd.to_datetime(df_fixed['ENDING_TIME'], format='%Y-%m-%d')

list_data_fixed = []
for idx, row in df_fixed.iterrows():
    val = [row['FLIE_NAME'],
           row['ENDING_TIME'],
           row['C_LOT'],
           row['LOT_ID'],
           row['PART_NO'],
           row['WAFER_ID'],
           row['RECORDS'],
           row['INSERT_NUM'],
           row['UPDATE_NUM'],
           row['MACHINE_NAME'],
           row['PARA_RECORDS'],
           row['PARA_INSERT'],
           row['STEP'],
           row['TEMPERATURE'],
           row['PROGRAM'],
           row['PARA_UPDATE'],
           row['FLOW'],
           row['RAW_WAFERID'],
           row['RASS_DIE'],
           row['VENDOR']]
    for x in range(len(val)):
        if pd.isna(val[x]):
            val[x] = None
        if val[x] == '':
            val[x] = None
    list_data_fixed.append(val)

fixed_result = [list_data_fixed[i * num:(i + 1) * num] for i in range(int(len(list_data_fixed) / num) + 1) if
                list_data_fixed[i * num:(i + 1) * num]]
for fixed_item in fixed_result:
    write_fixed_item(fixed_item)

"""--------------------------------------------------Color To HANA---------------------------------------------------"""
df_color = pd.DataFrame(new_excel, columns=new_header)
df_color.to_csv(ntpath.join(out_file_dir, 'Global_Map_Color_V2.csv'),
                header=new_header, encoding='gbk', index=False)


def write_color_item(color_item):
    mark = '?,?,?,?,?,?,?'  # sql values
    cols_str = 'PROJECT_TYPE,' \
               'PART_NO,' \
               'PROCESS,' \
               'COLOR,' \
               'SOFT_BIN,' \
               'BIN_NAME,' \
               'TEST_PROGRAM'

    sql = '''UPSERT "{}" ({}) values ({}) WITH PRIMARY KEY'''.format(color_table_name, cols_str, mark)
    cursor.executemany(sql, color_item)
    conn.commit()
    print("====   COLOR Inserted successfully   ====")


color_table_name = 'GLOBAL_MAP_COLOR_V2'
num = 1000  # 每次插入的条数

list_data_color = []
for idx, row in df_color.iterrows():
    val = [row['PROJECT_TYPE'],
           row['PART_NO'],
           row['PROCESS'],
           row['COLOR'],
           row['SOFT_BIN'],
           row['BIN_NAME'],
           row['TEST_PROGRAM']]
    for x in range(len(val)):
        if pd.isna(val[x]):
            val[x] = None
        if val[x] == '':
            val[x] = None
    list_data_color.append(val)

color_result = [list_data_color[i * num:(i + 1) * num] for i in range(int(len(list_data_color) / num) + 1) if
                list_data_color[i * num:(i + 1) * num]]
for color_item in color_result:
    write_color_item(color_item)

"""------------------------------------------------Parameter To HANA-------------------------------------------------"""
df_parameter = pd.DataFrame(module_excel, columns=module_header)
df_parameter.to_csv(ntpath.join(out_file_dir, 'Global_Test_Parameter_V2.csv'),
                    header=module_header, encoding='gbk', index=False)


def write_parameter_item(parameter_item):
    mark = '?,?,?,?,?,?,?,?,?,?,?,?'  # sql values
    cols_str = 'PROJECT_TYPE,' \
               'PART_NO,' \
               'PROCESS,' \
               'PARAMETER,' \
               'LIMIT_L,' \
               'LIMIT_H,' \
               'UNIT,' \
               'TEST_NUM,' \
               'TEST_PROGRAM,' \
               'PARAMETER_ID,' \
               'DISPLAY_UNIT,' \
               'IS_CHART'

    sql = '''UPSERT "{}" ({}) values ({}) WITH PRIMARY KEY'''.format(parameter_table_name, cols_str, mark)
    # print(item)
    cursor.executemany(sql, parameter_item)
    conn.commit()
    print("==== PARAMETER Inserted successfully ====")


parameter_table_name = 'GLOBAL_TEST_PARAMETER_V2'
num = 1000  # 每次插入的条数

list_data_parameter = []
for idx, row in df_parameter.iterrows():
    val = [row['PROJECT_TYPE'],
           row['PART_NO'],
           row['PROCESS'],
           row['PARAMETER'],
           row['LIMIT_L'],
           row['LIMIT_H'],
           row['UNIT'],
           row['TEST_NUM'],
           row['TEST_PROGRAM'],
           row['PARAMETER_ID'],
           row['DISPLAY_UNIT'],
           row['IS_CHART']]

    for x in range(len(val)):
        if pd.isna(val[x]):
            val[x] = None
        if val[x] == '':
            val[x] = None
    list_data_parameter.append(val)

parameter_result = [list_data_parameter[i * num:(i + 1) * num] for i in range(int(len(list_data_parameter) / num) + 1)
                    if list_data_parameter[i * num:(i + 1) * num]]
for parameter_item in parameter_result:
    write_parameter_item(parameter_item)

"""--------------------------------------------------Other To HANA---------------------------------------------------"""
for key in prefix_dict_1:
    df_other = pd.DataFrame(prefix_dict_1[key], columns=prefix_header_1)
    df_other.to_csv(ntpath.join(out_file_dir, 'Automotive_' + key + '_Devices_Other_Items.csv'),
                    header=prefix_header_1, encoding='gbk', index=False)
    other_table_name = 'AUTOMOTIVE_' + key + '_DEVICES_OTHER_ITEMS'


    def write_other_item(other_item):
        mark = '?,?,?,?,?,?,?,?,?'  # sql values
        cols_str = 'WAFERID,' \
                   'LOCATE_X,' \
                   'LOCATE_Y,' \
                   'RETEST,' \
                   'RESULT,' \
                   'PARAMETER,' \
                   'TEST_PROGRAM,' \
                   'DEVICES_TIME,' \
                   'SUB_LOT'

        sql = '''UPSERT "{}" ({}) values ({}) WITH PRIMARY KEY'''.format(other_table_name, cols_str, mark)
        # print(item)
        cursor.executemany(sql, other_item)
        conn.commit()
        print("====   OTHER Inserted successfully   ====")


    num = 10000  # 每次插入的条数
    df_other['ENDING_TIME'] = pd.to_datetime(df_other['ENDING_TIME'], format='%Y-%m-%d')

    list_data_other = []
    for idx, row in df_other.iterrows():
        val = [row['WAFER_ID'],
               row['LOCATE_X'],
               row['LOCATE_Y'],
               row['RETEST'],
               row['VALUE'],
               row['TEST_NAME'],
               row['PROGRAM'],
               row['ENDING_TIME'],
               row['LOT_ID']]

        for x in range(len(val)):
            if pd.isna(val[x]):
                val[x] = None
            if val[x] == '':
                val[x] = None
        list_data_other.append(val)

    other_result = [list_data_other[i * num:(i + 1) * num] for i in range(int(len(list_data_other) / num) + 1) if
                    list_data_other[i * num:(i + 1) * num]]
    for other_item in other_result:
        write_other_item(other_item)

"""-------------------------------------------------Devices To HANA--------------------------------------------------"""
for key in prefix_dict_2:
    df_devices = pd.DataFrame(prefix_dict_2[key], columns=prefix_header_2)
    df_devices.to_csv(ntpath.join(out_file_dir, 'Automotive_' + key + '_Devices.csv'),
                      header=prefix_header_2, encoding='gbk', index=False)
    devices_table_name = 'AUTOMOTIVE_' + key + '_DEVICES'


    def write_devices_item(devices_item):
        mark = '?,?,?,?,?,?,?,?,?,?,?,?'
        cols_str = 'WAFERID,' \
                   'LOCATE_X,' \
                   'LOCATE_Y,' \
                   'SOFT_BIN,' \
                   'DEVICES_TIME,' \
                   'RETEST,' \
                   'HARD_BIN,' \
                   'PART_ID,' \
                   'TEST_PROGRAM,' \
                   'SITE_NUM,' \
                   'TEST_TIME,' \
                   'SUB_LOT'

        sql = '''UPSERT "{}" ({}) values ({}) WITH PRIMARY KEY'''.format(devices_table_name, cols_str, mark)
        # print(item)
        cursor.executemany(sql, devices_item)
        conn.commit()
        print("====  DEVICES Inserted successfully  ====")


    num = 1000  # 每次插入的条数
    df_devices['ENDING_TIME'] = pd.to_datetime(df_devices['ENDING_TIME'], format='%Y-%m-%d')

    list_data_devices = []
    for idx, row in df_devices.iterrows():
        val = [row['WAFER_ID'],
               row['LOCATE_X'],
               row['LOCATE_Y'],
               row['SOFT_BIN'],
               row['ENDING_TIME'],
               row['RETEST'],
               row['HARD_BIN'],
               row['PART_ID'],
               row['PROGRAM'],
               row['SITE_NUM'],
               row['T_TIME'],
               row['LOT_ID']]
        for x in range(len(val)):
            if pd.isna(val[x]):
                val[x] = None
            if val[x] == '':
                val[x] = None
        list_data_devices.append(val)

    devices_result = [list_data_devices[i * num:(i + 1) * num] for i in range(int(len(list_data_devices) / num) + 1) if
                      list_data_devices[i * num:(i + 1) * num]]
    for devices_item in devices_result:
        write_devices_item(devices_item)

print("TableName  :" + other_table_name)
print("TableName  :" + devices_table_name)
"""----------------------------------------------------HANA Close----------------------------------------------------"""
try:
    cursor.close()
    conn.close()
except Exception as e:
    print("Close HANA :" + str(e))
    pass

小小权
关注
数据清洗与数据安全：如何确保数据清洗过程中的数据安全
AI天才研究院
10-03 1304
数据清洗与数据安全：如何确保数据清洗过程中的数据安全 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 1. 背景介绍 1.1 问题的由来 在当今
python第五天作业
qq_52509249的博客
01-13 1041
作业1：有一堆硬币，每次只能拿一个或者两个，求最少多少次可以拿完硬币 [10, 8, 5, 3, 27, 99] ls=[10, 8, 5, 3, 27, 99] x=0 for i in ls: if i % 2 ==0: x+=i//2 else: x+=i//2+1 print(x) 作业2：如果两个素数之差为2,这样的两个素数就叫作"孪生数",找出100以内的所有"孪生数". ls =...
python卸载库命令_python常用删除库的方法
weixin_39986060的博客
11-30 1万+
本文记于初学py的时候，两年后补发。python常用库的安装方法一般有几种，比如：1.编译过的exe包，直接无脑下一步就可以了。2.pip install 库名，快速安装。自动匹配最新版本。3.下载编译好的whl文件，一般下载指定的版本。通过pip install ***.whl 命令快速安装。4.下载指定版本的源码，解压后在目录里打开cmd，使用setup.py install 命令来安装。有...
py查库删库
Flechazow的博客
09-24 170
SQL
Python 各种环境下安装、删除所需的库详细教程
码王吴彦祖的博客
06-05 1112
Python 各种环境下安装、删除所需的库详细教程 首先，关于我们所知道的，在基础的python环境下，可以使用国内镜像源快速安装所需的库，具体如下： pip国内的一些镜像 阿里云 https://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.com/simple/ 清华大学 https://pypi.tuna.tsinghua.edu
python 删除所有的第三方库
LM813381916的博客
11-10 7819
两行命令卸载python 所有的第三方库
sql删除数据的3种方法
qq_58313680的博客
03-14 2万+
sql删除数据的3种方法
使用pandas库将csv1中的一列数据和csv2中的一列数据进行比对，相同的数据保留，不相同的删除
07-17
可以使用pandas库来实现将两个CSV文件中的一列数据进行比对，并删除不相同的数据以下是一个基本的示例代码： ```python import pandas as pd # 读取CSV文件 df1 = pd.read_csv('csv1.csv') df2 = pd.read_csv('csv...
数据仓库建模与ETL的实践技巧精讲.ppt
08-15
BI是商务智能的简称，其目的是通过从海量数据中提取有价值的信息，帮助企业做出更好的决策。 BI的定义包括了数据的收集、处理、分析和展示等多个步骤。它不是一个单一的技术或工具，而是一个由ETL、数据仓库（DW）...
数据仓库Data Warehouse
最新发布
The Fifth Leaf 的博客
04-30 1908
数据抽取确定数据源，需要确定从哪些源系统进行数据抽取定义数据接口，对每个源文件及系统的每个字段进行详细说明确定数据抽取的方法：是主动抽取还是由源系统推送？是增量抽取还是全量抽取？是按照每日抽取还是按照每月抽取？数据清洗主要将不完整数据、错误数据、重复数据进行处理数据转换空值处理：可捕获字段空值，进行加载或替换为其他含义数据，或数据分流问题库数据标准：统一元数据、统一标准字段、统一字段类型定义数据拆分：依据业务需求做数据拆分，如身份证号，拆分区划、出生日期、性别等。
Excel内容高效比对软件：数据比较不再难题
这种软件能够帮助用户快速识别两份Excel文档中的不同之处，比如修改、删除或新增的数据。在数据处理、审计、财务报表分析等领域有着广泛的应用。通过比对功能，用户可以确保数据的一致性和准确性，提高工作效率，...
用 Pyjanitor 更好地进行数据清洗与处理
简说Python的博客
08-22 523
作者｜100gle来源｜zhihu.com/p/166552799编辑｜Python中文社区随着使用 Python 和 R 语言次数的增加，对于这两门语言在数据科学领域的优劣性有着深刻的...
pip卸载指定文件夹的库
weixin_42579969的博客
02-14 1860
要卸载指定文件夹中的库，可以使用pip卸载命令，并指定库的完整路径： pip uninstall -y -r/path/to/library 其中，"-y" 选项表示自动回答 "yes"，不询问确认；"-r" 选项表示指定卸载清单文件。 如果您想要卸载的库不在指定的文件夹中，可以使用以下命令： pip uninstall<library_name> 其中，"" 表示需要卸载的库名称...
Python入门（第三节）：调用及下载（删除）pip库
zghn6832的博客
12-26 1936
本来说这一篇讲pycharm的下载和安装的，但是pycharm下载我还没想好怎么讲，就先讲pip调用和下载吧，pip哪都好就有时用着就不能用了（或许是我的问题）这行代码直接调用pip库，但这样在写代码的时候非常麻烦，我们就用import pip库名称。下载成功后输入pip list就会显示下载成功的包（因为我下载的太多了）1 pip库下载，我们用最简单的xlrd库来演示一下。因为这是Python3下载可以用，直接用pip也可以。到这里就讲完了pip库下载和删除，接下来就是调用了。编译器:vscode。
pycharm安装/卸载库的方法
Bianca427的博客
08-11 8953
安装库的三种方法.卸载模块
Python卸载模块的方法汇总
FanJin的博客
03-08 1万+
转自：http://www.jb51.net/article/86037.htm本文给大家汇总介绍了3种卸载Python已安装模块的方法，推荐大家使用easy_install或者pip的方式来进行，简单方便easy_install 卸载通过easy_install 安装的模块可以直接通过  easy_install -m PackageName 卸载，然后删除\Python27\Lib\site-...
卸载python第三方库的几种方式
热门推荐
小新新的博客
03-22 4万+
1、如果是通过 pip install 安装的包 此方式安装的包 可以通过 pip list 查看到 直接使用 pip uninstall 包名 出现提示输入 y 2、通过exe程序安装的包 通过系统的卸载功能卸载就行 3、如果遇到前两种都无法卸载干净的 进入 C:\Python27\Lib\site-packages 下手动删除包 该路径下有所有安装的包 ...
python删库_python常用删除库的方法
weixin_36439481的博客
02-03 4449
本文记于初学py的时候，两年后补发。python常用库的安装方法一般有几种，比如：1.编译过的exe包，直接无脑下一步就可以了。2.pip install 库名，快速安装。自动匹配最新版本。3.下载编译好的whl文件，一般下载指定的版本。通过pip install ***.whl 命令快速安装。4.下载指定版本的源码，解压后在目录里打开cmd，使用setup.py install 命令来安装。有...
缺省值判断 pd.isnull, pd.isna, pd.notna, pd.notnull, np.isnan, math.isnan 区别
craftsman2020的博客
08-02 6422
文章目录1、基础知识准备(1) np.nan != np.nan(2) nan和None代码示例(3) pandas 中将nan和None都处理为np.nan2、pd.isnull == pd.isna(1) 有趣的现象(2) 原因 1、基础知识准备 (1) np.nan != np.nan 在计算机中本没有绝对绝对相等的数据，所谓的相等只是精度允许的条件下相等！np.nan 原意为 not a number。 概括： 对某个值是否为nan进行判断，只能用np.isnan(i)，绝不可用 i == n
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值