Task Special & Task 11 综合练习

最新推荐文章于 2024-08-14 22:01:44 发布
原创 最新推荐文章于 2024-08-14 22:01:44 发布 · 278 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

Task Special & Task 11 综合练习

任务一 企业收入的多样性

在这里插入图片描述

import pandas as pd
import numpy as np
df1 = pd.read_csv('./data/test_1/Company.csv')
df2 = pd.read_csv('./data/test_1/Company_data.csv')

###### 处理df2 ######
# 从日期列中分割出年份
df2['年份'] = [x.split('/')[0] for x in df2['日期']]
# 计算p(x_i)，因为返回的是序列，所以用transform
df2['p(x_i)'] = df2.groupby(['证券代码','年份'])['收入额'].transform(lambda x: (x/x.sum()))
# 计算log(p(x_i))
df2['log_res'] = df2['p(x_i)'].apply(lambda x: np.log(x))

###### 收入熵指标计算 ######
def my_calculate(x):
    multiple_res = x['p(x_i)'] * x['log_res']
    res = (-1) * multiple_res.sum()
    return res

###### 计算df2收入熵指标 ######
res = df2.groupby(['证券代码','年份']).apply(my_calculate)
res = res.to_frame()
res = res.reset_index()
res.columns = ['证券代码','日期','收入熵指标']

在这里插入图片描述
要讲两个表连接在一起，而且是关系型连接，自然想到了merge，但在连接之前要将df1中证券代码的格式统一一下，把＃和占位0去掉。

###### 处理df1 ######
df1['证券代码'] = df1['证券代码'].str.replace('#','')
df1['证券代码'] = df1['证券代码'].apply(lambda x: int(x)) # 去除前面的占位0
df1.merge(res, on=['证券代码','日期'], how='left')

# 居然报错啦！！
# ValueError: You are trying to merge on int64 and object columns. If you wish to proceed you should use pd.concat
# 转化为int后，提示让我用concat，但是concat 不是处理关系型合并的函数啊喂！
# 于是利用.info()看看有哪些是int类型，强制转化为str 
o(*￣▽￣*)ブ
df1['证券代码'] = df1['证券代码'].apply(lambda x: int(x)) # 就这样转化
# 把该转化的转化完
df1.merge(res, on=['证券代码','日期'], how='left') # 就不会报错啦

在这里插入图片描述

任务二 组队学习信息表的变换

这道题做了好久，反思一下还是长宽表变形那里的知识点不够熟悉，变来变去 搞了好久~

data = pd.read_csv('./data/test_1/组队信息汇总表.csv',encoding='utf-8')
data
# 这步就开始报错UnicodeDecodeError: 'utf-8' codec can't decode byte 0xcb in position 0: invalid continuation byte
filename = open('./data/test_1/组队信息汇总表.csv')
data = pd.read_csv(filename,encoding='utf-8')
data.head(2)

在这里插入图片描述

# 所在群 没什么用，我先删掉~
data = data.drop('所在群',1)
# 要长宽表变形，参考wide_to_long的格式，首先将列索引名字变一下
a = [['编号_'+str(x), '昵称_'+str(x)] for x in range(11)] # 二维list
columns_name = sum(a, []) # 转化为一维list
columns_name = ['队伍名称'] + columns_name
data.columns = columns_name
data.head()

在这里插入图片描述

# 开始变形！（突然二次元
res = pd.wide_to_long(data.reset_index(), stubnames=['昵称','编号'], i='队伍名称',j='成员',sep='_',suffix='.+').dropna().reset_index()
# 是否队长部分的处理
res['成员'] = res.成员.values + 1
res.loc[res['成员']!=1,'成员'] = 0
res = res.sort_values(['队伍名称','成员'],ascending=False).reset_index()
res = res.drop(['level_0','index'],1)
res.rename(columns={'成员':'是否队长'})

在这里插入图片描述
终于做完了…步履维艰

任务三 美国大选投票情况

在这里插入图片描述

第一题

哈哈哈哈哈哈这题坑可太多了，不知道是设置的坑，还是我自己给自己挖的… 掉坑填坑过程很揪头发，解决了之后就非常想记录下来。

坑1

  • 第一问感觉很简明嘛，就根据county merge一个，再判断是不是符合条件就好啦。于是我开心分割字符串，痛快抛弃state字段（要你也没用，干脆删掉）
  • 好 得到处理完的两个表，开始merge 一切都是这样顺利我真棒！做到这里突然发现，left merge之后怎么行还变多了？？？
  • 推测可能是右表出现了重复值，果不其然 比如 yuma county就有两个，Arizona 和 Colorado 各一个…
  • 好吧，state我需要你~~ 需要重新处理下表格

坑2 这是一个花了比较长时间的坑 /(ㄒoㄒ)/~~

  • total_votes.merge(county_population,on=['county','state'],how='left') 结果中的Population全为nan
  • ？？？为啥
  • 百度说可能是两个表的key类型不一致，好的 查看info() 发现都是object，不是这个问题昂
  • 中间省略曲折过程#%…&%%#@#%
  • 问题居然出在字符串分割步骤
    在这里插入图片描述
    看上去人畜无害
    在这里插入图片描述
    逗号后有空格？
    在这里插入图片描述
    逗号后有空格！！

这个逗号后面有个小空格…我没注意
county_population['US County'].str.split(',',expand=True)这样分出来的state前面有个小空格，那两个表的该字段内容就不一样了，于是merge出来是空值。改成county_population[['county','state']]=county_population['US County'].str.split(', ',expand=True)就解决了。是我太马虎了。

county_population = pd.read_csv('./data/test_1/county_population.csv')
president_county_candidate = pd.read_csv('./data/test_1/president_county_candidate.csv')
county_population[['county','state']]=county_population['US County'].str.split(', ',expand=True)
county_population['county'] = county_population['county'].str.replace('.','')
county_population = county_population.drop(['US County'],1)
total_votes = president_county_candidate.groupby(['county','state'])['total_votes'].sum().to_frame()
total_votes = total_votes.reset_index()
res = total_votes.merge(county_population,on=['county','state'],how='left')
res = res.fillna(0)
res[res['total_votes']>(res['Population']/2)].count()

>>> 3033

第二题

president_county_candidate = pd.read_csv('./data/test_1/president_county_candidate.csv')

# 长表变宽表
president_county_candidate.pivot(index='state',columns='candidate',values='total_votes')
# 阿忘记了，有重复值，要有个sum的操作，需要用pivot_table

res = president_county_candidate.pivot_table(index='state',columns='candidate',values='total_votes',aggfunc='sum')
res = res.fillna(0)

# 符合题意的columns顺序
columns_name = res.sum(0).sort_values(ascending=False).index.tolist()
# 表的变形
result = res.reindex(index=res.index, columns=columns_name)

在这里插入图片描述

第三题

得票率 = 该候选人得票数 / 该县全部票数 * 100%

president_county_candidate = pd.read_csv('./data/test_1/president_county_candidate.csv')
president_county_candidate['得票率'] = president_county_candidate.groupby(['state','county'])['total_votes'].apply(lambda x: x/x.sum())
president_county_candidate.sort_values('state')
# 拜登在该县的得票率减去川普在该县的得票率为该县的BT指标
res = president_county_candidate.pivot(index=['state','county'],columns='candidate',values='得票率')
res['BT'] = res['Joe Biden']-res['Donald Trump']
res = res.reset_index()
res = res.groupby(['state'])['BT'].apply(lambda x:x.median()>0).to_frame()
res[res.BT==True].index
>>>
Index(['California', 'Connecticut', 'Delaware', 'District of Columbia',
       'Hawaii', 'Massachusetts', 'New Jersey', 'Rhode Island', 'Vermont'],
      dtype='object', name='state')
【国科大数据科学导论】作业1：Linear regression with Yelp votes
zoetu
11-07 1313
关于yelp votes的线性回归
DataWhale_Pandas Task Special：第一次综合练习
那一夜见红的博客
01-01 272
【任务一】企业收入的多样性 【题目描述】一个企业的产业收入多样性可以仿照信息熵的概念来定义收入熵指标： 其中 p(xi) 是企业该年某产业收入额占该年所有产业总收入的比重。在company.csv中存有需要计算的企业和年份，在company_data.csv中存有企业、各类收入额和收入年份的信息。现请利用后一张表中的数据，在前一张表中增加一列表示该公司该年份的收入熵指标 I 。 【数据下载】链接：https://pan.baidu.com/s/1leZZctxMUSW55kZY5WwgIw 48
Task1学习记录
qq_45788033的博客
09-15 165
学习目标： 1.理解赛题数据和目标，清楚评分体系。 2.对数据探索阶段将使用的python库进行学习 学习内容： 1、赛题理解 本次比赛是关于贷款违约的一个风险预测，以金融风控中的个人信贷为背景，要求选手根据贷款申请人的数据信息预测其是否有违约的可能，以此判断是否通过此项贷款。 最后我们要给出的预测结果是通过或者不通过， 这是一个二分类问题。 本次比赛的流程分为探索性数据分析、特征工程、建模调参，模型融合四个主要板块。 2、 评价指标 本次比赛的评价指标采用AUC。 AUC（Area Under Curv
ask Special & Task 11 综合练习（2020.12）
jjwan123的博客
01-13 373
显卡日志 【数据下载】链接：链接: https://pan.baidu.com/s/1CjfdtavEywHtZeWSmCGv3A. 密码：：4mui 下面给出了3090显卡的性能测评日志结果，每一条日志有如下结构： Benchmarking #2# #4# precision type #1# #1# model average #2# time : #3# ms 其中#1#代表的是模型名称，#2#的值为train(ing)或inference，表示训练状态或推断状态，#3#表示耗时，#4#表示精度
Task Special: 第一次综合练习
qq_46576562的博客
01-01 203
datawhale 组对学习 pandas http://datawhale.club/t/topic/579/4 任务：美国大选投票情况 【题目描述】两张数据表中分别给出了美国各县（country）的人口数以及大选的投票情况，请解决以下问题： 1.有多少县满足总票数超过县人口数的一半 2.把州（state）作为行索引，把投票候选人作为列名，列名的顺序按照候选人在全美的总票数由高到低排序，行列 对应的元素为该候选人在该州获得的总票数 #此处是一个样例，实际的州或人名用原表的英语代替 拜登 川普 威
【Task Special】Pandas之综合练习
Xiao_Spring的博客
01-02 1625
前言 本次打卡用于巩固知识 Mission01 企业收入的多样性 题目：一个企业的产业收入多样性可以仿照信息熵的概念来定义收入熵指标： 其中pi是企业该年某产业收入额占该年所有产业总收入的比重。在Company.csv中存有需要计算的企业和年份，在Company_data.csv中存有企业、各类收入额和收入年份的信息。现请利用后一张表中的数据，在前一张表中增加一列表示该公司该年份的收入熵指标 I。 第一步，观察数据： df1 = pd.read_csv('./data/mission01/Company.
pandas学习task11综合任务
qq_36559719的博客
01-13 343
这是在datawhale学习小组学习pandas的最后综合练习，以下是学习笔记，仅供参考，不喜勿喷，笔者比较菜还在肝第二题，先把题目放出来，大家一块学习。 DataWhale Task Special & Task 11 综合练习 import pandas as pd import numpy as np 任务一企业收入的多样性 【题目描述】一个企业的产业收入多样性可以仿照信息熵的概念来定义收入熵指标：其中 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9p44b
DataWhale_Pandas Task Special：第二次综合练习
那一夜见红的博客
01-13 222
【任务四】显卡日志 下面给出了3090显卡的性能测评日志结果，每一条日志有如下结构： Benchmarking #2# #4# precision type #1# #1# model average #2# time : #3# ms 其中#1#代表的是模型名称，#2#的值为train(ing)或inference，表示训练状态或推断状态，#3#表示耗时，#4#表示精度，其中包含了float, half, double三种类型，下面是一个具体的例子： Benchmarking Infer
系统重温Pandas笔记：Task Special：第一次综合练习
林木木的博客
01-02 300
文章目录【任务一】企业收入的多样性【任务二】组队学习信息表的变换【任务三】美国大选投票情况 【任务一】企业收入的多样性 【题目描述】一个企业的产业收入多样性可以仿照信息熵的概念来定义收入熵指标： 解： 首先import所需要的包： import numpy as np import pandas as pd 然后读取两张表的数据： df1 = pd.read_csv('company.csv') df2 = pd.read_csv('company_data.csv') 对数据做一下清洗，去除含有NA
2018年秋九年级英语上册Unit7FilmsPeriod6Task&Self_assessment听写本新版牛津版
08-06
【知识点详解】 1. 特技替身演员 (Stunt ...以上是关于九年级英语上册Unit7 Films Period 6 Task & Self-assessment中涉及的词汇、短语和句型的详细解释，这些都是学习英语的重要知识点，对于理解和应用英语至关重要。
datawhale&摩搭 Task2：精读代码，实战进阶
qq_38138014的博客
08-14 2021
#datawhale #夏令营第四期
Datawhale X 魔搭 AI夏令营 第四期（Task 1 从零入门AI生图原理&实践）
qq_63816236的博客
08-11 226
新手小白，按步骤做一遍。
【Datawhale X 魔塔 AI 夏令营】 Task 2 笔记
chrischen27的博客
08-13 1032
OpenAI 推出DALL-E模型（一个深度学习算法模型，是GPT-3 语言处理模型的一个衍生版本），能直接从文本提示“按需创造”风格多样的图形设计。（DALL-E和DALL-E 2都不是直接基于CNN构建的，而是分别采用了基于Transformer的架构和扩散模型来实现从文本到图像的生成任务。技术报告链接：https://github.com/Kwai-Kolors/Kolors/blob/master/imgs/Kolors_paper.pdf。吴恩达训练出的能生成“猫脸”的模型。
微软解决方案面向服务的架构.doc
07-22
微软解决方案面向服务的架构.doc
Huawei S6780-H-V600R024SPH120
07-22
Huawei S6780-H_V600R024SPH120，里面包含补丁说明书和补丁安装指导书，该补丁支持哪些型号，支持哪些版本可以安装当前补丁，请参考补丁说明书和补丁安装指导书。
网络营销案例分析概述.pptx
07-22
网络营销案例分析概述.pptx
2025广西省道路路网矢量数据图层Shp数据最新版下载
07-22
2025广西省道路路网矢量数据图层，shp格式，包含多级道路分类属性，路名等属性，包含全省几十万条道路，坐标系为WGS1984坐标系统
最新中国移动通信年度报告样本 (1)(1).doc
最新发布
07-22
最新中国移动通信年度报告样本 (1)(1).doc
综合布线技术与工程实训教程线槽规格和品种.pptx
07-22
综合布线技术与工程实训教程线槽规格和品种.pptx
Task(Task&&)
07-11
Task(Task&&) 是一个移动构造函数的声明，在C++中，移动构造函数用于将对象的资源从一个右值引用的对象移动到当前对象中。这样可以避免不必要的资源拷贝，提高程序性能。 移动构造函数的参数类型通常为右值引用（&&），表示它接受一个将要被移动的对象。在函数体内，可以通过将成员变量或资源从参数对象中移动到当前对象中来实现移动操作。 需要注意的是，移动构造函数常与移动赋值运算符（Move Assignment Operator）一起使用，以实现对象的移动语义。在定义移动构造函数时，通常也需要定义移动赋值运算符。 具体实现细节需要在函数定义中提供。根据函数名和参数类型，可以猜测该移动构造函数可能是用于将一个 Task 对象的资源移动到另一个 Task 对象中。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值