python爬取天眼查存入excel表格_python文科生速成课第四课: 青春有你2科普分析

大家好，你的小可爱Hedy又突然出现，继续没脸没皮地推广python咯！过去的一个月，Hedy除了日常工作和王者荣耀的时间外，都沉迷于最近很火的一个选秀综艺不可自拔。对啦，就是百度爱奇艺的青春有你2！

青春有你2，也就是偶像练习生三代目综艺节目，前面已经举办过两届啦，分别是偶像练习生和青春有你1。它是一档偶像养成类真人秀，通过109位小姐姐的唱跳舞台竞演，还有周边综艺节目青春加点戏里的演技比拼，让观众群体根据自己的喜好形成粉丝群，投票选出最后的九位出道选手，组成偶像团体出道。之前的一代目节目偶像练习生最后出道了九人男团NINE PERCENT，二代目节目出道了九人男团UNINE。而青春有你2是爱奇艺偶练系列综艺第一次选拔女生九人团体，并且节目主持人是一代目节目中出道男团的C位蔡徐坤，尤其播出时间正在疫情隔离期间（某种程度上，大家闲的扣脚在家给视频网站捐钱的时间），所以自今年3月12日开播就得到了广泛关注，小姐姐们每次公布淘汰排名都紧紧牵动着粉丝们的心。

什么，你还没看过这个节目？那最近总在哪里看过“淡黄色的长裙，蓬松的头发“吧？它出现在第五期JONY J担任说唱导师，指导零基础学员学说唱时，由于沟通不畅顺小姐姐无法理解说唱，遇到了哭笑不得的场景。

《青春有你2》淡黄的长裙蓬松的头发 说唱导师JONY J开始怀疑人生​www.iqiyi.com

为了给大家科普这个综艺，也是为了捡起我们停更多期的python文科生速成课，本节课联系这个综艺节目给大家展示一些简单的Python小任务。本节课我们主要讲(1) 爬取百度百科页面数据，(2) 爬取数据解析成dataframe表格型数据结构, (3) 简单的数据可视化 - BMI数据直方图。

还记得怎么开始写吗？打开尘封多日的Anaconda，在 jupyter notebook点击launch，然后点击右上角的new下方python 3新建交互页面。

（1）爬取百度百科页面数据：从百度百科上，我们能获得109位参赛小姐姐的基本信息 （青春有你第二季_百度百科）。执行下面的语句就可以把链接中页面里的所有表格信息，包含它们的格式都拿下来。记得执行语句的时候要点run哦，虽然看起来界面上没有变化，但是只要不报错，那就不要轻易怀疑自己呢。

（2）爬取数据解析成dataframe表格型数据结构：因为爬取的信息里面除了表格的文字之外，还有一些我们不需要的格式信息，所以我们需要把文字从一堆东西里面抽取出来，'th'和'td'分别表示的就是标题和正文的部分，th.text和td.text就是从这些部分里面提取文字的意思，就是我们在百度百科那个网页表格里面能看到的文字。data_line就是我们未来dataframe格式里面每一行中包含的文字，data就是整个109行小姐姐数据加上1行标题的整体数据列表。

然后我们可以把整理好的data放入dataframe表格型数据结构，之前我们第二课(df和df_T在吴姜：python文科生速成课第二课：pandas）和第三课（df1, df2和df_all在

吴姜：python文科生速成课第三课: Excel文件读取​zhuanlan.zhihu.com

) 中都使用到过，同时输出一个文本文件"青春有你2.txt"供下次课继续画更多数据统计图使用。

（3) 简单的数据可视化 - BMI数据直方图：然后就到了今天最羞耻的部分了，你们听说过BMI是什么吗? "身体质量指数是BMI指数(身体质量指数，简称体质指数)，是目前国际上常用的衡量人体胖瘦程度以及是否健康的一个标准。身体质量指数_百度百科"

具体计算方法是，BMI = 体重(公斤) / 身高(米)的平方，大家自己都赶紧拿出计算器算算你们自己的哈，然后女同学可以比比这些小姐姐们的数据。

最后我们把BMI数据放入matplotlib包自带的直方图画图功能部分，分为10组展示可以看到大多数小姐姐都是在16~18这个范围内的，很少几个选手超过18的。然后想了一下自己的数，有没有突然觉得很夸张？炸鸡，可乐和下午茶，你们下周还吃不吃了？

好了，如果你能坚持到这里，那就恭喜你今天的课程胜利完成啦。大家明天上班愉快，为了劳动节倒地不起的五天再坚持一下。下周我们会持续关注青春有你2，请期待更多具体的数据分析角度，最后大家可以一起来预测一下最终成团的九名小姐姐呀！