baldicoot_的博客

Pandas掌握外部数据的读取如何快速地认识数据的概览信息数据子集的筛选与清洗数据的汇总处理数据的合并与连接

网络爬虫网络爬虫是按照一定的规则，自动地抓取万维网信息的程序或者脚本。借助于网络爬虫的技术，基本上可以做到所见即所得。使用到的包及函数import requestsimport reimport bs4requests.get == 基于URL，发送网络请求re.findall == 基于正则表达式，搜索目标数据bs4.BeautifulSoup == 对HTML源代码做解析，便于目标函数的拆解案例一：红牛在中国的分公司网站：http://www.redbull.com.cn/a

正则表达式运用场景：用于对字符串的查找，替换，分割常用的正则符号原字符指代直接存在于字符串内部的子串。# 导入第三方包import re#提取出字符串中的Python子串s1 = '通过几天Python的学习，感觉Pyhton很简单，非常容易上手！'re.findall('Python',s1)英文状态的句号点 " . "指代任意字符（如数组，字母，标点符号，汉字等），但除了换行符\n。#提取出动力总成的值s2 = ’此次新朗逸主要搭载了1.5L和1.5T两种动力总成的

SEMMA步骤解析1.Sample(搜集数据)基于需求，有针对性的搜集可以解决问题的数据。问卷调查数据库查询实验室实验例如：影响收入的因素有哪些？如何预测收入范围等。2.Explore(数据探索)通过数据探索，以求对数据的进一步了解。常用的探索方向有：离散变量的分布比例连续变量的分布形态数据的异常和缺失例如：各变量的缺失状态？统计描述？数据分布形态？3.Modify(数据修正)数据修正，便于下一步的分析和建模。常用的修正方法有：数据类型的转换数据的一致性处理异常值