baldicoot_的博客

Pandas 掌握外部数据的读取 如何快速地认识数据的概览信息 数据子集的筛选与清洗 数据的汇总处理 数据的合并与连接

网络爬虫 网络爬虫是按照一定的规则，自动地抓取万维网信息的程序或者脚本。借助于网络爬虫的技术，基本上可以做到所见即所得。 使用到的包及函数 import requests import re import bs4 requests.get == 基于URL，发送网络请求 re.findall == 基于正则表达式，搜索目标数据 bs4.BeautifulSoup == 对HTML源代码做解析，便于目标函数的拆解 案例一：红牛在中国的分公司 网站：http://www.redbull.com.cn/a

正则表达式 运用场景：用于对字符串的查找，替换，分割 常用的正则符号 原字符 指代直接存在于字符串内部的子串。 # 导入第三方包 import re #提取出字符串中的Python子串 s1 = '通过几天Python的学习，感觉Pyhton很简单，非常容易上手！' re.findall('Python',s1) 英文状态的句号点 " . " 指代任意字符（如数组，字母，标点符号，汉字等），但除了换行符\n。 #提取出动力总成的值 s2 = ’此次新朗逸主要搭载了1.5L和1.5T两种动力总成的

SEMMA步骤解析 1.Sample(搜集数据) 基于需求，有针对性的搜集可以解决问题的数据。 问卷调查 数据库查询 实验室实验 例如：影响收入的因素有哪些？如何预测收入范围等。 2.Explore(数据探索) 通过数据探索，以求对数据的进一步了解。常用的探索方向有： 离散变量的分布比例 连续变量的分布形态 数据的异常和缺失 例如：各变量的缺失状态？统计描述？数据分布形态？ 3.Modify(数据修正) 数据修正，便于下一步的分析和建模。常用的修正方法有： 数据类型的转换 数据的一致性处理 异常值