数据分析--01：数据分析介绍

一、数据分析基本概念

1、数据分析基本概念

• 用适当的统计分析方法对收集来的大量数据进行分析
• 提取有用信息和形成结论
• 对数据加以详细研究和概括总结的过程

2、数据分析的流程

3、为什么要学习数据分析

• 岗位需求
• 机器学习的基础
• 数据科学的基础

1.典型的数据分析应用

• 竞选预测：特朗普和拜登
• 拥堵预测：交通出行，地图导航
• 信誉评估：信用额度贷款等
• 辅助诊断：医疗影像等方面，比如 ：CT图像中的肿瘤

2.为什么需要数据分析能力

• 通过数据分析，我们可以更好地了解用户画像，为企业做留存率、流失率等指标分析，进而精细化产品运营。
• 如果你关注比特币，数据分析可以帮助你预测比特币的走势。
• 面对生活中遇到的种种麻烦，数据分析也可以提供解决方案，比如信用卡反欺诈，自动屏蔽垃圾邮件等。

4、数据分析工具

注意

• 数据分析与数据挖掘的相似之处：数据挖掘和数据分析都是对数据进行分析、处理等操作，从而得到有价值的知识。
• 数据分析与数据挖掘的区别：
  • 在应用工具上，数据分析更多的是借助现有的分析工具进行；而数据挖掘一般需要通过编程来实现。
  • 在行业知识方面，数据分析要求对所从事的行业有比较深的了解，更多的是将数据与业务紧密结合起来；而数据挖掘不需要有太多的行业知识，更专注与技术层面。

5、拓展

1.数据分析思维

https://zhuanlan.zhihu.com/p/321907462

2.数据挖掘和数据分析,数据科学,大数据,机器学习

• 数据分析: 分析方法,也包含数据挖掘算法
• 数据挖掘: 从数据挖掘潜在价值信息过程
• 数据科学: 计算机科学的一个领域 数据科学
• 机器学习: 让机器从数据中去学习
• 大数据: 巨型数据

3.数据分析报告参考

• 2017年滴滴出行公民公告

二、jupyter的使用

1、jupyter的介绍

1.jupyter notebook是什么？

• Jupyter Notebooks 是一款开源的网络应用，我们可以将其用于创建和共享代码与文档。
• 其提供了一个环境，你无需离开这个环境，就可以在其中编写你的代码、运行代码、查看输出、可视化数据并查看结果。因此，这是一款可执行端到端的数据科学工作流程的便捷工具，其中包括数据清理、统计建模、构建和训练机器学习模型、可视化数据等等。

2.jupyter notebook的特点

• 基于web的在线编辑器
• 可交互式
• .ipynb文件分享
• 支持markdown

2、jupyter的安装

1.如何安装jupyter notebook？

• 首先需要在你的机器上安装 Python。(建议python3.6-3.7都可)
• 安装命令:pip install jupyter

3、jupyter的使用

1.如何运行jupyter notebook?

• 首先需要建立单独项目文件夹(建议名称不要包含中文)
• windows+R输入cmd进入windows终端 (mac直接进入终端运行jupyter notebook）
• 切换到该文件夹路径下
• 打开命令:jupyter notebook

2.基础使用jupyter notebook

如图所示：

• 打开笔记本后，你会看到顶部有三个选项卡：Files、Running 和 Clusters。其中，Files 基本上就是列出所有文件，Running 是展示你当前打开的终端和笔记本，Clusters 是由 IPython 并行提供的。

3.基础使用 Jupyter Notebook

如图所示：

• 要打开一个新的 Jupyter 笔记本，点击页面右侧的「New」选项。
  • Python3 --> 创建python file
  • Text File --> 文本编辑器
  • Folder --> 创建文件夹
  • Teminal --> 终端(类似于Windows上的cmd)

4.创建python file

如图所示：

• 在代码上面的菜单中，你有一些操作各个单元的选项：添加、编辑、剪切、向上和向下移动单元、运行单元内的代码、停止代码、保存工作以及重启 kernel。
  如图所示：
  
• Code --> 代码
• Markdown --> 标记(在运行一段代码后添加你的结论、添加注释等。)
• Raw NBConvert --> 原生NBConvert(将你的笔记本转换成另一种格式（比如 HTML）的命令行工具。)
• Heading --> 标题(也是Markdown语法)

5.快捷键的使用

• 运行 --> Ctrl+Enter
• Esc --> 命令模式
• Enter --> 编辑模式
  进入命令模式之后快捷键:
• A --> 在活跃单元之上插入一个新单元
• B --> 在活跃单元之下插入一个新单元
• 连续按两次 D --> 可以删除一个单元
• Z --> 撤销被删除的单元
• Y 会将当前活跃的单元变成一个代码单元
• 按住 Shift +上或下箭头可选择多个单元。在多选模式时，按住 Shift + M 可合并你的选择。
  处于编辑模式时快捷键:
• Ctrl + Home 到达单元起始位置
• Ctrl + S 保存进度
• Ctrl + Enter 会运行整个单元块
• Alt + Enter 不止会运行你的单元块，还会在下面添加一个新单元
  实际上，大家不需要去背这些快捷键。可以进入命令模式，按住H就可以看见快捷键了。
  如图所示：