数据科学常用问题集锦及解答

最近在学习数据科学，遇到了很多相关的问题，在网上也搜索了了很多答案，感觉受益匪浅，现在想在自己的博客中把我遇到的精华问题和答案整理在自己的博客中，供自己以后参考，也方便大家查阅。

 

1. 【求职转行】想往数据分析，偏statistic方向转行，有什么推荐的在线网络课程（MOOC),平台和相关书籍呢？

希望可以把这个贴子推广给所有想学习或者想从事数据科学方向的朋友，楼上的朋友已经说的比较详细了，我作为偏统计方向的分析师也在这里说一下自己的一些学习方向和方法，希望对大家有帮助。

我认为从事Data Analytics或Data Science需要具备以下技能：

Programming (Hack)
这个方面比较广泛，并不是纯粹指编程技能，要不然对于非CS的同学会觉得遥不可及。几个点说一下：

1.    Linux, Bash, 后台相关的命令
一个成熟的数据从业者应该懂得灵活的运用数据寻找，获取，安装，Debug，分享，团队合作，Linux是知名的开源系统，在这个系统下环境的配置将变得非常容易和透明。各种包的安装也会事半功倍，建议是用虚拟机建一个Ubuntu系统来处理自己的数据，再利用pip，conda，git等命令来安装包，链接github，clone优秀的案例并push自己的发现。这里推荐两个学习资源，当然你也可以参考网上的各种博客和官方教程。
Linux：
https://www.linkedin.com/learning/linux-bash-shell-and-scripts

Github：
https://www.linkedin.com/learning/learning-git-and-github

2.    SQL和数据库相关的技能
数据库是另外一个比较重要的部分，想象一下你不可能一直使用Excel去处理数据，毕竟超过十万行的数据用Excel就比较吃力了。这个时候SQL就是必须要用的，可以说这个是一个核心技能。有的人可能会说SQL非常简单，但是当你实际应用的时候你会发现你在学校学的那些简单Query完全就跟不上需求了。下面说一些基本的Query，大家看看掌握的情况：

·        

o  where, group by, order by, having, like, count, sum, min, max,distinct, if, join, left join, limit, and, or, cast, row_number, substr,convert, contact

除了基本的SQL，这里我指相关的relational数据库(MySQL, PostgreSQ等)，如果你想分析一些unstructured的数据，比如文字或者image等等，你可以学习一下NoSQL，本人只用过MongoDB和Cassandra，也是主流的两个数据库。感兴趣的可以自己学习一下，这里我觉得两个学习资源不错，一个是codecademy的课程，可以互动式的学习SQL的code，一个是老牌的w3schools的SQL教程，非常的全面。另外MongoDB有自己的线上University，大家有兴趣也可以关注一下。
codecademy:
https://www.codecademy.com/learn/learn-sql

w3schools:
https://www.w3schools.com/sql

MongoDB Univeristy:
https://university.mongodb.com

3.    Python/R语言
是否具备code的能力是数据分析的一个分水岭，senior的数据分析师会至少精通一种数据分析语言，并且如果想做数据挖掘，网络爬虫，交互可视化等等都是需要一定的代码处理和理解能力的。这里主要说Python和R，两者在数据分析领域可以说是各有千秋。

先说一下Python，就我理解Python是一种万能的语言，适用性非常强，除了数据分析还能够做很多的事情，比如编写程序，网站开发，深度学习等等。如果你决定使用Python，那么你需要了解的点主要是各种包的搜索和调用，函数的编写和嵌套，数据类型的把握(list, tuple, series,  dict)，条件判断，循环迭代等等。最好的开发环境我推荐Anaconda。

其次说一下R，它是一个统计学家编写的语言，所以对于各类统计函数的调用，绘图，模型验证，R有着先天的优势。很多参数都可以通过summary直接导出，有的时候在做模型选择优化的时候会觉得得心应手。如果你在使用R，那么了解数据结构(matrix, array,data.frame, list)，数据读取，画图(ggplot2)，统计函数(mean, median, sd, var, scale)等就是你的重点了解方向。开发环境建议使用