教你如何成为数据科学家（八）

第八步偏向技能，数据提取，事实上和数据打交道的工作，第一步就是如何处理数据，这里面的技巧和针对性很强，因为数据来源不同，格式不同，甚至还需要自己搜集，而没有现成的数据源，所以所谓单独列出一个环节来值得的，我们来看看原作者思考有哪些步骤是需要掌握的

• Data Ingestion

1. Summary of Data Formats                                                 数据格式汇总
2. Data Discovery                                                                  数据发现
3. Data Sources & Acquisition                                               数据来源与获取
4. Data Integration                                                                 数据提取
5. Data Fusion                                                                       数据融合
6. Transformation, Enrichment                                              转换，浓缩
7. Data Survey                                                                      数据调查
8. Google OpenRefine                                                          google发布的开源的数据处理软件
9. How much Data?                                                               需要多少数据
10. Using ETL                                                                          使用ETL（Extraction-Transformation-Loading）

实际上关键就是第9步，你必须知道什么时候需要适可而止。数据理论上是无穷的，每天都有新的数据生成出来，分析问题的时候，我们需要有明确的认识，需要多少数据就足够了。必须坚持迭代的思想，如果发现不够，应该进一步的搜集；如果发现处理时间非常长，先考虑一下是否是数据多余了，然后再考虑搭建分布式的处理系统来完成。