14、在Azure Databricks中处理数据与可视化：从Koalas到机器学习

在Azure Databricks中处理数据与可视化：从Koalas到机器学习

1. 使用Koalas进行SQL查询

在处理数据时，我们可以利用Koalas API进行SQL查询。Spark DataFrames支持多种数据查询方式，其中就包括使用SQL查询从表中提取数据。Koalas DataFrames也具备这一特性，通过 ks.sql 可以使用标准SQL语法进行查询，查询结果以Koalas DataFrame形式返回。

以下是一个示例代码：

import databricks.koalas as ks

koalas_df = ks.DataFrame({'year': [2010, 2011, 2012, 2013, 2014],
                          'c1': [15, 24, 689, 575, 1376],
                          'c2': [4, 27, 311, 720, 1650]})
result = ks.sql("SELECT * FROM {koalas_df} WHERE c1 > 100")

使用SQL语句查询数据，为熟悉pandas DataFrames的数据科学家与常用SQL查询数据的数据工程师或商业智能分析师之间搭建了桥梁。

2. 在Koalas中使用PySpark功能

由于Koalas基于PySpark构建，因此可以在Koalas DataFrames中应用多种PySpark特性。例如，我们可以使用 <