pyspark

今天给大家带来的是PySpark常见类库和名词解释，了解这些最基础的名词以后，我们看大段的相关资料就不会犯难了。

在本文中，云朵君和大家一起学习了 SQL StructType、StructField 的用法，以及如何在运行时更改 Pyspark DataFrame 的结构，将案例类转换为模式以及使用 ArrayType、MapType。

PySpark 是一个用 Python 编写的 Spark 库，用于使用 Apache Spark 功能运行 Python 应用程序。所以没有 PySpark 库可供下载。一切只需要 Spark。按照以下步骤在 Windows 上安装 PySpark。

到目前为止，我们将能够在 Spark 上使用 Pandas。这将会导致Pandas 速度的大大提高，迁移到 Spark 时学习曲线的减少，以及单机计算和分布式计算在同一代码库中的合并。

在这篇文章中，我们将对比用于基本数据操作任务的 pandas 代码片段和它们在 PySpark 中的对应功能的代码片段。利用 pandas 数据操作技能来学习 PySpark 。

用户可以升级、降级或取消服务。如果我们能够预测用户取消服务的意图，我们就可以尝试针对这些用户提供特别优惠，这将有可能防止用户流失并为企业节省数百万美元。在这个项目中，我们已经建立了一个模型，根据用户在应用程序中的历史事件，识别出具有高流失倾向的用户。

直接进行spark开发需要去学习scala，为了降低数据分析师的学习成本，决定前期先试用sparkSQL，能够让计算引擎无缝从MR切换到spark，现在主要使用pyspark访问hive数据。