Apache Spark é uma estrutura flexível que permite o processamento de dados em batch e em stremming.

Seu mecanismo unificado o tornou bastante popular para casos de uso de big data. Este curso o ajudará a começar a usar o Apache Spark 3.0 e a escrever aplicativos de big data para uma variedade de casos de uso. Aqui vamos ensinar como configurar o Spark em sua máquina local. À medida que avançamos, você será apresentado a conjuntos de dados distribuídos resilientes (RDDs) e APIs de DataFrame e suas transformações e açõe. Em seguida, passamos para o ciclo de vida de um aplicativo Spark . Você também conhecerá os módulos integrados do Spark para SQL e execução de notebooks no Databricks.

Ao final deste curso, você terá um conhecimento fundamental sólido da estrutura do Apache Spark e será capaz de escrever e otimizar aplicativos Spark.

- Aprenda os principais conceitos, como RDDs, DataFrames, transformações e muito mais

- Configure um ambiente de desenvolvimento Spark

- Escolha as APIs certas para seus aplicativos

- Compreenda a arquitetura do Spark e o fluxo de execução de um aplicativo Spark

- Aprenda a executar seus aplicativos no Databricks Community

- Entenda como utilizar o Spark SQL

- Aplique na prática as Window Functions