Databricks kondigt beschikbaarheid aan van Apache Spark 2.0

Databricks kondigt als eerste commerciële leverancier de algemene beschikbaarheid aan van Apache Spark 2.0. De nieuwe versie bouwt voort op wat de Apache Spark gemeenschap heeft geleerd in de afgelopen twee jaar.

In hun blog stellen Reynold Xin, Michael Armbrust en Matei Zaharia dat bij Spark 2.0 de nadruk legt op drie thema’s: easier, faster, smarter.

Eenvoudiger: ANSI SQL en gestroomlijnde API’s
In Spark zijn API's eenvoudig, intuïtief en expressief. Spark 2.0 zet deze traditie voort, gericht op twee gebieden: (1) standaard SQL-ondersteuning en (2) verenigde Dataframes/Dataset API.
Aan de SQL kant is er een uitgebreide SQL-ondersteuning door Spark, met de introductie van een nieuwe ANSI SQL parser en subqueries. Spark 2.0 kan alle 99 TPC-DS queries runnen. Omdat SQL een van de belangrijkste interfaces is geweest voor Spark, deze uitgebreide mogelijkheden verminderen de inspanningen om legacy applicaties over te zetten.
Aan de programmatische API kant zijn de Spark API’s gestroomlijnd:
- Verenigde DataFrames en datasets in Scala/Java
- SparkSession: een nieuw item dat SQLContext en HiveContext vervangt
- Eenvoudiger, meer performante Accumulator API
- DataFrame-gebaseerde Machine Learning API wordt primaire ML API
- Machine learning pipeline
- Gedistribueerde algoritmen in R
- Door de gebruiker gedefinieerde functies in R

Sneller: Spark Apache als een Compiler
Volgens de Spark Survey uit 2015 beschouwt 91 procent van de gebruikers prestaties als het belangrijkste aspect van Apache Spark. Als gevolg daarvan heeft prestatieoptimalisatie altijd centraal gestaan bij de ontwikkeling van Spark. Spark 2.0 wordt geleverd met de tweede generatie Tungsten engine, die voortbouwt op ideeën uit moderne compiler en MPP-databases ontwikkeling. Achtergrond bij de ontwikkeling was of het mogelijk is Spark 2.0 tien keer sneller te laten werken dan versie 1.0. De nieuwe engine verkort de verwerkingstijd van diverse functies aanzienlijk.

Slimmer: Gestructureerde Streaming
Spark 2.0 komt met een nieuwe API genaamd Structured Streaming. In vergelijking met de bestaande streaming systemen levert Structured Streaming drie belangrijke verbeteringen:
- Geïntegreerde API met batch jobs
- Transactionele interactie met opslagsystemen
- Sterke integratie met de rest van Spark

Eerder dit jaar heeft Databricks al een Technical Preview van Spark 2.0 gepresenteerd.

Meer informatie over de release van Spark 2.0:
Apache blog
Databricks blog