In het jaar dat Apache Spark tien jaar als open source-project bestaat heeft de Apache community Spark 3.0.0 gelanceerd. Spark 3.0 bouwt voort op veel van de innovaties van Spark 2.x en brengt nieuwe ideeën met zich mee en doorlopende langetermijnprojecten in ontwikkeling. Meer dan 440 bijdragers uit de open source community hebben hun schouders eronder gezet.
Sinds de eerste release in 2010 is Spark uitgegroeid tot een van de meest actieve open source-projecten. Tegenwoordig is Spark de de facto uniforme engine voor big data-verwerking, data science, machine learning en data analytics workloads.
Spark SQL is het belangrijkste actieve onderdeel in deze release. Bijna de helft van de bijdragen betreft Spark SQL. Deze verbeteringen komen alle bibliotheken van hoger niveau ten goede, inclusief gestructureerde streaming, MLlib en API's waaronder voor SQL en DataFrames. In de TPC-DS 30TB-benchmark blijkt Spark 3.0 ongeveer twee keer sneller dan Spark 2.4. Python is nu de meest gebruikte taal op Spark. PySpark heeft meer dan 5 miljoen maandelijkse downloads op PyPI, de Python Package Index. Deze release verbetert functionaliteit en bruikbaarheid, inclusief het herontwerp van de Pandas UDF-API's met Python type hints, nieuwe Pandas UDF-typen en Python foutafhandeling.
De belangrijkste kenmerken van Spark 3.0 zijn het uitvoeren van adaptieve query's; dynamic partition pruning; ANSI SQL compliance; verbeteringen in panda's API's; nieuwe gebruikersinterface voor gestructureerde streaming; versnelling bij het aanroepen van in R gedefinieerde functies; en SQL-referentiedocumentatie.
Meer informatie: Apache Spark
29 en 30 oktober 2025 Deze 2-daagse cursus is ontworpen om dataprofessionals te voorzien van de kennis en praktische vaardigheden die nodig zijn om Knowledge Graphs en Large Language Models (LLM's) te integreren in hun workflows voor datamodel...
3 t/m 5 november 2025Praktische workshop met internationaal gerenommeerde spreker Alec Sharp over het modelleren met Entity-Relationship vanuit business perspectief. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare ri...
17 t/m 19 november 2025 De DAMA DMBoK2 beschrijft 11 disciplines van Data Management, waarbij Data Governance centraal staat. De Certified Data Management Professional (CDMP) certificatie biedt een traject voor het inleidende niveau (Associate) tot...
25 en 26 november 2025 Worstelt u met de implementatie van data governance of de afstemming tussen teams? Deze baanbrekende workshop introduceert de Data Governance Sprint - een efficiënte, gestructureerde aanpak om uw initiatieven op het...
26 november 2025 Workshop met BPM-specialist Christian Gijsels over AI-Gedreven Business Analyse met ChatGPT. Kunstmatige Intelligentie, ongetwijfeld een van de meest baanbrekende technologieën tot nu toe, opent nieuwe deuren voor analisten met ...
9 december (online seminar op 1 middag)Praktische tutorial met Alec Sharp Alec Sharp illustreert de vele manieren waarop conceptmodellen (conceptuele datamodellen) procesverandering en business analyse ondersteunen. En hij behandelt wat elke data-pr...
Alleen als In-house beschikbaarWorkshop met BPM-specialist Christian Gijsels over business analyse, modelleren en simuleren met de nieuwste release van Sparx Systems' Enterprise Architect, versie 16.Intensieve cursus waarin de belangrijkste basisfunc...
8 t/m 10 juni 2026Praktische driedaagse workshop met internationaal gerenommeerde spreker Alec Sharp over herkennen, beschrijven en ontwerpen van business processen. De workshop wordt ondersteund met praktijkvoorbeelden en duidelijke, herbruikbare ri...
Deel dit bericht