Apache Software Foundation lanceert Apache Hadoop 3.0.0

De Apache Software Foundation (ASF), de organisatie van vrijwillige ontwikkelaars en incubators van meer dan 350 Open Source-projecten en -initiatieven, heeft Apache Hadoop versie 3.0.0 aangekondigd. Hadoop 3.0.0 is de nieuwste versie van het Open Source softwareframework voor schaalbare distributed computing.

In het afgelopen decennium is Apache Hadoop alomtegenwoordig geworden binnen het grote Big Data-ecosysteem, door bedrijven in staat te stellen om datatoepassingen op grote hardwareclusters in gedistribueerde omgevingen uit te voeren en te beheren. De nieuwste release besluit volgens Chris Douglas, Vice President van Apache Hadoop, een aantal jaren van ontwikkeling binnen de Apache-gemeenschap. ”Het platform evolueert mee met hardwaretrends en blijft nieuwe workloads bieden die verder gaan dan batchanalyse, met name real-time query's en langlopende services. Tegelijkertijd hebben onze Open Source vrijwilligers Apache Hadoop aangepast aan een breed scala aan implementatie-omgevingen, waaronder de cloud."

"Hadoop 3 is een belangrijke mijlpaal voor het project en onze grootste release ooit", zegt Andrew Wang, release manager van Apache Hadoop 3. "Het vertegenwoordigt de gezamenlijke inspanningen van honderden medewerkers in de afgelopen vijf jaar sinds Hadoop 2 is verschenen. Ik kijk uit naar hoe onze gebruikers zullen profiteren van nieuwe functies in de release die de efficiëntie, schaalbaarheid en betrouwbaarheid van het platform verbeteren."

Belangrijke mogelijkheden van Apache Hadoop 3.0.0 zijn onder meer:
- HDFS erasure coding - halveert de opslagkosten van HDFS terwijl ook de duurzaamheid van gegevens wordt verbeterd;
- YARN Timeline Service v.2 (preview) - verbetert de schaalbaarheid, betrouwbaarheid en bruikbaarheid van de Timeline Service;
- YARN resource types: maakt planning van extra bronnen mogelijk, zoals schijven en GPU's, voor betere integratie met machine learning en containerworkloads;
- Federatie van YARN- en HDFS-subclusters schaalt Hadoop op transparante wijze tot op tienduizenden machines;
- Opportunistic container execution verbetert het gebruik van resources en verhoogt de taakdoorvoer voor containers met een korte levensduur. Naast de traditionele, centrale planner, ondersteunt YARN ook gedistribueerde planning van containers;
- Verbeterde mogelijkheden en prestatieverbeteringen voor cloudopslagsystemen zoals Amazon S3 (S3Guard), Microsoft Azure Data Lake en Aliyun Object Storage System.

Uitgebreid getest
Hadoop 3.0.0 is uitgebreid getest en geïntegreerd met het bredere open source-ecosysteem van de Apache Software Foundation. Met deze release promoot de community van ontwikkelaars en gebruikers Hadoop uit de bèta-series. "Het is fantastisch om deze aanzienlijke vooruitgang te zien, van de onbewerkte tool van elf jaar geleden tot de volwassen software in de laatste release,” zei Doug Cutting, de originele co-creator van Apache Hadoop. "Met deze mijlpaal voldoet Hadoop beter aan de vereisten van zijn groeiende rol in enterprise datasystemen. De Open Source-gemeenschap blijft inspelen op industriële vereisten." Apache Hadoop blijft bij de meest actieve projecten van de ASF en in de voorhoede van meer dan drie dozijn Apache Big Data-projecten.

Beschikbaarheid
Apache Hadoop-software is vrijgegeven onder de Apache-licentie v2.0 en wordt beheerd door een team van actieve bijdragers aan het project. Een Project Management Committee begeleidt de dagelijkse activiteiten van het project, inclusief community-ontwikkeling en productreleases. Voor downloads en documentatie: Apache Hadoop.