MLflow project sluit zich aan bij Linux Foundation

De Linux Foundation, een non profit-organisatie die innovatie via open source mogelijk maakt, kondigt aan dat MLflow, een open source machine learning platform van Databricks, toetreedt tot de Linux Foundation. MLflow werd twee jaar geleden gelanceerd op de Spark+AI Summit en heeft sindsdien een indrukwekkende groei doorgemaakt. Inmiddels wordt MLflow maandelijks meer dan twee miljoen keer gedownload en maken meer dan 200 actieve deelnemers deel uit van de community rond het project.

Door aan te sluiten bij de Linux Foundation krijgt MLflow een onafhankelijk ‘thuis’ om verdere adoptie van en bijdragen aan het MLflow project mogelijk te maken. “De aanhoudende interesse vanuit de community laat goed zien dat datateams toegewijd zijn om samen te werken aan het machine learning platform van de toekomst. De adoptiegraad toont daarnaast aan dat er behoefte is aan een open source aanpak om de standaard voor de machine learning lifecycle vast te stellen,” zegt Michael Dolan, VP of Strategic Programs bij de Linux Foundation. “Van onze samenwerking met de grootste open source projecten ter wereld hebben we geleerd dat een open governance model ervoor zorgt dat programma’s sneller innoveren en een hogere adoptiegraad hebben omdat bijdragen sectorbreed mogelijk worden gemaakt.”

Groot aantal variabelen
Databricks heeft MLflow opgezet om een oplossing te bieden voor het ingewikkelde proces rondom de ontwikkeling van machine learning modellen. Het oorspronkelijke proces van het bouwen, trainen, finetunen, uitrollen en beheren van deze modellen leverde data scientists en ontwikkelaars veel hoofdbrekens op. In tegenstelling tot traditionele softwareontwikkeling, waarbij alleen naar verschillende code-versies gekeken wordt, werken machine learning modellen met verschillende versies van datasets, modelparameters en algoritmes. Hierdoor ontstaat een veel groter aantal variabelen dat bijgehouden en beheerd moet worden. Daar komt nog bij dat machine learning erg iteratief is, en afhankelijk van nauwe samenwerking tussen zowel data- als applicatieteams. Met MLflow blijft dit proces beheersbaar, omdat de teams beschikking hebben over één platform om de hele machine learning lifecycle te beheren, van voorbereiding van de data tot de uiteindelijke uitrol. Binnen dat proces kunnen ze op dezelfde plek terecht voor test runs, om modellen te delen en met elkaar samen te werken.

Standaard machine learning ontwikkelingsplatform
Matei Zahara, bedenker van Apache Spark en MLflow, deelde dit belangrijke nieuws vandaag tijdens zijn keynote presentatie op de Spark+AI Summit. “MLflow is de nieuwe open source standaard voor machine learning platformen, dankzij de enorme community van deelnemers die bestaat uit honderden engineers uit meer dan honderd verschillende bedrijven. Machine learning hervormt alle grote sectoren en is onmisbaar bij miljarden beslissingen binnen de retail, financiële sector en gezondheidszorg. Door met MLflow aan de Linux Foundation bij te dragen willen we de machine learning community uitnodigen om de handen ineen te slaan om samen te werken aan een standaard machine learning ontwikkelingsplatform dat voor iedereen beschikbaar is en de hele lifecycle beslaat.”

Tijdens de Spark+AI Summit delen verschillende bedrijven hun ervaring met MLflow, waaronder Starbucks, Exxonmobil, T-Mobile en Accenture. Tevens zijn nieuwe functies bekendgemaakt die MLflow en de machine learning lifecycle vereenvoudigen. Daarbij gaat het onder meer om het automatisch loggen van experimenten en verbeterd modelbeheer in het MLflow modelregister.