Databricks lanceert open source LLM DBRX

Databricks kondigt de lancering aan van DBRX, een large language model voor algemeen gebruik dat alle andere bestaande open source-modellen overtreft in AI-benchmarktesten. DBRX maakt voor iedere organisatie de training en fine-tuning van eigen, hoogwaardige LLM’s mogelijk, zodat ze niet meer afhankelijk hoeven te zijn van een handjevol closed source modellen. DBRX is vanaf vandaag wereldwijd beschikbaar voor organisaties die op kostenefficiënte wijze hun eigen LLM’s willen bouwen, trainen en gebruiken.

“Het is bij Databricks altijd al onze visie geweest om data en AI te democratiseren, door data intelligence voor iedere organisatie mogelijk te maken. We helpen om data te analyseren en in te zetten om eigen AI-systemen te bouwen. DBRX is het resultaat van die visie”, zegt Ali Ghodsi, medeoprichter en CEO van Databricks. “Er zijn drie redenen waarom we ontzettend enthousiast zijn over DBRX: het overtreft open source-modellen in state-of-the-art benchmarks; het verslaat GPT-3.5 in de meeste benchmarks, wat de huidige trend kan versnellen om propriëtaire modellen door open source modellen te vervangen; en het maakt tot slot gebruik van een ‘mixture-of-experts’-architectuur, waardoor DBRX zeer kosteneffectief een hoog aantal tokens per seconde verwerkt. Al met al zet DBRX een nieuwe standaard neer voor open-source LLM’s.”

DBRX legt de lat hoger voor efficiënte open source-LLM’s
DBRX presteert in AI-benchmarks beter dan bestaande open source-LLM’s als Llama 2 70B en Mixtral-8x7B, onder meer op gebied van taalbegrip, wiskunde en logica. DBRX is ontwikkeld door Mosaic AI en getraind op NVIDIA DGX Cloud. Databricks heeft DBRX geoptimaliseerd voor efficiëntie, met een mixture-of-experts-architectuur op basis van het MegaBlocks open source-project. Het resulterende model heeft toonaangevende prestaties en is tot twee keer zo efficiënt in compute-gebruik als andere grote LLM’s.

DBRX zet daarmee een nieuwe standaard neer voor open source modellen, waarmee aanpasbare en transparante generatieve AI mogelijk wordt voor alle organisaties. Uit recent onderzoek van Andreessen Horowitz blijkt dat bijna 60% van AI-leiders oren hebben naar meer open source-gebruik, of erop willen overstappen wanneer gefinetunede open source-modellen de prestaties evenaren van closed source-modellen. Er wordt vanaf dit jaar dan ook een significante beweging van closed source naar open source verwacht. Databricks gelooft dat DBRX deze trend zal versnellen.

In combinatie met de tooling van Databricks Mosaic AI helpt DBRX klanten om snel generatieve AI-toepassingen van hoogwaardige productiekwaliteit te bouwen en te implementeren die veilig, nauwkeurig en beheersbaar zijn – zonder controle over eigen data en intellectueel eigendom te verliezen. Klanten profiteren daarnaast van ingebouwde mogelijkheden voor databeheer, governance, dataherkomst en monitoring op het Databricks Data Intelligence Platform.