StreamNative introduceert Lakestream-architectuur en native Kafka-service
De Amerikaanse scale-up StreamNative heeft een nieuwe architectuur ontwikkeld om streaming en lakehouse-opslag op hetzelfde opslag- en catalogusniveau samen te brengen. Onder de naam Lakestream behandelt het bedrijf datastromen als lakehouse-primitieven, naast tabellen. De eerste implementatie is Ursa For Kafka (UFK), een native Apache Kafka-service die in beperkte publieke preview beschikbaar komt op AWS en Google Cloud Platform.
Volgens StreamNative bestaat Lakestream uit drie lagen: cloud-native stream storage die direct schrijft naar object storage in open formaten zoals Iceberg en Delta Lake, een Lakestream Catalog die koppelt met Databricks Unity Catalog, Snowflake Horizon Catalog en AWS S3 Tables, en stateless protocol servers waarmee meerdere protocollen dezelfde onderliggende opslag gebruiken. In deze opzet kan een Kafka-topic volgens de leverancier hetzelfde object zijn als een Iceberg-tabel.
Ursa For Kafka gebruikt Apache Kafka 4.2+ fork zonder connectors
UFK is gebaseerd op een Apache Kafka 4.2+ fork en gebruikt de Ursa storage engine van StreamNative. Het bedrijf stelt dat Kafka-topics daardoor direct querybaar worden vanuit Apache Spark, Snowflake, Databricks en Trino zonder connectors, Kafka Connect of ETL-pijplijnen.
Kostenreductie en governance in lakehouse-architecturen
StreamNative claimt daarnaast een kostenreductie tot 95 procent doordat cross-AZ-replicatie vervalt; die claim is volgens het bedrijf gevalideerd bij een throughput van 5 GB/s sustained throughput. Voor data- en analytics-teams betekent dit dat streamingdata via bestaande catalogi onder dezelfde metadata-laag beschikbaar komt als batchdata.
