AWS licht afschalen capaciteit Kinesis na pieken toe
AWS heeft deze week in een blog meer details gegeven over het afschalen van ingest-capaciteit in Amazon Kinesis Data Streams na tijdelijke verkeerspieken. De functie geldt voor On-demand Advantage-streams met warm throughput en moet voorkomen dat streams na een korte piek onnodig blijven opereren op een verhoogd capaciteitsniveau.
Kinesis Data Streams schaalt in on-demandmodus automatisch op wanneer het dataverkeer toeneemt. Daarbij worden shards, afzonderlijke partities waarin Kinesis een datastream verdeelt, opgesplitst om extra throughput op te vangen. Tot nu toe bleef die hogere capaciteit van de shards na een tijdelijke piek vaak langere tijd beschikbaar, ook wanneer het datavolume alweer was gedaald.
Met de nieuwe functie kunnen gebruikers zelf een lagere warm-throughputwaarde instellen. Kinesis verlaagt de capaciteit vervolgens tot het hoogste van twee waarden: de opgegeven warm throughput of de capaciteit die nodig is om de hoogste ingestbelasting van het afgelopen uur te verwerken.
Minder shards na tijdelijke piek
AWS noemt onder meer flash sales, datamigraties en tijdelijke telemetriepieken als situaties waarin streams kortstondig sterk kunnen opschalen.
De hogere capaciteit brengt binnen On-demand Advantage volgens AWS geen extra kosten met zich mee, maar kan wel gevolgen hebben voor downstreamsystemen. Een groter aantal shards kan bijvoorbeeld leiden tot meer gelijktijdige invocations via AWS Lambda of extra leasebeheer voor toepassingen die de Kinesis Client Library gebruiken.
In een voorbeeld van AWS groeit een stream bij een piek van 100 naar 150 shards. Wanneer een consumer via AWS Lambda een parallelization factor van twee gebruikt, stijgt het aantal gelijktijdige invocations daarmee van 200 naar 300. Na afloop van de piek kan de nieuwe scale-downfunctie het aantal shards weer terugbrengen.
Beveiliging tegen te ver afschalen
Kinesis houdt bij een scale-down rekening met de piekbelasting van het voorgaande uur. Daardoor kan de ingest-capaciteit niet onder het niveau worden gebracht dat nodig is voor recent waargenomen verkeer. Wanneer het dataverkeer daarna opnieuw stijgt, kan de on-demandmodus de capaciteit weer automatisch verhogen. AWS adviseert gebruikers wel om na een scale-down onder meer IncomingBytes, IncomingRecords en WriteProvisionedThroughputExceeded in Amazon CloudWatch te volgen.
De nieuwe scale-downmogelijkheid is zonder extra kosten beschikbaar voor on-demand streams waarop On-demand Advantage is ingeschakeld. Gebruikers kunnen de lagere warm throughput instellen via onder meer de AWS CLI.
Bron: AWS
