6.3 AI in de cloud of op het toestel zelf?

Deze pagina is een concept. Reacties via nora@ictu.nl of tekstvoorstellen in de wiki zijn welkom.

Het zware werk van voorspellingen doen op basis van complexe data kan op twee verschillende locaties gebeuren, op het toestel zelf of in de cloud. Beide hebben hun voor- en nadelen. Een ML model in de cloud werkt in principe hetzelfde als elke andere endpoint, je stuurt wat op en je krijgt wat terug. Bij een ML model op het device zelf verlaat niets het toestel en wordt de volledige berekening gedaan op de telefoon.

Vergelijking tussen Cloud AI en Device AI:

Cloud AI	Device AI
Op de cloud is veel meer rekenkracht dus kunnen complexere modellen worden gebruikt die hogere accuratesses halen.	Op het toestel zelf is minder rekenkracht dus modellen zullen kleiner en compacter moeten zijn om toch snel genoeg te kunnen werken, dit kan ten koste gaan van de accuratesse.
Omdat data naar een server gestuurd moet worden en gewacht moet worden op een reactie zit er een grote latency in. Het analyseren van realtime audio of video is daardoor lastiger.	Doordat er geen data over het internet verstuurd hoeft te worden is er bijna geen latency. Video of spraak kan gemakkelijk in realtime geanalyseerd worden.
Als een model in de cloud draait hoeft er geen rekening gehouden te worden met verschillen tussen iOS en Android.	Doordat het model in de app staat moet op elk platform aparte functies geschreven worden om het model aan te roepen.
Om modellen via de cloud te gebruiken is er een stabiele internet verbinding nodig.	Er is geen internetverbinding nodig om het model te gebruiken als het in de app zelf staat.
Modellen die in de cloud draaien zijn in principe schaalbaar maar kosten voor het hosten van de cloud kunnen een rol gaan spelen.	Modellen die op mobiele toestellen draaien zijn onbeperkt schaalbaar omdat elk toestel de berekeningen voor zichzelf doet.
Doordat het model in de cloud staat is het relatief lastig voor een aanvaller om het model te stelen of kopiëren.	Omdat het model in de app staat is het relatief eenvoudig om het er weer uit te halen. Dat geeft aanvallers de kans om adversarial attacks uit te voeren.
Het model staat in de cloud dus heeft geen invloed op de grootte van de app.	Doordat het model in de app zelf staat zal de app significant groter worden.

Volgende pagina: 6.4 Responsible AI in de mobiele context