6.2 Manifestatievormen van AI op Mobiel

Deze pagina is een concept. Reacties via nora@ictu.nl of tekstvoorstellen in de wiki zijn welkom.

Op zowel iOS als Android kun je verschillende vormen van AI toepassen. Hieronder staan enkele populaire vormen van AI:

1. Natural Language Processing (NLP)[bewerken]

Beide partijen zetten zich in om NLP-ontwikkelaars de beste tools te bieden. Apple introduceerde Siri en Core ML, terwijl Android met de Google Assistant en TensorFlow Lite komt. Met deze krachtige hulpmiddelen kunnen ontwikkelaars NLP integreren in hun apps en gebruikers een ongekende gebruikservaring bieden. NLP wordt gebruikt voor onder andere chatbots, sentimentanalyse, tekstvertaling, en spraakherkenning.

2. Computer Vision[bewerken]

Computer Vision (CV) maakt een breed scala aan toepassingen mogelijk, zoals Augmented Reality (AR), objectdetectie en -herkenning, gezichtsherkenning en bewegingsspoor. iOS biedt geavanceerde objecttracking, LiDAR-integratie voor AR- en objectdetectie en de Machine Learning (ML) Toolkit voor efficiënte CV-taken. Android biedt ML Kit met kant-en-klare ML-modellen voor CV-taken, TensorFlow Lite voor implementatie van aangepaste modellen en ARCore voor geavanceerde AR-ervaringen.

Onder computer vision valt eigenlijk alles dat beeldmateriaal als input heeft. Dit kan zijn een foto, een video of ander beeldmateriaal zoals infrarood- of hittebeelden. Veel gebruikte vormen van computer vision modellen zijn image classification, object detection, en instance segmentation. Een image classification kijkt simpelweg alleen maar naar wat er op de foto staat. Een object detection model kijkt naar wat er op een foto staat en waar dat staat (lokalisatie). Een instance segmentation model kijkt naar de precieze vormen van herkende objecten op een foto. Een ander veel gebruikt model is optical character recognition (OCR). Een OCR-model is een speciale vorm van een object detection model dat kijkt naar welke tekst er op een foto staat.

3. Reinforcement Learning[bewerken]

Reinforcement Learning (RL) is een krachtige machine learning-techniek die steeds vaker wordt gebruikt in mobiele apps. Met RL kunnen apps leren van hun interactie met de omgeving en hun prestaties in de loop van de tijd optimaliseren. Dit kan leiden tot meer betere en gepersonaliseerde gebruikerservaringen. Zowel iOS als Android bieden ondersteuning voor RL, met behulp van tools en frameworks die het voor ontwikkelaars eenvoudiger maken om RL-modellen in hun apps te implementeren. Voor iOS zijn hier wederom Core ML en Create ML voor beschikbaar en Swift Reinforcement Learning, een framework voor het trainen en implementeren van RL. Android biedt hiervoor TensorFlow Lite, Android Neural Networks API; een API die native ondersteuning biedt voor het uitvoeren van RL-modellen op Android-apparaten en Deepmind Lab. Deepmind Lab is een onderzoeks-app van Google die RL gebruikt. De app is open-source en kan worden gebruikt als een referentie-implementatie voor het implementeren van RL in Android-apps.

4. LLM Powered applicaties[bewerken]

Met de opkomst van generatieve AI en dan met name de LLM’s (Large language models) is het mogelijk om vanuit de mobiele apps te interacteren met de API’s van de libraries van de diverse LLM’s. Het gebruiken van een achterliggende LLM kan een mobiele app aanzienlijk intelligenter maken. Met name het maken van intelligente chatbots met LLM ondersteuning terwijl ook een locale database wordt geraadpleegd om output actueel te maken en in context te brengen is een veelgevraagde functionaliteit (conversational AI). Een retrieval augmented generation oplossing is hiervoor een veelgebruikte architectuur.

5. Tooling[bewerken]

Samengevat zijn de volgende tools en frameworks beschikbaar op beide platformen:

iOS AI Frameworks en Tools:

Core ML: Voor het integreren van machine learning modellen.
Create ML: Voor het eenvoudig trainen van ML-modellen zonder diepgaande kennis.
Vision Framework: Voor beeldanalyse en computer vision taken.
Natural Language Framework: Voor NLP taken zoals taalherkenning en sentimentanalyse.

Android AI Frameworks en Tools:

TensorFlow Lite: Voor het draaien van machine learning modellen op mobiele apparaten.
ML Kit: Voor het eenvoudig implementeren van veelvoorkomende machine learning taken.
OpenCV: Voor computer vision toepassingen.
Android Neural Networks API (NNAPI): Voor het versnellen van machine learning operaties op het apparaat.

Door gebruik te maken van deze frameworks en tools kunnen ontwikkelaars AI-functionaliteiten implementeren op zowel iOS als Android, wat de gebruikerservaring van apps aanzienlijk kan verbeteren.

Volgende pagina: 6.3 AI in de cloud of op het toestel zelf?