Zodra er mensen herkenbaar in beeld zijn, verwerk je persoonsgegevens en geldt de AVG. Hangen de camera's op de werkvloer, dan heb je een grondslag nodig, vaak een gerechtvaardigd belang, informeer je medewerkers en moet de ondernemingsraad of personeelsvertegenwoordiging instemmen. Beelden gebruiken om te controleren hoe medewerkers hun werk doen, mag niet. Gezichtsherkenning is in de regel verboden, behalve bij een wettelijke uitzondering, en de AI-verordening verbiedt emotieherkenning op de werkplek en in het onderwijs, behalve om medische of veiligheidsredenen. Bij stelselmatige en grootschalige monitoring van openbaar toegankelijke ruimten is een DPIA verplicht.
Daarom loont een ontwerp waarin zo min mogelijk persoonsgegevens ontstaan: waar het kan verwerken bij de camera, alleen tellingen opslaan en geen beelden bewaren als dat niet nodig is. Bij GVB worden de beelden van de veiligheidscamera's niet bekeken of gedeeld, maar alleen door het model geanalyseerd. Of jouw toepassing mag en op welke grondslag, beoordeelt je privacy officer of jurist.
Een model kan in de praktijk anders presteren dan op de testset, en dat verschuift: seizoenen, nieuwe producten en verplaatste camera's veranderen de beelden die binnenkomen. Dat heet drift. De ingebouwde monitoring van Azure Machine Learning is gericht op tabeldata, dus voor beelden richten we eigen signalen in, zoals de verdeling van betrouwbaarheidsscores en het aantal detecties per uur. Voor Rijkswaterstaat bouwden we een generieke monitoringpackage voor drift- en outlierdetectie van modellen in productie.