Boom Chicago

Boom Chicago was op zoek naar een combinatie van iets wat ze in hun show konden gebruiken ten behoeve van hun AI show, maar ook iets dat hun bezoekers konden sharen, tweeten, retweeten, re-sharen, instagrammen, facebooken, en wat dan ook, om zo ook hun vrienden, familie en vijanden naar de show te leiden. We zijn samen op het idee gekomen om een celebrity-matching systeem te maken voor bezoekers van de show. Het idee was dat mensen gematcht zouden worden met hun celebrity-lookalike, om vervolgens de stappen tussen de gezichten te laten zien. Zowel voor in de show als om te delen op de sociale media.

We hebben een systeem gebouwd dat van een bezoeker van de show, in een handige app, een portretfoto ontvangt en bijhoudt naar welke show hij of zij gaat. Vervolgens verwerken we de foto op een server. We snijden de foto uit, en leren we de van blauwdruk van de foto, opdat we deze kunnen genereren middels de StyleGAN. Het gezichten-matching netwerk gebruiken we om uit te rekenen wat iemands celebrity-match is, uit een database van foto’s die door Boom Chicago zelf is uitgezocht. Vervolgens veranderen we in kleine stapjes het gezicht van de bezoeker in dat van de celebrity. Ook doen we dit voor een celebrity-antimatch, een bekendheid met een excentrieke uitstraling, en creëren we een lach-effect op de foto van de bezoeker. In de pauze van de show waar de gast van Boom Chicago heengaat, krijgt deze een mailtje met zijn of haar resultaat en enkele mogelijkheden om dit te delen op social media. Eveneens is er een administratie-systeem wat Boom Chicago kan gebruiken om in hun shows de meest grappige/opmerkelijke/ interessante vondsten te laten zien tijdens de voorstelling. Voor de app zelf hebben we Vue.js gebruikt, een reactive JavaScript framework, en een Python (Flask) backend. Door middel van Docker hebben we deze binnen Azure draaiende gekregen om met het deep learning systeem te praten, zodat de app de foto’s kon doorsturen naar de GPU-pc om verwerkt te worden, en deze uiteindelijk terug kon krijgen in verwerkte, social media deelbare vorm.

Een aantal technieken in Machine Learning bieden uitkomst om zo’n systeem te maken. Ten eerste hebben wij gebruik gemaakt van een sterke vooruitgang in het werk op het gebied van generative algorithms: algoritmes welke dienen om informatie (e.g. afbeeldingen van gezichten) te genereren. Hier hebben we gebruik gemaakt van de StyleGAN, welke realistische foto’s kan genereren van gezichten. Daarnaast hebben gebruik gemaakt van innovaties rondom de StyleGAN om ervoor te zorgen dat we een soort ‘blueprint’ konden leren uit de ingezonden gezichten. Deze konden we dan genereren en langzaam veranderen. Dit kan omdat de blueprint van een gezicht dat een beetje lijkt op het begin-gezicht, heel erg lijkt op dat van het begin-gezicht. Dat betekent dat je kleine aanpassingen kan maken en daaruit kleine veranderingen in het gezicht kan zien. Van foto naar ‘blueprint’ Ook hebben we gebruik gemaakt van facial-recognition software om de celebrity-lookalike te vinden van de bezoekers van de show. Door deze technieken te combineren kunnen we de blueprints van celebrities en ingezonden foto’s leren, om deze naar elkaar toe te bewegen in een indrukwekkende gezichten-morph. Dezelfde technieken hebben we kunnen gebruiken om de foto van de bezoeker te laten lachen, ook wanneer hij of zij deze met een boos gezicht heeft ingestuurd. Om dit alles werkend te krijgen waren er via Microsoft Azure bepaalde oplossingen beschikbaar welke ons in staat stelden om een computer met een sterke GPU (nodig voor de StyleGAN) beschikbaar te stellen wanneer deze nodig was.