Google gebruikte YouTube-video's van de mannequin-uitdaging om zijn AI te trainen

Inhoudsopgave:

Wat je moet weten
Haal meer pixel 3a
Google Pixel 3a

Wat je moet weten

Google traint zijn AI om dieptekaarten te maken die menselijke onderwerpen in de scène isoleren met slechts één camera.
Als uitgangspunt gebruikte Google 2000 YouTube-video's van de Mannequin Challenge om de AI te trainen.
De resultaten zullen leiden tot de mogelijkheid om effecten aan video's toe te voegen, zoals portretmodus, en worden gebruikt voor Augmented Reality.

In een recente blogpost heeft Google gedetailleerd uitgelegd hoe het heeft gewerkt aan diepteperceptie in video's waarin zowel de camera als het onderwerp bewegen. Om te beginnen had het onderzoek toegang nodig tot een enorme hoeveelheid gegevens om de AI te trainen, en de eerste logische stap was het trainen om mensen te detecteren in een scène waarin de camera bewoog maar de mensen statisch waren.

Het bleek dat Google de perfecte bron voor deze gegevens had in de vorm van YouTube-video's die werden gefilmd voor de Mannequin Challenge. In deze uitdaging zou een persoon of een groep mensen volledig stilstaan als een camera om hun positie draait. Google gebruikte 2000 video's van de uitdaging om zijn AI te trainen om menselijke figuren in verschillende scènes te detecteren.

Iets dat deze studie nog interessanter maakt, is het feit dat Google zijn AI leert om dieptekaarten te maken met behulp van beelden die met slechts één camera zijn gemaakt. Meestal moeten meerdere camera's worden gebruikt om diepte-informatie in een scène te detecteren.

Google gebruikt al iets soortgelijks voor foto's om het portretmodus-effect op de Pixel-telefoons te creëren. Dit heeft echter alleen betrekking op stilstaande beelden. De nieuwe methode die Google heeft ontwikkeld, is zijn AI trainen om een dieptekaart te maken waarbij zowel de camera als het onderwerp binnen een scène bewegen.

Door naar video's te vertakken, worden in de toekomst functies geopend voor het maken van bokeh in videoscènes die vergelijkbaar zijn met de portretmodus op uw telefoon. Een ander voordeel van dit onderzoek zijn verbeterde resultaten voor augmented reality, zoals de Playmoji's van Google's Playground.

Een andere mogelijkheid is het genereren van 3D-beelden van 2D-scènes. Hoewel camera-hardware altijd essentieel is geweest voor fotografie en videografie, toont wat Google de afgelopen jaren met software heeft gedaan aan dat algoritmen in de toekomst net zo belangrijk zullen zijn en nieuwe ervaringen kunnen bieden.