Nvidia sviluppa l’image inpainting per ricostruire le immagini danneggiate

Nvidia ha sviluppato una tecnica denominata image inpainting, che permetterà di ricostruire dettagli di foto danneggiate o ricostruirle con un semplice click.

Sentendo parlare di Nvidia, il primo pensiero va immediatamente alle schede video. Però bisogna anche tener conto del fatto che Nvidia non punta solamente al mercato consumer e ai prodotti da gaming, ma anche a sviluppare tecnologie che l’indomani potranno essere indispensabili. Basti pensare alle news di qualche mese fa in cui si parlava di post produzione in 8K e della nuova Titan V. In questi giorni è arrivata un’altra notizia che potrebbe rivoluzionare definitivamente il concetto di fotoritocco.

Image inpainting e deep learning

Per deep learning si intende un processo di apprendimento dell’intelligenza artificiale affinché possa eseguire automaticamente delle azioni complesse. Nvidia ha sfrutta la sua intelligenza artificiale al fine di sviluppare il cosiddetto image inpainting, un metodo avanzato di fotoritocco che riuscirà ad eliminare elementi di un’immagine, ricostruendo la parte mancante con elementi di contorno in maniera molto dettagliata. Di seguito un filmato dimostrativo.

Il risultato è veramente impressionante. Questo sistema permette persino di ricostruire elementi come gli occhi o eliminare parti del viso in maniera immediata. Basterà cancellare la parte da togliere come se si usasse la gomma e l’image inpainting farà tutto il resto, ricostruendo la parte eliminata adattandola al resto della foto.

Per ottenere un risultato così soddisfacente, Nvidia ha allenato la sua rete neurale generando ben 55.116 maschere, suddivise successivamente in 6 categorie secondo la loro grandezza. Infine, come ultima prova, ne sono state generate altre 25.000. In questo modo è stato possibile migliorare l’accuratezza della ricostruzione delle immagini. A livello hardware, Nvidia ha sfruttato la potenza delle Tesla V100, presentate un po’ di tempo fa.

In un recente articolo, i ricercatori di Nvidia hanno spiegato come il precedente sistema di deep learning si basasse su maschere prettamente rettangolari, andando ad influire non solo sulle risorse ma anche sulla fase di post processing. Con questa nuova evoluzione è possibile lavorare con elementi di qualsiasi forma e dimensione, adattando il sistema a qualsiasi situazione.

I ricercatori hanno affermato che questo attuale sistema non è perfetto poiché l’output per i pixel mancanti dipende dal valore di input che deve essere alimentato dalla rete neurale. Per eliminare questa dipendenza, Nvidia sfrutterà la convoluzione parziale (partial convolution), che adatterà l’output a seconda dell’immagine su cui andrà applicato.

Questo sistema potrà rappresentare un punto di svolta per il settore. Sappiamo inoltre che verrà implementato nei più famosi software di fotoritocco, come Photoshop, Illustrator e così via. Attendiamo nuovi sviluppi in merito, anche se al momento i risultati sono decisamente promettenti.