E’ indubbio che l’intelligenza artificiale si sia evoluta in maniera preponderante negli ultimi anni. Dopo l’uscita di ChatGPT da parte di OpenAI, abbiamo assistito alla nascita di tantissimi strumenti basati sull’IA generativa che permettono di generare immagini, canzoni o addirittura interi filmati partendo da un semplice input testuale. Questa constante evoluzione ha preoccupato tutte quelle categorie di lavori che si basano su strumenti informatici, come programmatori, data scientist o sviluppatori software.
La paura che il ruolo del programmatore venga in futuro sostituita da una semplice IA è sempre più grande e ora sembra essere ancora più vicina grazie all’annuncio di Devin AI, il primo software engineer basato su IA creato e sviluppato da Cognition AI, startup gestita da Scott Wu. Seppur venga specificato come Devin AI non sia un vero e proprio sostituto di un programmatore umano ma solamente uno strumento per supportare gli sviluppatori nell’analisi e la stesura del codice, ciò che questo strumento è in grado di fare già ora è qualcosa di sorprendente. Infatti, Devin AI è dotato di strumenti di sviluppo comuni, tra cui la shell, l’editor di codice e il browser all’interno di un ambiente di elaborazione sandbox. In questo modo l’utente potrà ricevere un supporto costante e soluzioni ai problemi più comuni in tempo reale.
Le capacità offerte da questo strumento risultano sin da subito incredibili, in quanto il software engineer basato interamente su intelligenza artificiale può non solo consultare fonti online e imparare a scrivere codice più corretto e funzionante ma anche eseguire debug autonomamente per correggere ciò che scrive, una novità assoluta in questo senso. Oltre a questo, è in grado di realizzare applicazioni web complete e testabili, oltre a risolvere svariati problemi relativi a repository GitHub.
Per far rendere conto delle enormi potenzialità di Devin AI, è stato valutato su SWE-bench, un benchmark particolarmente impegnativo che chiede agli agenti di risolvere i problemi reali di GitHub riscontrati in progetti open source come Django e scikit-learn.
Devin risolve correttamente il 13,86% dei problemi end-to-end, superando di gran lunga il precedente stato dell’arte dell’1,96%. Anche se vengono forniti i file esatti da modificare, i migliori modelli precedenti possono risolvere solo il 4,80% dei problemi (GPT-4 raggiunge appena l’1.74%).
Fonte: Cognition