Nvidia har tagit fram en ny text-till-ljud-AI

Nvidia har tillsammans med AI-forskare tagit fram en ny AI-modell som man säger ska kunna skapa en kombination av musik, röster och ljud enbart med hjälp av textinmatning.Modellen kallas för Fugatto ("Foundational Generative Audio Transformer Opus 1") och med hjälp av modellen går det att skapa helt ljud eller musik från scratch eller redigera existerande musikstycken med hjälp av textbaserade ändringar. Nvidia tänker sig att modellen skulle kunna användas av musikproducenter för att skapa utkast till ny musik, spelutvecklare som vill att ljud eller musik förändras i spel beroende på val som spelaren gör, eller för olika typer av översättningsverktyg.Fugatto är än så länge inte släppts publikt, men ni kan ta en titt på vad som är möjligt att göra med modellen i videoklippet ovan. Att skapa ljud och musik med hjälp av textbaserade generativa AI-lösningar är inget som inte gjorts tidigare. Både Google, Meta och Adobe har tidigare utvecklat sådana verktyg, och det finns även tjänster som Udio och Suno som är helt specialiserade på att skapa musik från textinmatning. Ni kan läsa mer om dessa verktyg och AI-modellerna bakom dem i de inlänkade artiklarna nedan.