Por meio do AudioCraft, o Meta oferece a capacidade de gerar “música e sons realistas e de alta qualidade”. Vale ressaltar que esta plataforma utiliza três modelos para entregar os resultados prometidos: MusicGen , AudioGen e o decodificador EnCodec.
Audiocraft é composto por três ferramentas diferentes que cobrem diferentes áreas de geração de som.
MusicGen cria música a partir de prompts de texto inseridos pelo usuário e é um modelo de linguagem que foi treinado em ” 20.000 horas de música de propriedade ou especificamente licenciada pela Meta”, explicou a Meta em seu blog.
O AudioGen cria efeitos sonoros a partir de descrições de texto, como latidos de cachorro ou passos, e foi treinado em uma biblioteca de dados pública.
Assim como os sistemas que criam imagens a partir de texto, o AudoiCraft é capaz de criar uma música a partir de uma descrição.
Por exemplo, se você digitar “Cena de filme no deserto com percussão” ou “música eletrônica dos anos 80 com batidas”, serão geradas músicas com esses elementos.
Por fim, o decodificador EnCodec, do qual Meta havia falado em ocasiões anteriores, foi aprimorado para criar sons com menos artefatos ou imperfeições.
As três ferramentas foram publicadas sob uma licença de distribuição gratuita com a qual qualquer pessoa pode aproveitar a tecnologia para usá-la em seus aplicativos ou para qualquer outra finalidade.
Eles estão disponíveis no repositório GitHub e no HuggingFace, onde você também pode acessar a demo do MusicGen.
Implicações e aplicações futuras
A Meta espera que a facilidade de uso, a qualidade pronta para uso e a consistência de longo prazo do AudioCraft promovam sua adoção entre os especialistas da área.
Ao fornecer a IA como software de código aberto, a Meta espera que os desenvolvedores usem o AudioCraft para treinar seus próprios modelos.
No entanto, a Meta também lançará versões pré-treinadas do modelo AudioGen, facilitando a criação de efeitos sonoros usando dados existentes.
Embora a adoção da tecnologia de código aberto da AudioCraft deva acelerar entre pesquisadores e entusiastas de IA, resta saber se ela enfrentará os mesmos desafios legais de ferramentas semelhantes no mercado.
