Spotify n'étiquetera pas la musique AI, donc des tiers la catégorisent

Crédit photo : Pawel Czerwinski

Spotify a un gros problème de perte de musique avec l'IA. Des bases de données de suivi tierces sont intervenues pour combler le vide causé par l'inaction de longue date de la plateforme.

Ce n'est un secret pour personne que Spotify a un gros problème de musique avec l'IA. Le leur est sans doute pire que celui de ses rivaux, car la plateforme n'a pas suivi et étiqueté les pistes générées par l'IA comme d'autres streamers tels que Deezer ou même YouTube. Cela a généré beaucoup de confusion parmi les auditeurs et de frustration parmi les artistes. Désormais, des sites de suivi tiers tentent de combler le vide créé par l'inaction de longue date de Spotify.

L'un de ces trackers, SoullessMusic.com, est une base de données autoproclamée pour “les artistes IA se cachant sur Spotify. Pas de groupes, pas de studios, pas d'âme, juste des machines et de la mélodie”. Là-bas, des sensations virales telles que le groupe R&B assisté par l'IA Slime Dot sont identifiées comme « presque certainement une IA » sur la base d'une analyse telle qu'un flot de morceaux sur une courte période.

“Je ne savais pas ce qu'était l'IA et ce qui ne l'était pas”, a déclaré Graeme Fulton, créateur de SoullessMusic, dans un déclaration à 404 Médias. « Et puis je suis sur Instagram Reels et je vois plein d'artistes mécontents, disant que certains l'artiste est apparu avec sa chanson et vient de la copier. Et il existe de nombreux cas différents où (les artistes IA) copient le look et l'apparence d'un artiste, (…) en quelque sorte, ils volent simplement les artistes.

Il existe également SlopTracker, où les utilisateurs peuvent copier/coller des liens vers des pistes Spotify pour les exécuter via un outil qui détermine, avec différents degrés de confiance, si une chanson a été générée presque entièrement avec l'IA. Comme SoullessMusic, SlopTracker a également découvert que le hit « Fully » de Slime Dot était « susceptible à 95 % » d'être généré par Suno.

Mais même s’appuyer sur des tiers pour identifier les pistes IA et assistées par IA n’est pas infaillible, puisque certains artistes IA et assistés par IA peuvent avoir des difficultés à être inclus sur des sites comme SlopTracker et SoullessMusic. SlopTracker avait précédemment identifié le projet Georgia Phantom, ouvertement assisté par l'IA, comme étant probablement une IA, mais ce projet n'apparaît notamment plus sur le site après qu'un avis de cessation et d'abstention ait été envoyé à SlopTracker.

La personne derrière le projet Georgia Phantom a également envoyé une demande similaire à Actualités sur la musique numérique pour notre couverture précédente de SlopTracker en mars. À l’époque, Georgia Phantom figurait parmi les dix meilleurs artistes IA et assistés par l’IA qui drainent le pool de redevances Spotify. Alors que SlopTracker a répondu à l'avis juridique en supprimant Georgia Phantom du site « en raison d'une grande prudence », SoullessMusic ne l'a pas fait. Il convient de souligner que SoullessMusic répertorie toujours Georgia Phantom parmi leur base de données et les identifie comme « presque certainement IA » à 99 %.

Crédit photo : Actualités de la musique numérique

Que les artistes choisissent d'utiliser des plateformes d'IA générative comme Suno ou Udio n'est pas en cause ici : c'est le manque de transparence qui conduit à des plateformes comme Spotify hébergeant de la musique qui n'a pas été correctement identifiée. Les auditeurs méritent de savoir ce qu'ils écoutent, tout comme les artistes méritent de ne pas avoir à se soucier d'une version décalée de leur chanson, assistée par l'IA. voler leurs redevances de streaming.

C'est là qu'interviennent les bases de données de suivi. Ce n'est pas un processus sans faille ; comme 404 Médias souligne que SoullessMusic et SlopTracker utilisent l’IA et d’autres outils automatisés pour détecter la musique IA. L’utilisation de détecteurs d’IA pour détecter le contenu de l’IA est un processus intrinsèquement défectueux et peut conduire à des faux positifs.

Cependant, le manque de transparence de Spotify concernant la musique générée par l'IA sur sa plateforme a rendu impossible le suivi de combien d'argent il gagne – et combien d'argent les artistes perdent – ​​sur la plateforme. L'année dernière, Spotify a annoncé qu'il ajouterait Divulgations de l'IA sur la musique générée par l'IAmais cela semble être encore en phase de test et n’a pas été largement déployé.

C'est particulièrement embarrassant pour le streamer, étant donné qu'Udio et Suno, sans doute les plus grands noms de la scène, incluent le filigrane numérique dans leur génération. Cela rend théoriquement assez simple l’identification et l’étiquetage.

À mesure que la musique générée par l’IA devient plus courante, les plateformes et les labels investissent dans des moyens de la distinguer des morceaux créés par l’homme. L’objectif ici n’est pas simplement « ce morceau semble-t-il synthétique ? » mais « pouvons-nous retracer comment et éventuellement à partir de quelle source » a généré ladite trace. SlopTracker et Soulless Music s'appuient tous deux sur ces processus pour identifier si un morceau est uniquement Généré par l'IA ou assisté par l'IA avec une contribution humaine.

Trois idées clés alimentent la détection musicale moderne par l'IA, notamment les vocodeurs et leurs artefacts ; les fausses empreintes, qui sont des signatures spectrales compactes de la génération d'IA ; et « empreintes neuronales » pour la détection des droits d'auteur et des œuvres dérivées.

La plupart des systèmes de conversion texte-musique avancés tels que Suno, Udio, MusicGen et d'autres outils similaires ne produisent pas d'audio brut directement à partir d'un grand langage ou d'un modèle de diffusion. Au lieu de cela, ils génèrent une représentation interne, puis transmettent cette représentation via un vocodeur neuronal ou un codec audio neuronal pour reconstruire une forme d'onde à pleine fréquence d'échantillonnage.

Les vocodeurs sont puissants, mais pas parfaits. Ils s’appuient sur des couches de déconvolution et de suréchantillonnage pour passer des latents à faible débit à l’audio à haut débit. Ces choix de conception laissent derrière eux des empreintes de fréquence prévisibles et spécifiques au modèle, telles que de petits pics réguliers et des ondulations dans le spectre provoquées par des modèles de foulée de déconvolution ou de subtils modèles de type « grille » qui n'apparaissent généralement pas dans les enregistrements et les mixages humains. Des recherches ont montré que ces empreintes digitales du vocodeur sont suffisamment puissants pour distinguer l’IA de l’audio humain et pour identifier quel modèle de vocodeur a généré un clip.

Si les artefacts du vocodeur sont les marques physiques de la musique générée par l’IA, alors une fausse impression est un résumé distillé et lisible par machine de ces marques. Un pipeline de fakeprint typique fonctionne comme ceci : calculez un spectre moyen sur la piste, soustrayez l'enveloppe inférieure de ce spectre, puis concentrez-vous sur la bande 1-8kHzoù les artefacts du vocodeur neuronal ont tendance à être les plus importants. Encodez ce spectre traité en tant que vecteur de caractéristiques. Cette fausse impression est introduite dans un classificateur qui a été formé sur la vraie musique humaine par rapport à la musique générée par l'IA à partir de plates-formes spécifiques. Le score obtenu indique la probabilité que la piste soit générée par l'IA, parfois ventilé par famille de générateur suspectée.

Alors que la détection basée sur le vocodeur demande « est-ce que cela a été réalisé par un modèle d'IA ? Les empreintes neuronales posent une question différente : « ce morceau contient-il du matériel musical dérivé d'œuvres humaines spécifiques ? » Ce concept est au cœur de l’application des droits d’auteur alors que des labels comme UMG et Sony déploient cette technologie.

Un système moderne de détection de musique par IA peut combiner plusieurs signaux, notamment l’analyse du vocodeur/fakeprint, la correspondance des empreintes neuronales et l’analyse statistique et structurelle. Le résultat est rarement une simple question par oui ou par non : « est-ce que cette piste est IA ? » Au lieu de cela, les plateformes émettent un score de confiance allant de 0,0 = très probablement humain à 1,0 = très probable IA. Pour les pistes assistées par l'IA, la répartition peut ressembler à 0,6, ce qui signifie 60 % générés par l'IA, 40 % par l'humain.

Bien entendu, aucun mode de détection n’est infaillible à 100 % et le rythme de développement de l’IA signifie que la détection des traces générées par l’IA constitue une course aux armements. À mesure que les générateurs de musique IA adoptent une nouvelle architecture ou des vocodeurs, les anciens détecteurs peuvent perdre en précision et nécessiter un recyclage. Une remasterisation intensive, un égaliseur extrême et un blanchiment en plusieurs étapes des pistes générées par l'IA peuvent également affaiblir les signaux d'empreintes digitales, bien que des trackers robustes soient formés pour gérer ces pistes de manipulation courantes.

Le plus grand risque est peut-être de qualifier à tort la musique créée par l’homme d’IA, ce qui peut nuire aux artistes. Concevoir des seuils fiables pour détecter la musique générée par l’IA reste un défi de recherche actif à mesure que les modèles d’IA évoluent continuellement. Dans le même temps, les empreintes neuronales pour la détection des droits d'auteur deviennent de plus en plus sophistiquées en utilisant des modèles de base musicale (comme MuQ, MERT) pour améliorer la robustesse face aux modifications à petite échelle telles que les changements de tempo, les changements de hauteur, la compression et d'autres distorsions du monde réel. Mais Spotify doit rattraper son retard car contrairement à ses concurrents, il n'étiquete pas explicitement l'IA ou la musique assistée par l'IA.

“Nous utilisons une approche à plusieurs niveaux qui combine l'application, le contrôle des artistes et une plus grande transparence”, a déclaré Spotify. 404 Médias. « Au cours de l'année écoulée, nous avons introduit des politiques ciblant les comportements nuisibles liés à l'IA, comme le spam, imitationet contenu trompeurainsi que de nouveaux outils qui donnent aux artistes plus de contrôle et aux auditeurs plus de contexte.

« Il s’agit notamment de Verified by Spotify, qui aide les auditeurs à identifier des profils d’artistes authentiques ; de AI Credits, où les artistes révèlent quand et comment l’IA a été utilisée dans la création de leur musique (…) ; et Protection du profil de l'artistece qui donne aux artistes plus de contrôle sur ce qui apparaît sur leurs profils. Nous continuons à bâtir sur ces efforts.

Mais la protection du profil d'artiste exige que les artistes s'inscrivent. AI Credits exige que les artistes divulguent leur utilisation de l’IA. Verified by Spotify est, du moins en apparence, soumis à un processus de sélection assez rigoureux.

Cela revient à agir trop peu, un peu trop tard. Plus tôt ce mois-ci, le concurrent de Spotify, Deezer, pionnier dans la détection et l'étiquetage du contenu généré par l'IA, a déclaré : près de la moitié de toute la nouvelle musique téléchargée sur sa plateforme est désormais générée par l'IA. Ce nombre ne fait qu'augmenter, ce qui a poussé Deezer à commencer à démonétiser certains titres.

SlopTracker affirme que la musique générée par l'IA sur Spotify et présentée sur les listes de lecture officielles organisées par Spotify « draine » 0,1188 $ par seconde des vrais artistes. Ce nombre devrait également augmenter.