L'adaptatif et le social, plus que jamais pour l'apprentissage musical !

L'adaptatif et le social, plus que jamais pour l'apprentissage musical !

par FreD Martin, Expert "IA, Musique et Son"

Exit les tutos et autres partitions aussi approximatives que leur pédagogie. On a bien rigolé avec RockBand ou la vraie guitare de Rocksmith, mais voilà, le manche nous résiste toujours. Dans quelques semaines, c'est "Guitar Social Club" qui pourrait être la gamme pour changer ! En route pour découvrir l'IA adaptative et sociale version 2025. Cette application nouvelle génération est made in France, en collaboration avec le CNRS(*). Une guitare à la main, j'ai peur de rien chantait Goldman ! 

Les générateurs d'IA musicale voudraient nous faire prompter, sans passer par la case pratique instrumentale. Et ça marche puisque Suno revendique déjà plus de 12 millions d'utilisateurs. Mais peut être rêve-t-on d'un autre clavier que celui d'un PC pour composer ou simplement jouer de la musique ? Toucher un piano, une guitare, une flute reste magique mais nécessite une initiation. Et ce n’est pas facile d'estimer quoi jouer et quoi travailler pour y arriver. Pourtant ce geste musical continue à faire envie alors voici comment l'IA nous aide et nous motive dans notre apprentissage musical.

"Maman, je sais faire une chanson en 3 minutes mais j'aimerais bien la jouer sur une vraie guitare". Cette phrase n'a rien de fictif. Au-delà de la valorisation auprès d'autrui, pratiquer un instrument apporte des sensations nouvelles et peut créer une relation émotionnelle avec un bout de bois, des cordes, des peaux, des cuivres... Le succès des conservatoires, des écoles de musique et professeurs particuliers confirment l'engouement à "savoir jouer". Depuis quelques années, les coachs virtuels et autres apps d'apprentissage viennent enrichir l'offre. L'IA apporte des retours personnalisés et vous corrige en temps réel sur une fausse note ou une mauvaise position. C’est le cas de Yousician : grâce à une conversion audio to midi (le son d’un signal audio est converti en note et en langage informatique MIDI) l’app analyse ce que vous jouez, en temps réel par le micro de votre téléphone. Les retours sont instantanés et ça fonctionne sur du note à note, sur la précision des notes jouées, sur leur justesse et sur la précision rythmique. Les conseils pour améliorer sa technique musicale prennent alors tout leur sens. Par contre, sur les accompagnements de morceaux et sur les accords, le résultat est moins probant. Peut être qu’avec un micro externe on gagnerait en efficacité ? 

L'IA va aussi permettre d’adapter son parcours pédagogique par des leçons qui répondent mieux à nos besoins. Les débutants apprécieront d’avoir une leçon parfaitement calibrée à leur besoin à un instant T. C’est presque le cas avec la plateforme Tonora : on s'approche d'une relation de coaching où votre prof suivra vos progrès sur l'instrument et vous proposera des exercices personnalisés. Ce service permet d’organiser les cours et les séances de travail des élèves, grâce à une couche de gamification. Quelle que soit l'app, la gamification renforce la motivation avec ce sentiment de tous progresser ensemble (la musique, au départ, on la faisait à plusieurs). Mais il n y a pas d’IA pédagogique embarquée, c’est toujours le professeur qui dispose du programme pédagogique. 

Et puis enfin, il y a des outils comme Chordify. Ici on veut faire travailler votre oreille en vous aidant à relever des accords à partir d'un mp3. Pas vraiment de pédagogie mais une aide intéressante qu’il faudra savoir manier pour en tirer parti.

Mais la nouvelle génération arrive. Dès le 15 janvier, après 2 ans de développement, quelques levées de fonds (100+KE) et de jolis soutiens (HDFID : Fond Régional Innovation, BPI : lauréat de la bourse Frenchtech Émergence, label Deeptech), Guitar Social Club apportera une nouvelle réponse à cette difficulté majeure : proposer des suggestions adaptées aux gouts et au niveau de l'utilisateur. Car la joie d’apprendre passe tout d’abord par la liberté de choisir la musique que l’on aime. Autant pour le piano classique des solutions existaient (évaluation automatique du niveau de difficulté à partir de l'image d'une partition musicale), mais rien pour la guitare des musiques actuelles. 

Nous avons testé la beta qui sortira le 6 novembre et elle confirme le mvp de décembre 2023. Le potentiel de la personnalisation est là mais pas encore le social. C'est agréable de voir par exemple, que lorsqu’un enchainement d’accord est maitrisé, l’app propose tous les titres qu’on pourra dorénavant jouer. En terme de pédagogie, l'app nous indique alors ce que l’on sait déjà faire au sein de prochains morceaux suggérés. C’est encourageant car on se voit progresser au fur et à mesure que l’on apprend de nouveaux morceaux. Ces informations peuvent intéresser un élève mais aussi un professeur qui l’accompagnerait en se faisant assister par l’app.

Pour susciter l’intérêt de l’utilisateur, il lui faudra définir ses préférences musicales et donc les morceaux que l’on voudra savoir jouer. On like des parties de morceaux que l’on aime et l’on voit dans son programme pédagogique ces morceaux apparaitre dès que l’on est en mesure de les jouer. On se voit donc proposer des vidéos adaptées à son niveau et à son goût grâce à des algorithmes avancés et des modèles sophistiqués. Il s’agit ici  d’apprendre à son propre rythme, dans le style de la musique que l’on aime et de baigner dans une « interaction sociale autour de la guitare ». Pour l’instant, avouons que c’est timide car ce ne sont que des masterclass mensuels où les abonnés posent leur question et on ne voit pas très bien comment gérer une montée en charge de ce « relais dans leur apprentissage ». La partie communautaire démarre aussi doucement : proposer les morceaux que l’on veut apprendre ou répondre aux sondages sur les choix des évolutions de l’app. Pour l’instant, le partage de vidéos réalisées par les utilisateurs au sein de l’app n’est pas encore prêt ni la diffusion sur les réseaux sociaux. Donc pas encore de vrais échanges entre musiciens, on a la Guitare mais pas le Social Club. Et c’est précisément une des forces de l’adaptatif : créer du lien social car avoir chacun un parcours différent fait parler autour de la machine à café (en entreprise) ou dans un studio de répétition ou chez son prof (dans un contexte musical).

D’un point de vue pédagogique, la nouveauté vient d'un modèle pour évaluer la difficulté d'apprentissage d'un morceau et le niveau d'un instrumentiste par une approche empirique multicritères. Cela s’applique avant tout à la guitare d’accompagnement rythmique pour vaincre les satanés accords barrés !

Le niveau de difficulté est identifié par la complexité et la rareté d’un accord, par son doigté, par la façon dont l’accord est joué (gratté !). Cette identification va encore plus loin en considérant l’accord au sein d’une suite harmonique ou la répétitivité des changements d’accords ou encore la vitesse de ces transitions. Les deux dernières colonnes correspondent à la difficulté de la partie à jouer telle que perçue par un professeur de guitare et pour la dernière colonne à un score semi-automatique. Pour arriver à ce résultat, il en a fallu des discussions guitaristiques pour in fine entraîner le modèle développé en Python. Le CNRS a été important pour éduquer les algorithmes puis donner du sens avec des variables de styles. La diffusion est sous licence libre (algomus.fr/code) ainsi que le corpus de 526 parties de chansons (algomus.fr/data) réparties en catégories pop, rock, musique du monde, Funk/Soul/R&B, Blues et Radio. On imagine que la salsa que l’on entent en prononçant le nom de l’application se trouve dans musique du monde !

Concernant le contenu et le cœur de la ressource pédagogique, c’est une banque de 4500 vidéos francophones qui sont de bonne facture aussi bien sur l’audio que sur la qualité de l’image et des prises de vue.

A date, la limite de l’app (et du modèle) vient de l’évaluation. Ici pas d’analyse par le microphone de votre appareil mais simplement une déclaration manuelle de l’élève. Cette subjectivité n’est pas simple à gérer : l’élève se sur ou sous évalue-t-il ? De plus, on peut savoir jouer une musique alors que son niveau de maîtrise n’est pas celui supposé du modèle. Yohann Abbou, fondateur, précise qu’un professeur de guitare serait en mesure de déceler une telle différence mais aujourd’hui aucune technologie ne permet à l’application de le faire avec précision. 

Si l’évaluation n’est pas assez précise, la recommandation tombera à côté ! Mais il faut être honnête envers soi même lorsqu’on apprend. Et pour la guitare, c’est assez simple : soit on arrive à jouer sur le playback soit on n’y arrive pas. 

Les modèles de corrections actuel audio to midi n’étant pas efficace, Yohann nous a également confié travailler sur un nouveau modèle permettant une correction pointue et évolutive… A notre avis, on s’oriente vers un dispositif mixant hardware et software pour fin 2025 et il se pourrait que PIA4 (France 2030) ait un rôle à jouer.

On voit donc que l’IA adaptative et sociale améliore les outils de suggestion. On ressent bien que Guitar Social Club, une des premières apps dans ce sens, voudrait raviver le feu autour duquel on jouait et chantait ensemble. Reste à créer cette interaction sociale tant annoncée et qui serait un bond pour rompre l’isolement de l’utilisateur qui tente d’apprendre la guitare tout seul derrière son écran. Entre 15 et 25 euros mensuels, cette app booste la motivation et nous emmènera certainement vers des émotions et une émulation collective. Sans démonstration ni débordement technologique, l’utilisation de l’IA est fluide et mature ce qui permet de rester naturellement concentré sur sa guitare. Pour les professeurs ou les écoles de musique, c’est une assistance qui apporte une diversification pédagogique fort bien venue dans un contexte d’apprentissage d’un instrument de musique. Et si on déclinait cette expérience d’apprentissage pour de la cuisine, pour du sport… Cette application met l’accent sur la personnalisation et le lien social… grâce à l’IA, ce que certains trouvent encore paradoxal.

(*) CNRS, UMR 9189 CRIStAL, Université Lille, Inria, France - Directeurs de Recherche : Mathieu Giraud et Alexandre D'Hooge - http://cnrs.magiraud.org/