Como um sistema de IA pode gerar, ao vivo, o acompanhamento de um músico?

D'Accord Guitar · 2001

O problema era ir da cifra à execução: escolher as posições no braço do violão, modelar a mão do violonista e animar a performance para quem está aprendendo. O sistema saiu do projeto "Agentes Inteligentes para Ambientes Complexos: estudo do acompanhamento musical em tempo real" (1999–2001, responsável Geber Ramalho) e deu origem à dissertação de mestrado de Giordano Cabral no CIn, D'Accord Guitar: um Sistema de Execução Violonística (2002, orientador Geber Ramalho, bolsa CNPq). Quatro trabalhos descrevem o sistema, com Izabel Zanforlin, Hugo Santana, Rodrigo Lima e Geber Ramalho: Da Cifra para o Braço e Playing Along with D'Accord Guitar (VIII SBCM 2001, Fortaleza), Modelagem da Execução Musical em Violão e Guitarra (ENIA 2001) e D'Accord Guitar: an Innovative Guitar Performance System (Journées d'Informatique Musicale, Bourges, 2001; hal-02987455). O software D'Accord Violão Player (2001) e a empresa D'Accord Music Software vieram dele. Os PDFs do SBCM estão nos anais: pesquisa e discussão.

Acompanhamento rítmico por padrões · 2004

Using Patterns to Generate Rhythmic Accompaniment for Guitar gera o acompanhamento a partir de padrões extraídos de execuções reais. A equipe tinha um etnomusicólogo, Carlos Sandroni, ao lado de Márcio Dahia, Hugo Santana, Ernesto Trajano e Geber Ramalho. Sound and Music Computing / JIM 2004, Paris; hal-03354323, zenodo.849240. O trabalho antecede a tese e parte do D'Accord Guitar.

Parsing incremental · 2005–2006

Com Jean-Pierre Briot e François Pachet, Cabral adaptou o algoritmo IP — continuação de frases musicais em tempo real — a sistemas de acompanhamento: Parsing incremental para acompanhamento em tempo real (10º SBCM, Belo Horizonte, 2005; hal-01416429, PDF nos anais) e Incremental Parsing for Real-Time Accompaniment Systems (FLAIRS 2006, trilha de IA em música e arte; hal-01338563, PDF).

Harmonisation automatique en temps réel — a tese · 2008

Doutorado no LIP6, Université Pierre et Marie Curie (Paris 6), equipe SMA — Systèmes Multi-Agents, de 2003 a 2008, com bolsa CAPES. Codireção de Jean-Pierre Briot (LIP6) e François Pachet (Sony Computer Science Laboratory, Paris); de 2003 a 2007 o trabalho foi feito junto à equipe da Sony CSL. A tese define o système d'harmonisation automatique en temps réel: uma aplicação que acompanha uma melodia, possivelmente improvisada, encontrando a harmonia adequada sobre uma rítmica fixa, com informação parcial e influência mútua entre sistema e usuário. O método estende técnicas de recuperação de informação musical para trabalhar direto no sinal acústico, em experimentos por ciclo de desenvolvimento; o resultado é um framework de soluções avaliado contra músicos humanos, e uma solução simples superou todas as outras, inclusive as mais complexas. Defesa em 09/07/2008, menção très honorable; júri de Jean-Pierre Briot, François Pachet, Myriam Desainte-Catherine e Sergi Jordà (relatores), Jean-François Perrot e Geber Ramalho. Registro NNT 2008PA066236 em theses.fr; resumo e júri na ficha do LIP6. Não há PDF em acesso aberto.

Ramin · 2008–2009

O framework da tese ganhou nome e software: Ramin: A Framework for Real-Time Improvised Accompaniment and Harmonization (IEEE International Symposium on Multimedia, Berkeley, 2008) e o programa "Ramin, um Sistema de Harmonização em Tempo Real" (2008), registrados no Lattes. No ano seguinte, Comparing Techniques for the Automatic Accompaniment of Audio Improvisation (IEEE ISM 2009, San Diego), com Briot, Pachet e Ramalho, comparou as técnicas de acompanhamento. Os dois artigos estão em anais fechados da IEEE, sem link aberto.

Capturing a Musician's Groove · 2015

Sete anos depois da tese, a colaboração com a Sony CSL voltou numa demonstração no IJCAI 2015, em Buenos Aires: Capturing a Musician's Groove: Generation of Realistic Accompaniments from Single Song Recordings, com Mathieu Ramona e François Pachet. Um motor de síntese concatenativa recebe a gravação de um intérprete tocando uma música e gera o acompanhamento de qualquer outra com aquele conteúdo. O cuidado está nos desvios temporais na borda dos trechos recortados, que fazem o groove: os acidentais são corrigidos e os intencionais, preservados. Resumo no IJCAI · PDF.

Brazyle · 2017

Software registrado no Lattes com François Pachet: uma base de estilo brasileiro ligada ao projeto Flow Machines, da Sony CSL. A Daccord declara, em sua página institucional, que a base "é utilizada no projeto Flow Machines". Do Flow Machines saiu o álbum Hello World (2018); na página de créditos do álbum, o nome de Cabral consta da lista de agradecimentos; o detalhe está em imprensa.

Chord Detection Challenge · 2021

Desafio aberto de detecção de acordes feito com a Moises.ai, com kick-off em 16/03/2021 e resultado em junho (portal do CIn, 09/06/2021). O artigo que avalia as tarefas de estimativa e alinhamento de acordes saiu no SBCM 2021, com Valter Jorge da Silva (doi.org/10.5753/sbcm.2021.19425).

Cabral coorientou o doutorado de Uraquitan Sidney Cunha sobre transcrição automática de acordes (registros de 2010 e 2015 no Lattes) e orientou os TCCs de Arthur Lubambo Peixoto Accioly (transcrição de acordes com fontes híbridas, 2017) e Bruno Tavares de Melo Gomes (chord following com dynamic time warping, 2018).

A linha de produto correlata é o iChords: motor de reconhecimento de melodia e harmonia (RHAE/CNPq, 2008–2010), iChords.Net (2008–2010), iChords Station (2011) e o aplicativo (2019), com os projetos do Banco do Nordeste e da FACEPE/Tecnova de 2019, sob responsabilidade de Rodrigo Pereira. É desenvolvimento tecnológico na Daccord, da qual Cabral é sócio-fundador.

Segue em: Recuperação de informação musical e na disciplina Computação Musical.