Dá para descobrir automaticamente como descrever um som?

EDS no reconhecimento de acordes · 2005–2006

O EDS (Extractor Discovery System), da Sony CSL, propõe descobrir descritores de áudio automaticamente. Com François Pachet e Jean-Pierre Briot, Cabral fez a primeira parte da validação: Automatic X Traditional Descriptor Extraction: the Case of Chord Recognition (ISMIR 2005, Londres; zenodo.1415701, hal-01416436) compara as abordagens clássicas com o sistema operado por um usuário sem experiência, construindo um reconhecedor de acordes de violão. A continuação é Recognizing Chords with EDS: Part One (CMMR 2005, Pisa; LNCS 3902, Springer, 2006; doi.org/10.1007/11751069_17, hal-01336914). O trabalho irmão do mesmo ano é Impact of Distance in Pitch Class Profile Computation (10º SBCM 2005; hal-01416428, PDF nos anais). É o primeiro trabalho do doutorado em conferência internacional.

Descritores analíticos para harmonia e ritmo · 2007

Com a equipe do IMPA — Sergio Krakowski e Luiz Velho — e com Pachet, Pierre Roy e Briot: Analytical Features to Extract Harmonic or Rhythmic Information (11º SBCM 2007; hal-01305977, PDF nos anais) e o relatório técnico Some Case Studies in Automatic Descriptor Extraction (Rio de Janeiro, 2007).

HarmIn · 2007

Ferramenta de análise de progressões harmônicas, aplicada à obra de Tom Jobim a partir do Cancioneiro Jobim, com o musicólogo Robert Willey (University of Louisiana at Lafayette). As progressões viram um grafo de transições entre acordes disposto sobre o círculo de quintas, com a espessura de cada aresta proporcional à frequência no repertório — os caminhos harmônicos recorrentes de um compositor ficam visíveis. Analyzing Harmonic Progressions with HarmIn: the Music of Antonio Carlos Jobim recebeu o prêmio de melhor artigo técnico de estudante do 11º SBCM (São Paulo, 1 a 3 de setembro de 2007), segundo a página do simpósio; o Lattes anota "Best paper prize" no registro. PDF nos anais. Em 2026 a ferramenta voltou como skill portátil, que monta a matriz de transição no círculo de quintas para o artista que se pedir.

Áudio como comando de jogo · 2008–2010

Mapping Sounds into Commands (AES 35th International Conference: Audio for Games, Londres, 2008) e The Acoustick: Game Command Extraction from Audio Input Stream (SBGames 2010), com Roberto Cássio Júnior. Os dois estão em acervos sem link aberto.

Audio Alerta — áudio-monitoramento para segurança pública · 2010–2014

Na UFRPE, o problema passou a ser detectar automaticamente tiro, grito, batida, som ambiente e silêncio a partir de microfones. Foi o objeto da bolsa de Produtividade em Desenvolvimento Tecnológico do CNPq (2011–2014), do projeto CNPq "Audio Monitoramento para Segurança Pública" (2010–2013) e do projeto FACEPE "Classificação Automática de Áudio para Monitoramento de Espaços Públicos" (edital 11/2011, 2012–2014). Saíram dali a dissertação de Dalton Francisco de Araújo, Busca como sistema de apoio à melhoria de classificadores automáticos de áudio (UFRPE, 2012, bolsa FACEPE), e os softwares Audio Alerta (2012) e Audio Alerta — segurança privada (2013), com Márcio Dahia, Roberto Cássio Júnior, Ivo Frazão e Raphael Holanda.

Geração evolutiva de características acústicas · 2014–2019

O projeto de produtividade "Meta-Busca em Classificadores de Áudio e de Dados para Segurança, Entretenimento e Educação" (2014–) tratou de gerar a característica acústica em vez de escolhê-la à mão. Com José Antonio Alves Menezes e Bruno Gomes, o resultado em periódico é Feature Learning with Multi-objective Evolutionary Computation in the generation of Acoustic Features (Inteligencia Artificial — IBERAMIA, v. 22, n. 64, 2019; doi.org/10.4114/intartif.vol22iss64pp14-35).

Medir o progresso do MIREX · 2016

O MIREX é a arena de avaliação da recuperação de informação musical desde 2005. Com Ricardo Scholz e Geber Ramalho, o trabalho compila seis anos de resultados, propõe um índice configurável de tendência de evolução por tarefa e discute hipóteses para a estagnação de algumas: Cross Task Study on MIREX Recent Results: an Index for Evolution Measurement and Some Stagnation Hypotheses (ISMIR 2016, Nova York; zenodo.1416898). É o único trabalho do currículo sobre a metaciência da própria área.

Refrão, transcrição e podcasts · 2014–2021

Detecção de refrão por intensidade, com Renato Celso Santos Rodrigues (15º SBCM 2015; dissertação coorientada em 2016); pós-processamento de transcrição de acordes, com Uraquitan Cunha (12ª AES Brasil, 2014); predição de popularidade de podcast a partir de metadados, conteúdo e áudio, dissertação de Luiz Delando Santos Moreira Júnior (2021).

O Chord Detection Challenge de 2021, com a Moises.ai, e a disciplina Computação Musical, em que a recuperação de informação musical é um dos quatro blocos do programa.