Polymath: Uma Ferramenta Inovadora para Produtores Musicais
Polymath é uma ferramenta impressionante que utiliza a aprendizagem de máquina para converter qualquer biblioteca musical, seja de um disco rígido ou do YouTube, em uma biblioteca de amostras para produção musical. Com ela, as músicas são automaticamente separadas em partes (batidas, baixo, etc.), quantizadas para o mesmo ritmo e grade de batida (por exemplo, 120 bpm), analisadas quanto à estrutura musical (versos, refrões, etc.), chave (por exemplo, C4, E3, etc.) e outras informações (timbre, intensidade, etc.), e convertidas de áudio para MIDI.
Recursos Principais
- Separação de Música: Realizada com a rede neural Demucs.
- Segmentação e Rotulagem de Estrutura Musical: Utiliza a rede neural sf_segmenter.
- Rastreamento de Pitch e Detecção de Chave: Emprega a rede neural Crepe.
- Transcrição de Música para MIDI: Realizada com a rede neural Basic Pitch.
- Quantização e Alinhamento de Música: Usa o pyrubberband.
- Recuperação e Processamento de Informações de Música: Utiliza o librosa.
Como Usar Para começar a usar o Polymath, você precisa ter o software ffmpeg instalado no seu sistema. Além disso, é necessário ter a versão do Python entre 3.7 e 3.10. Siga os seguintes passos:
- Clone o repositório:
git clone https://github.com/samim23/polymath - Navegue para o diretório:
cd polymath - Instale as dependências:
pip install -r requirements.txt
Se você encontrar problemas com o basic-pitch ao tentar executar o Polymath, execute o seguinte comando após a instalação: pip install git+https://github.com/spotify/basic-pitch.git
Além disso, a maioria das bibliotecas usadas pelo Polymath possui suporte nativo a GPU através da CUDA. Siga as etapas em para configurar o TensorFlow para uso com CUDA.
Casos de Uso O Polymath torna fácil combinar elementos de diferentes músicas para criar novas composições únicas. É possível pegar uma batida de uma faixa de Funkadelic, uma linha de baixo de uma música de Tito Puente e trompetes adequados de uma música de Fela Kuti e integrá-los rapidamente em seu DAW. Além disso, usando a capacidade de pesquisa do Polymath, é simples criar um set de mash-up polido de uma hora para DJs. Para desenvolvedores de ML, o Polymath simplifica o processo de criação de um grande conjunto de dados musicais para treinamento de modelos gerativos, entre outras aplicações.
