Wav2Lip: Sincronização Labial Precisiva para Vídeos
O repositório Rudrabha/Wav2Lip contém os códigos de "A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild", publicado no ACM Multimedia 2020. Esta ferramenta permite a geração de vídeos com sincronização labial de alta precisão para qualquer identidade, voz e idioma. Também funciona para rostos CGI e vozes sintéticas.
Recursos disponíveis:
- Código completo de treinamento, inferência e modelos pré-treinados.
- Notebook Colab para um início rápido.
- Vários benchmarks e métricas de avaliação confiáveis.
Instruções de uso:
- Instalar os pacotes necessários com
pip install -r requirements.txt. - Baixar o modelo de detecção de face pré-treinado.
- Usar o comando
python inference.pypara realizar a sincronização labial de vídeos.
Treinamento:
- O modelo é treinado no conjunto de dados LRS2.
- Existem etapas para treinar o discriminador de sincronização labial especialista e o modelo Wav2Lip.
