Wav2Lip: Präzise Sprach-Lippen-Synchronisation in Videos
Wav2Lip ist ein leistungsstarkes Tool, das in der Lage ist, Videos mit hoher Genauigkeit an eine Zielsprache zu synchronisieren. Dieses Repository enthält den Code für "A Lip Sync Expert Is All You Need for Speech to Lip Generation In the Wild", der auf der ACM Multimedia 2020 veröffentlicht wurde.
Kernfunktionen:
- Unterstützt die Synchronisation von Lippen zu jeder Identität, Stimme und Sprache.
- Verfügt über vollständigen Trainingscode, Inferenzcode und vortrainierte Modelle.
Grundlegende Verwendung:
- Um Videos zu synchronisieren, können Sie den Befehl
python inference.py --checkpoint_path <ckpt> --face <video.mp4> --audio <an-audio-source>verwenden. Das Ergebnis wird standardmäßig inresults/result_voice.mp4gespeichert.
Voraussetzungen:
- Python 3.6
- ffmpeg:
sudo apt-get install ffmpeg - Installation der notwendigen Pakete mit
pip install -r requirements.txt.
Hinweise für bessere Ergebnisse:
- Experimentieren Sie mit dem
--pads-Argument, um die erfasste Gesichtsbox anzupassen. - Verwenden Sie das
--nosmooth-Argument, wenn Probleme mit übermäßig geglätteten Gesichtsdetektionen auftreten. - Experimentieren Sie mit dem
--resize_factor-Argument, um ein Video mit niedrigerer Auflösung zu erhalten.
