Clips AI - Die Lösung für Video-Repurposing
Clips AI ist eine beeindruckende Open-Source-Python-Bibliothek, die sich auf die automatische Umwandlung von langen Videos in Clips spezialisiert. Mit nur wenigen Codezeilen können Sie ein Video in mehrere Clips segmentieren und das Seitenverhältnis von 16:9 auf 9:16 ändern.
Core Features:
- Die Clips werden anhand des Video-Transkripts gefunden. Zunächst muss das Video transkribiert werden, was mit WhisperX erfolgt, einem Open-Source-Wrapper für Whisper mit zusätzlichen Funktionen zur Erkennung von Start- und Endzeiten für jedes Wort.
- Die Resizing-Funktion nutzt Pyannote für die Sprecher-Diarisierung und ermöglicht es, das Video dynamisch neu zu rahmen und auf den aktuellen Sprecher zu fokussieren, um verschiedene Seitenverhältnisse zu erzielen.
Basic Usage:
- Für die Erstellung von Clips muss zuerst die Transkription vorgenommen werden. Anschließend können die Clips mit der ClipFinder-Klasse gefunden werden.
- Beim Resizen eines Videos ist ein Hugging Face Access Token erforderlich. Die Anleitung hierfür finden Sie auf der Pyannote HuggingFace-Seite.
Clips AI ist besonders für audiozentrierte, narrativ basierte Videos wie Podcasts, Interviews, Reden und Predigten geeignet.
