Meta Segment Anything Model 2
O Meta Segment Anything Model 2 é um modelo de segmentação inovador que traz diversas vantagens. Ele permite a seleção rápida e precisa de qualquer objeto em qualquer vídeo ou imagem.
Core Features:
- É o primeiro modelo unificado para segmentação de objetos em imagens e vídeos.
- Permite a seleção de um ou vários objetos em um quadro de vídeo com uso de prompts adicionais para refinar as previsões.
- Capaz de um desempenho robusto de zero-shot para objetos, imagens e vídeos não vistos anteriormente durante o treinamento do modelo.
- Projetado para processamento eficiente de vídeo com inferência em streaming para permitir aplicações interativas em tempo real.
- Supera os melhores modelos do campo na segmentação de objetos em vídeos e imagens.
Basic Usage:
- Você pode usar um clique, uma caixa ou uma máscara como entrada para selecionar um objeto em qualquer imagem ou quadro de vídeo.
- Com apenas um clique em um quadro, é possível rastrear um objeto em qualquer vídeo interativamente e criar efeitos divertidos.
O modelo estende a capacidade de solicitação do SAM para o domínio de vídeo, adicionando um módulo de memória por sessão que captura informações sobre o objeto de destino no vídeo. Isso permite que o SAM 2 rastreie o objeto selecionado em todos os quadros de vídeo, mesmo que o objeto desapareça temporariamente da vista, pois o modelo tem o contexto do objeto dos quadros anteriores.
