Estimation de mouvement hierarchique robuste

Contacts: E Mémin, P Pérez

Description

L'estimateur de mouvement que nous avons développé est modélisé comme la minimisation d'une fonction d'énergie globale. Cette fonction d'énergie est classiquement composée d'un terme traduisant une conservation de la luminance dans le sens du mouvement et d'un terme de régularisation favorisant les solutions lisses. Ces deux termes mettent en jeux des estimateurs issus de la statistique robuste qui permettent d'une part, de s'affranchir des points où l'hypothèse de conservation de la luminance n'est absolument pas vérifiée (zones d'occultation par exemple) et d'autre part, de gérer de façon implicite les discontinuités spatiales du champ des vitesses. L'estimation proprement dite est effectuée dans le cadre d'un schéma multirésolution à l'aide d'un algorithme de type Gauss-Newton multigrille. Cette technique consiste à résoudre le problème de minimisation initial sur une succession de sous espaces emboités définis sur des grilles adaptatives et où les configurations sont contraintes à être paramétriques par morceaux. Pour un sous espace donné (ou niveau de grille), la minimisation est effectuée par un procédé itératif alternée.

Résultats

Nous présentons ici des résultats obtenus sur une séquence difficile présentant une fumée diffusant devant la caméra.

Séquence Smoke Grilles finales Champs de vecteur
Séquence Smoke Grilles d'estimation finales Champ de vecteurs estimés

Le tableau ci-dessous regroupe, sur la base du critère développé par Barron et. al ("performance of optical flow techniques" IJCV vol. 12 1994), les résultats obtenus sur la séquence Yosemite (sans le ciel). Ce critère de comparaison représente la moyenne et l'écart type d'une différence angulaire particulière entre le champ estimé et le champ réel.
Modèle Grilles régulières Grilles adaptatives;
Affine moy= 2.33, sigma= 2.12, tps = 43s moy= 2.19, sigma= 1.95, tps= 44s
Translationnel moy= 1.86, sigma= 1.32, tps = 74s moy= 3.29, sigma= 2.64, tps= 63s
Composé Affine +Translationnel moy= 1.80, sigma= 1.35, tps = 123s moy= 1.87, sigma= 1.50, tps= 94s

Les résultats obtenus pour d'autres algorithmes de calcul de champs denses sont rappelés ici:
Estimateur Résultats Références
Szeliski et Coughlan moy= 2.45 sigma= 3.05 "Hierarchical spline based image registration". CVPR'94
Black et Anandan moy= 4.46 sigma= 4.21 "Robust incremental optical flow", CVPR'92
Black moy= 3.52 sigma= 3.25 "Recursive non linear estimation of discontinuous flow field", ECCV'94
Black et Jepson moy= 2.29 sigma= 2.25 "Estimating optical flow in segmented images using variable-order parametric models with local deformations", PAMI vol. 18, 1996
Ju, Black et Jepson moy= 2.16 sigma= 2.0 "Skin and bones: multi-layer locally affine, optical flow and regularization with transparency", CVPR'96
Lai et Vemuri moy= 1.99 sigma= 1.41 "Reliable and efficient computation of optical flow", IJCV 29(2) 1998

Références

  1. E. Mémin et P. Pérez. A multigrid approach for hierarchical motion estimation. Int. Conf on Computer Vision, ICCV'98, pages 933-938, Bombay ,India, 1998. (postscript)
  2. E. Mémin et P. Pérez. Dense estimation and object-based segmentation of the optical flow. IEEE Trans. Image Processing, 7(5):703-719, 1998. (postscript)

Webmaster : vista_webmaster@irisa.fr
Last modified: Tue Feb 2 15:53:32 MET 1999