Vincent Auvray - Contributions (Retour)


Bref apercu de la problèmatique de l'estimation de mouvements transparents

Bien que ce problème soit très spécifique, il a intéressé une communauté restreinte mais dynamique de chercheurs. Ils parlent d'ailleurs assez peu d'applications médicales mais se concentrent sur des séquences vidéos dans lesquelles la transparence apparait par des réflections dans des miroirs, ou par des mouvements derrière des objets translucides.


Modèle des couches

Exemple de transparence dans des images vidéos

Nous distinguons trois types d'approches:

    Adaptation partielle d'estimateurs de mouvements classiques. Il arrive que la transparence apparaissant dans les vidéos puisse etre adressée par des méthodes ne la modélisant pas explicitement. Lorsque le phénomène est assez marginal et dévie peu des hypothèses de conservation de l'intensité, des méthodes d'estimation suffisamment robustes, telles que celles de Black et Anadan (The robust estimation of multiple motions: parametric and piecewise smooth flow field) ou d'Irani et Peleg (Motion analysis for image enhancement: resolution , occlusion and transparency) peuvent suffire à appréhender le phénomène.
    Elles ne fonctionnent cela dit que sur des images transparentes particulières, et ne peuvent pas prétendre à donner des estimations fiables dans le cas général.
    Détection de plans dans l'espace de Fourier 3D. Shizawa et Mase (Principle of superposition: a common computational framework for analysis of multiple motions) remarquent que la transformée de Fourier 3D d'une séquence transparente où les couches sont en translation constante est composée de différents plans, un par couche. Leur orientation permet d'estimer les mouvements transparents, et les valeurs de ces plans permettent, théoriquement du moins, de remonter aux niveaux de gris des différentes couches.
    Différentes méthodes ont été proposées pour détecter les plans: citons Pingault et Pellerin (Motion estimation of transparent objects in the frequency domain) et Yu, Sommer et Daniilidis (Multiple motion analysis in spatial domain or in spectral domain?).
    Cependant, ces approches ont l'inconvénient rédhibitoire de notre point de vue de nécessiter un mouvement translationnel constant à l'échelle d'un dizaine d'images. A la cadence vidéo, cela représente une demie-seconde, soit un demi-cycle cardiaque.
    Estimation de mouvements transparents dans l'espace direct. Pingault et Pellerin ( Optical flow constraint equation extended to transparency) établissent un équivalent à la conservation de l'intensité qui nécessite que les mouvements soient constants à trois dates successives seulement (dans le cas de deux couches).
    Ainsi, considérons une séquence de trois images successives I(p,t) composée de deux couches se déplaçant aux vitesses u(p,t) et v(p,t). p désigne un pixel, et t la date. En supposant donc les vitesses constantes entre t-1 et t+1:

    De nombreuses méthodes d'estimation classique ont été adaptées à la transparence en remplacant la conservation de l'intensité par cette équation. Il peut s'agir de mise en correspondance par bloc (Stuke, Aach, Mota et Barth, Estimation of multiple motions using block-matching and random Markov fields), d'estimations de champs sur des bases de splines (Pingault, Bruno, Pellerin, A robust multi-scale B-spline function decomposition for estimating motion transparency) ou de recherche de champs denses via un formalisme markovien (Stuke, Aach, Mota et Barth, Estimation of multiple motions using block-matching and random Markov fields).
C'est donc dans la continuité de ces dernières approches que nous nous placons. Etant donnée le type d'application que nous considérons, nos priorités sont de développer un estimateur qui soit d'abord robuste au bruit, et qui demande ensuite une puissance de calcul modérée (car le filtre débruiteur visé devrait à terme tourner en temps réel). (Retour)

Nos travaux en situation de bitransparence

Nous avons dans un premier temps imaginé un mécanisme de formation d'images synthétiques respectant la physique de formation des images par rayons X, afin de pouvoir construire des séquences de test à vérité de terrain connue, sur lesquels évaluer nos estimateurs. (Plus)

Nous avons développé trois générations d'estimateurs de mouvement transparents adaptés au cas ou l'image est composée de deux couches transparentes (Et deux couches seulement!).

    Nos premiers travaux (présenté à GRETSI'05 et à ICIP'05) ne permettaient pas encore d'atteindre de précision intéressante sur des séquences cliniques réalistiquement bruitées.
    C'est pourquoi nous avons imaginé un deuxième algorithme, présenté à MICCAI'05. Pour etre autant robustes au bruit que possible tout en gardant des temps de calculs raisonnables, nous avons cherché à contraindre au maximum le problème. Des observations de nombreuses séquences réelles nous ont convaincu que les mouvements anatomiques (battements du coeur, dilatation des poumons, translation du diaphragme) pouvaient etre modelisés par des champs de déplacements affines.
    Ces travaux permettent d'atteindre une précision d'estimation de 0.75 et 2.85 pixels sur des images typiques d'examens diagnostiques et interventionnels respectivement.
    Nous avons alors proposé à ICIP'06 une évolution de cet algorithme, qui mene à des précisions de 0.6 pixels sur images diagnostiques et 1.2 sur images fluoroscopiques, ainsi que des exemples réels.
(Plus) (Demos)

Champs de mouvements estimés sur une portion d'examen cardiaque en situation de bi transparence.

Nos travaux en situation de bitransparence distribuée

Nos contributions jusque là (comme la plupart des travaux sur le sujet) estiment les mouvements transparents dans une séquence d'images ne présentant qu'une configuration unique: deux couches animées d'un mouvement cohérent étaient présentes partout sur l'image.
Or, les images réelles sont plus complexes: elles contiennent plus de deux couches en tout, mais rarement plus de deux au meme point. C'est ainsi que nous avons introduit le concept de bitransparence distribuée pour désigner des images pouvant etre segmentees en zones contenant au plus deux couches.
Nous présentons à ICIP'06 une méthode d'estimation et de segmentation jointe de mouvements transparents, menant lui aussi à des précisions de 0.6 pixels sur images diagnostiques et 1.2 sur images fluoroscopiques. (Plus)


Deux images d'une séquence de fluoro, les champs calculés (le champ correspondant au fond est invisible car il est nul), et la segmentation obtenue.


Traitement d'une séquence vidéo de bi-transparence distribuée. En haut à gauche la segmentation des couches, en haut à droite les champs de vecteur estimés, et en bas les images de différence recalées.

Nous proposons également une démo détaillant le fonctionnement de l'estimateur.

L'application au débruitage

Il nous faut aussi savoir comment utiliser cette information du mouvement pour débruiter nos séquences. Nous avons développé une méthode novatrice pour ce faire pour MICCAI'05, mais elle se heurte à une très décevante limite asymptotiquede débruitage de 20%. (Plus)

Nous avons alors développé un nouveau type de filtres, dit hybrides, qui arbitrent localement entre différents types de compensation:

    Compensation de mouvements transparents lorsque les deux couches considérées sont texturées.
    Compensation de la couche la plus texturée dans tous les autres cas (seule une couche est texturée, ou les deux couches sont homogènes). On conserve alors toute l'information utile sans limiter le débruitage.
Ce type d'approche est utilisable à la fois pour le filtrage de bruit purement temporel, et le filtrage spatio-temporel. Dans le premier cas, nous obtenons un débruitage de l'ordre de 50% en écart-type, sans filtrage de l'information utile. (soumission à ISBI'07 en cours).


Traitement d'une séquence fluoroscopique traitée avec le filtre hybride temporel (à gauche), et avec un filtre temporel adaptatif (à droite). Le coeur est nettement mieux contrasté à gauche qu'à droite, pour un débruitage équivalent.

Retour