Vincent Auvray - Contributions (Retour)


Bref apercu de la problèmatique de l'estimation de mouvements transparents

Trois grands types de méthodes sont proposées dans la littérature pour estimer les mouvements transparents:

    L'adaptation partielle d'estimateurs de mouvements classiques (Black et Anandan, Irani et Peleg), mais seulement pour des transparences partielles.
    La détection de plans dans l'espace de Fourier 3D (Shizawa et Mase, Pingault et Pellerin, Stuke et Aach), mais elle nécessite des mouvements translationnels sur quelques dizaines de frames.
    L'estimation de mouvements transparents dans l'espace direct (Pingault et Pellerin, Stuke et Aach, Toro), qui s'appuie sur une équation équivalente à la conservation de l'intensité:

    Elle suppose les mouvements constants sur deux intervalles de temps consécutifs.
C'est dans cette troisème voie que nous nous inscrivons. (Plus)

Nos travaux en situation de bitransparence

Nous avons dans un premier temps imaginé un mécanisme de formation d'images synthétiques respectant la physique de formation des images par rayons X, afin de pouvoir construire des séquences de test à vérité de terrain connue, sur lesquels évaluer nos estimateurs. (Plus)

Notre premier algorithme mature (présenté à GRETSI'05 et à ICIP'05) permettait d'atteindre des précisions de 0.6 pixels sur des images diagnostiques, et 1.4 sur des images fluoroscopiques. Mais à ce stade, nous ne modélisions ni la MTF, ni le diffusé, et les performances étaient beaucoup moins bonnes sur ces images plus réalistes.

C'est pourquoi nous avons imaginé un deuxième algorithme, présenté à MICCAI'05. Pour etre autant robustes au bruit que possible tout en gardant des temps de calculs raisonnables, nous avons cherché à contraindre au maximum le problème. Des observations de nombreuses séquences réelles nous ont convaincu que les mouvements anatomiques (battements du coeur, dilatation des poumons, translation du diaphragme) pouvaient etre modelisés par des champs de déplacements affines.
Déterminer ces champs de mouvements transparents revient à minimiser une énergie sur toute l'image, ce que nous effectuons dans un schéma incrémental de type Gauss-Newton (initialisé avec la méthode du simplex).
Cette approche permet des précisions de 0.35 et 0.7 pixels sur des images sans MTF ni diffusé, mais surtout de 0.75 et 2.85 pixels sur des images typiques d'examens diagnostiques et interventionnels respectivement.

Nous avons alors proposé à ICIP'06 une évolution de cet algorithme, qui mene à des précisions de 0.6 pixels sur images diagnostiques et 1.2 sur images fluoroscopiques, ainsi que des exemples réels.


Champs de mouvements estimés sur une portion d'examen cardiaque en situation de bi transparence.

L'exemple ci-dessus montre une portion d'examen cardiaque en situation de bi transparence distribuée, correspondant à une zone d'environ 5cm x 5cm à la frontière entre coeur et poumons. La masse sombre dans la partie inférieure gauche de l'image correspond au coeur, et la partie claire supérieure droite aux poumons. Nous sommes bien en situation de bitransparence car coeur et poumons ont ici le meme mouvement. Notre algorithme estime bien un champ cohérent avec leur mouvement, ainsi qu'un autre champ statique correspondant au fond (cotes et colonne vertébrale). (Retour)(Demos)

Nos travaux en situation de bitransparence distribuée

Nos contributions jusque là (comme la plupart des travaux sur le sujet) estiment les mouvements transparents dans une séquence d'images ne présentant qu'une configuration unique: deux couches animées d'un mouvement cohérent étaient présentes partout sur l'image.
Or, les images réelles sont plus complexes: elles contiennent plus de deux couches en tout, mais rarement plus de deux au meme point. C'est ainsi que nous avons introduit le concept de bitransparence distribuée pour désigner des images pouvant etre segmentees en zones contenant au plus deux couches.
Nous présentons à ICIP'06 une méthode d'estimation et de segmentation jointe de mouvements transparents, menant lui aussi à des précisions de 0.6 pixels sur images diagnostiques et 1.2 sur images fluoroscopiques. (Plus)


Deux images d'une séquence de fluoro, les champs calculés (le champ correspondant au fond est invisible car il est nul), et la segmentation obtenue.


Traitement d'une séquence vidéo de bi-transparence distribuée. En haut à gauche la segmentation des couches, en haut à droite les champs de vecteur estimés, et en bas les images de différence recalées.

Nous proposons également une démo détaillant le fonctionnement de l'estimateur.

L'application au débruitage

Il nous faut aussi savoir comment utiliser cette information du mouvement pour débruiter nos séquences. Nous avons développé une méthode novatrice pour ce faire pour MICCAI'05, mais elle se heurte à une très décevante limite asymptotiquede débruitage de 20%. (Plus)

Nous avons alors développé un nouveau type de filtres, dit hybrides, qui arbitrent localement entre différents types de compensation:

    Compensation de mouvements transparents lorsque les deux couches considérées sont texturées.
    Compensation de la couche la plus texturée dans tous les autres cas (seule une couche est texturée, ou les deux couches sont homogènes). On conserve alors toute l'information utile sans limiter le débruitage.
Ce type d'approche est utilisable à la fois pour le filtrage de bruit purement temporel, et le filtrage spatio-temporel. Dans le premier cas, nous obtenons un débruitage de l'ordre de 50% en écart-type, sans filtrage de l'information utile. (soumission à ISBI'07 en cours).


Traitement d'une séquence fluoroscopique traitée avec le filtre hybride temporel (à gauche), et avec un filtre temporel adaptatif (à droite). Le coeur est nettement mieux contrasté à gauche qu'à droite, pour un débruitage équivalent.

Retour