Vincent Auvray - Contributions (Retour)

Bref apercu de la problèmatique de l'estimation de mouvements transparents

Trois grands types de méthodes sont proposées dans la littérature pour estimer les mouvements transparents:

L'adaptation partielle d'estimateurs de mouvements classiques (Black et Anandan, Irani et Peleg), mais seulement pour des transparences partielles.

La détection de plans dans l'espace de Fourier 3D (Shizawa et Mase, Pingault et Pellerin, Stuke et Aach), mais elle nécessite des mouvements translationnels sur quelques dizaines de frames.

L'estimation de mouvements transparents dans l'espace direct (Pingault et Pellerin, Stuke et Aach, Toro), qui s'appuie sur une équation équivalente à la conservation de l'intensité:



Elle suppose les mouvements constants sur deux intervalles de temps consécutifs.

Nos travaux en situation de bitransparence

C'est dans cette optique que nous avons testé les algorithmes existants, et avons développé nos propositions propres.
Pour tester la fiabilité de nos estimateurs, nous avons développé un mécanisme de formation d'images synthétiques respectant la physique de formation des images par rayons X, et ce afin de pouvoir construire des séquences de test à vérité de terrain connue.

Nous gérons en particulier la coloration du bruit par la MTF (Modulation Transfer Function) du récepteur, ainsi que l'existence d'un diffusé, sorte de voile s'ajoutant à l'image mesurée. Notre mesure de fiabilité est l'erreur moyenne commise sur les vecteurs vitesses à estimer: il s'agit de la distance entre vecteurs estimés et déplacement réel en pixel. (Sur 250 tests, avec des vitesses d'amplitude maximale 8 pixels). (Retour)

Nous avons développé trois générations d'estimateurs de mouvement transparents adaptés au cas ou l'image est composée de deux couches transparentes (Et deux couches seulement!).

Nos premiers travaux (présenté à GRETSI'05 et à ICIP'05) ne permettaient pas encore d'atteindre de précision intéressante sur des séquences cliniques réalistiquement bruitées.

C'est pourquoi nous avons imaginé un deuxième algorithme, présenté à MICCAI'05. Pour etre autant robustes au bruit que possible tout en gardant des temps de calculs raisonnables, nous avons cherché à contraindre au maximum le problème. Des observations de nombreuses séquences réelles nous ont convaincu que les mouvements anatomiques (battements du coeur, dilatation des poumons, translation du diaphragme) pouvaient etre modelisés par des champs de déplacements affines.
Ces travaux permettent d'atteindre une précision d'estimation de 0.75 et 2.85 pixels sur des images typiques d'examens diagnostiques et interventionnels respectivement.

Nous avons alors proposé à ICIP'06 une évolution de cet algorithme, qui mene à des précisions de 0.6 pixels sur images diagnostiques et 1.2 sur images fluoroscopiques, ainsi que des exemples réels.

Champs de mouvements estimés sur une portion d'examen cardiaque en situation de bi transparence.

Nos travaux en situation de bitransparence distribuée

Nos contributions jusque là (comme la plupart des travaux sur le sujet) estiment les mouvements transparents dans une séquence d'images ne présentant qu'une configuration unique: deux couches animées d'un mouvement cohérent étaient présentes partout sur l'image.
Or, les images réelles sont plus complexes: elles contiennent plus de deux couches en tout, mais rarement plus de deux au meme point. C'est ainsi que nous avons introduit le concept de bitransparence distribuée pour désigner des images pouvant etre segmentees en zones contenant au plus deux couches.
Nous présentons à ICIP'06 une méthode d'estimation et de segmentation jointe de mouvements transparents, menant lui aussi à des précisions de 0.6 pixels sur images diagnostiques et 1.2 sur images fluoroscopiques. (Plus)

Deux images d'une séquence de fluoro, les champs calculés (le champ correspondant au fond est invisible car il est nul), et la segmentation obtenue.

Traitement d'une séquence vidéo de bi-transparence distribuée. En haut à gauche la segmentation des couches, en haut à droite les champs de vecteur estimés, et en bas les images de différence recalées.

Nous proposons également une démo détaillant le fonctionnement de l'estimateur.

L'application au débruitage

Il nous faut aussi savoir comment utiliser cette information du mouvement pour débruiter nos séquences. Nous avons développé une méthode novatrice pour ce faire pour MICCAI'05, mais elle se heurte à une très décevante limite asymptotiquede débruitage de 20%. (Plus)

Nous avons alors développé un nouveau type de filtres, dit hybrides, qui arbitrent localement entre différents types de compensation:

Compensation de mouvements transparents lorsque les deux couches considérées sont texturées.

Compensation de la couche la plus texturée dans tous les autres cas (seule une couche est texturée, ou les deux couches sont homogènes). On conserve alors toute l'information utile sans limiter le débruitage.

Traitement d'une séquence fluoroscopique traitée avec le filtre hybride temporel (à gauche), et avec un filtre temporel adaptatif (à droite). Le coeur est nettement mieux contrasté à gauche qu'à droite, pour un débruitage équivalent.

Retour