Lien de la note Hackmd

Comment extraire une frequence cardiaque quand on a une oscillation ?

Stabiliser l’image

Quand on fait du recalage, on fait des estimations donc par moment l’image “vibre”

La video recalee est plus petite car on prend la plus grande translation de chaque cote.

Context

An example

Ptit poisson, grozyeux

General principle

What is the transformation between 2 frames ? For 2 frames $I_2$ and $I_2$, Find $\mathcal T$ to minimize

$\mathcal V = Variance(I_1,\mathcal T(I_2))$

Hyper important de verifier

2 frames

The reference frame ($I_1$ in our presentation) is the frame we will not modify, considered as the “true” image

The studied frame ($I_2$ in our presentation) is the frame we try to minimize $\mathcal V$

Model

Choixe of the model to have the best estimation:

Fourier domain
Image
Graph
Multi-modality
- Un peu complique

Usual transformations

Rigid transformation

Transfo rigide: on ne change pas la structure (les distances) dans l’image

Non-rigid transformation

On ne veut surtout pas faire de transformation non-rigide

Pourquoi ? On risque de creer des deformations locales (dans notre exemple: corriger le mouvement du coeur)

Transformation estimation

Classical estimation for the entire image analysis:

\[\mathcal T = (\mathcal R, T)\]

with:

\[\mathcal R= \begin{pmatrix} \alpha a &\alpha b\\ \alpha c&\alpha d \end{pmatrix} = \alpha\mathcal R'\\ T=(d_x, d_y)\]

Case of $\mathcal R$:

If there is a rotation:

\[\mathcal R= \begin{pmatrix} \alpha \cos(\theta) &-\alpha \sin(\theta)\\ \alpha \sin(\theta)&\alpha \cos(\theta) \end{pmatrix} = \alpha\mathcal R'\]

$\alpha$ is the scale factor

\[(I_2\mathcal R+T)-I_1 = min(\mathcal V)\\ S = \mathcal T(I_2)=(I_2\mathcal R + T)\\ \forall (x,y)\in I_2: S(x,y)=I_2(x',y')\]

with the estimated $\mathcal R$ and $T$, $[x’\quad y’]=[x\quad y]\mathcal R+T$

Key-points

Principle

Objectives

Points which are interesting $I_1$
Find their equivalent in $I_2$
Estimate the transform between the 2 sets of points

We want to solve

\[P_2=P_2\times\mathcal R+\mathcal T\]

Where $P_1$ and $P_2$ are the sets of points of the 2 frames we seek to match, $\mathcal R$ is the “rotation” matrix. $\mathcal T=(d_x, d_y)$ is the translation

The solution

En fonction de la version d’OpenCV il peut y avoir un soucis avec la matrice $\mathcal M$ (elle peut etre $3\times 3$ au lieu de $2\times 3$)

Applications

Sequence stabilization
Reconstruction
Optical flow
Similarity
Comparison (evolution of a tumor etc.)

Recalage

keuwa ?

Deux images $S$ et $C$: cherche $T$ tel que $T(S)$ ressemble a $C$

Les notations sont pourries ici

Applications

Outil fondamental en analyse d’images medicales, mais pas uniquement

Ou ailleurs en imagerie ?
Creation d’images panoramiques
Mosaiques
Astronomie

On ne cherche pas sur toute l’image les points-cles, on se restreint a une certaine zone

Systemes par mosaique

Ce type d’approche consiste a construire les images panoramiques a partir d’une serie d’images prises avec le meme systeme optique. On peut, par exemple, utiliser une camera en rotation autour de son centre optique

Evidemment, un nombre arbitraire d’images peut etre utilise

Exemples en imagerie medicale

Recalage

Definition Consiste a trouver une transformation spatiale permettant d’aligner une image (source ou flottante) sur une autre (cible ou reference)

En anglais:

Image registration
Image matching

Recalage monomodal ou multimodal:

Monomodal: meme modalites
Multimodale: modalites differentes

Recalage intra ou inter-sujets

Exemples

Intra-patient, mono-modalite

Exemple: evolution de lesions (images IRM d’un patient atteint de SEP a quelques mois d’intervalle)

C’est flou !

Pour trouver quelles sont les zones qui ont evolue

Intra-patien, multi-modalite

Exemple: fusion d’informations provenant de 2 modalites differentes

Inter-patient, intra-modalite

Exemple: segmentation a partir d’un atlas anatomique

Extension en 3D

Recalage en imagerie medicale

Reconstruction d’un volume 3D

A partir d’une serie de coupes 2D contigues (microscopie, epaisseur de coupe de 60nm environ)

Evolution temporelle

Brain-shift

Developpement cerebral

Comparaison entre differents sujets:

Fusion de modalite

Recap

Principe des methodes de recalage

Critere de similarite

Supposons que l’on se donne un critere de similarite: $Simil(I, J)$ qui mesure la “ressemblance” entre 2 images $I$ et $J$

On choisit egalement une famille de transformation $\mathcal F$

Le probleme de recalage s’ecrit alors comme:

$argmin_{T\in\mathcal F} Simil(T(I), J)=?$

Methode de recalage

Structures (primitives) a mettre en correspondance
Critere de similarite
Transformation
Optimisation

Primitives geometriques

Structures particulieres dans l’image

Points, courbes, surfaces
Extraits automatiquement ou manuellement

Detection des primitives: ici points de forte courbure

Primitives intrinseques
Primitives extrinseques

Primitives intrinseques

Structurent intrinseques au patient
Information pertinente presente dans les 2 jeus de donnees
- Points
- Courbes (contours)
- Surfaces segmenteees
- Volumes
Points anatomiques
- Identifies manuellement par l’operateur
- Isole automatiquement