segmentação ii paulo sérgio rodrigues pel205. entropia tradicional bgs q-entropia aplicações da...

Segmentação II

Paulo Sérgio RodriguesPEL205

• Entropia Tradicional BGS

• q-Entropia

• Aplicações da q-entropia à PDI

Segmentação Baseada em EntropiaSegmentação Baseada em Entropia

Entropia Tradicional BGS - Histórico

Rudolph Clausius (1822-1888)

Clausius foi o primeiro a dar uma

definição para Entropia

Ludwing Boltzmann (1844-1906)

Boltzmann idealizou o conceito moderno de

entropia

wkS lnNo início, a idéia de

entropia estava ligada

somente a medida

da capacidade de

realização de trabalho

dos sistemas físicos.

Leis da Termodinâmica

Trabalho

Perdas

Energia

TOTAL

• Primeira Lei: A energia não pode ser criada nem destruída

• Segunda Lei: Só pode haver trabalho se houver entropia

Max Plank (1854-1947)

Plank foi o verdadeiro idealizador da

fórmula atribuída a Boltzmann

Willard Gibbs (1839-1903)

Gibbs introduziu a conhecida fórmula

w

iii ppkS

1

ln

Com Plank e Gibbs

a entropia transcendeu

a Termodinâmica e

passou a se associar

à Mecânica Estatística.

Entropia Tradicional BGS - Histórico

Entropia e a Teoria da Informação

Claude Shannon (1916-2001)

Shannon associou a entropia a uma

quantidade de informação

A teoria da informação surgiu

na década de 40, com origem

na telegrafia e telefonia.

Posteriormente, foi utilizada

pela Cibernética no estudo da

troca de informação de um

organismo vivo ou mecânico.

w

iii ppkS

1

ln

Entropia e a Teoria da Informação

Claude Shannon (1916-2001)

Shannon associou a entropia a uma

quantidade de informação

A teoria da informação encontrou

campo fértil em diversas áreas, entre

elas na Economia, Estatística,

Linguística, Psicologia, Ecologia,

Reconhecimento de Padrões,

Medicina, Inteligência Artificial, ...

w

iii ppkS

1

ln

Generalização da Entropia Clássica

• Sabe-se há mais de um século que entropia tradicional de

BG não é capaz de explicar determinados Sistemas Físicos

• Tais sistemas possuem como características:

- interações espaciais de longo alcance

- interações temporais de longo alcance

- comportamento fractal nas fronteiras

• E são chamados de Sistemas Não-Extensivos

Generalização da Entropia Clássica

• Exemplos

• turbulência

• massa e energia das galáxias

• Lei de Zipf-Mandelbrot da linguística

• Teoria de risco financeiro

Generalização da Entropia Clássica

• Lei de Zipf-Mandelbrot da linguística

1

1

q

ARfrequencia

Don Quijote (Miguel

di Cervantes)

Extração de

Palavras

Relevantes

Rank ordenado

Generalização da Entropia Clássica

• Massa e Energia da Galáxias

)2(2)2(8

)2(82

2

DD

Dq

Generalização da Entropia Clássica

• Teoria do Risco Financeiro

• Quando se tem expectativa de perda, algumas pessoas

preferem arriscar

• Quando se tem expectativa de ganho, algumas pessoas

preferem não arriscar

Generalização da Entropia Clássica

• Citação de Artigos Científicos

)/( 0)0()( xxeNxN

)1/()1(1

)0()(

qqxq

NxN

Generalização da Entropia Clássica

• Psicologia da Visão

W

i i

i

W

i i

W

i i

W

i i

W

i

qi

W

i iqi

qO

Op

W

pq

W

O

p

OpO

1

111

1

1lnln

1~

Entropia Não-Extensiva

q

p

S

W

k

qi

1

11

Constantino Tsallis

Entropia Não-Extensiva

w

ikii

w

ikii

qi

q

w

iki

w

ik

qii

q

w

ik

qii

w

ik

qii

W

iki

W

k

qi

pp

ppq

pp

q

pp

q

pp

q

ppp

q

p

S

ln

ln1

1lim

1

1

lim

1

1

11

1

1

1

1

1

11

1

Additive property of Shannon Entropy

Tsallis Entropy formula

Pseudo-Additive property of Tsallis Entropy

Background and Foreground distribution

Background and Foreground Tsallis Entropy

Pseudo-Additivity for Background and Foreground distribution

Here, topt is ideal partition (that maximizes) the pseudo additivity of Tsallis Entropy

A new partition of Background and Foreground for new application of Tsallis entropy

Respectivelly news Tsallis entropy for the new background and foregrounds

General Equation of Pseudo-additivity for one recurssion

Here, topt is ideal partition (that maximizes) the pseudo additivity of Tsallis Entropy for the new partition

Ultrasound original Benign Tumor

Left Column: 1 recurssion; Right column: 3 recurssions row 1: q = 0.00001; row 2: q = 1.0 (Shannon) ;

row 3: q = 4

Visual Segmentation Results

Left Column: 1 recurssion; Right column: 3 recurssions row 1: q = 0.00001; row 2: q = 1.0 (Shannon) ;

row 3: q = 4

Ultrasound original Malignant Tumor

Visual Segmentation Results

Left upper: NESRA with 16 clusters (3 recurssions); right upper: fuzzy c-means with 16 clusters

Left bellow: k-means with 8 clusters; right bellow: SOM with 16 neurons

Visual Segmentation Results

Benign Tumor

Left upper: NESRA with 16 clusters (3 recurssions); right upper: fuzzy c-means with 16 clusters

Left bellow: k-means with 8 clusters; right bellow: SOM with 16 neurons

Visual Segmentation Results

Malignant Tumor

Results of application of three approaches for image

segmentation: column 1: proposed (NESRA) method; column 2: bootstrap; column 3: fuzzy c-means

Some Natural Image Results

NESRA Bootstrap Fuzzy C-means

Results of application of three approaches for image

segmentation: column 1: proposed (NESRA) method; column 2: bootstrap; column 3: fuzzy c-means

Some Natural Image Results

NESRA Bootstrap Fuzzy C-means

Results of application of three approaches for image

segmentation: column 1: k-means; column 2: SOM; column 3: watershed

Some Natural Image Results

K-means SOM Watershed

Results of application of three approaches for image

segmentation: column 1: k-means; column 2: SOM; column 3: watershed

Some Natural Image Results

K-means SOM Watershed

The synthetic image used to compare the robustness of the methods and increasing application of gaussian noise. The two concentric

circles have radius 100 and 50, and the intensities for the background, outer and inner circles are 150, 100 and 50 respectively. The

letfmost image is the original image; the three others, from left to right, have μ =0 and σ2 = 0.01,

0.05 and 0.1 gaussian noise respectively.

Synthetic Image Results

The result segmentation of the six considered algorithms in this paper.

In this illustration, for all the original image we have applied a gaussian noise with zero μ and σ2 = 0.1 which is the highest noise used, and after, a 9 x

9 2D adaptive filter was used for smoothing the noise. In the specific case of NESRA algorithm we use the parameter q = 0.001 since it generates the

best visual result with more homogeneous and noiseless regions.

Synthetic Image Results

NESRA

Bootstrap

Fuzzy C-means K-means

SOM Watershed

The estimated (black ones) and original (white ones) curves superimposed over the original image corresponding to the segmentations of

synthetic image. Only the watershed was traced manually since we do not have good precision of the boundary in this case.

NESRA

Bootstrap

Fuzzy C-means K-means

SOM Watershed

Comparative performance of the five used methods as a function of increasing gaussian noise. The x-line is the σ2 and y-line is Robustness

Outer Circle

Comparative performance of the five used methods as a function of increasing gaussian noise. The x-line is the σ2 and y-line is Robustness

Inner Circle

Comparative performance for the five used methods according to the estimated area inside inner, outer and background regions. The

performance percentage is an average of the estimated area of the three regions. The x-line is the σ2 and y-line is the average of estimated area

(for the three regions) divided by real area.

Performance in Achieving Homogeneous Regions