redes con mucha inteligencia: un viaje bayesiano · 2015-11-05 · redes bayesianas foro fin, 29...

RedesRedes BayesianasBayesianas ForoForo Fin, 29 Fin, 29 MarzoMarzo 20062006 11

RedesRedes con con muchamucha inteligenciainteligencia: : un un viajeviaje BayesianoBayesiano

IQ

CP

SS

Jorge MuruzJorge MuruzáábalbalUniversidad Rey Juan CarlosUniversidad Rey Juan Carlos


ConceptoConcepto de red Bayesianade red BayesianaModeloModelo grgrááficofico probabilprobabilíísticostico queque::

codificacodifica relacionesrelaciones de de independenciaindependenciacondicionalcondicional entreentre laslas variablesvariableseses capazcapaz de de incorporarincorporar conocimientoconocimiento expertoexpertopuedepuede inducirseinducirse automautomááticamenteticamente a a partirpartir de de unauna matrizmatriz de datos de datos estestáándarndarresultaresulta úútiltil parapara describirdescribir procesosprocesos resultantesresultantesde de interaccionesinteracciones locales locales entreentre componentescomponentes


X1

X3X2

X5

X6X4

p(x1, x2, x3, x4, x5, x6) = p(x6 | x5) p(x5 | x3, x2) p(x4 | x2, x1) p(x3 | x1) p(x2 | x1) p(x1)


X1

X3X2

X5

X6X4



X1

X3X2

X5

X6X4


Ejemplo de V-estructura


X1

X3X2

X5

X6X4

Manto de Markov de X3

X3 ⊥ X4, X6 | X1, X2, X5X3 condicionalmente independiente de (X4 , X6) dados X1, X2, X5


Complejidad del modelo =Complejidad del modelo =Densidad de la redDensidad de la red

IQ

CP

SS IQ

CP

SS


ParParáámetrizacimetrizacióónn de la redde la red

“Juan tienefiebre”

“Medición deltermómetro”

“Juan tienegripe” XGr P(Gr=T) = 0.05

P(Fb=Alta | Gr=T) = 0.40P(Fb=Alta | Gr=F) = 0.01

P(Th=Alta | Fb=Alta)= 0.95P(Th=Alta | Fb=Baja)=0.10

Modelizando unarelación causal

Modelizandoerror de medida

YFb

QTh

¿ P(Gr=T | Th=Alta) ?¿ P(Fb=Alta | Th=Alta) ?


TerminologTerminologííaa

A1A2 A3 A4

A5A6

E

Se trata de calcular (aproximar) un número finito de probabilidades a posteriori (mediante la regla de Bayes) dada la evidencia (datos)

Dos aplicaciones: explotación de una red daday puntuación de estructuras


CausalidadCausalidad

CuandoCuando la RB la RB eses causalcausal, , loslos arcos arcos siguensiguenla la direccidireccióónn natural del natural del procesoproceso


TiposTipos de de grafosgrafos (con arcos (con arcos dirigidosdirigidos))En principio todo grafo acíclico (DAG) codifica una distribuciónLos Polytrees son relativamente fáciles de tratarUn DAG es un polytree si sólo existe un camino basado en arcos (ignorando su direccionalidad) entre dos nodos cualesquiera

Se permite másde un padre y más de un hijo

No son polytrees


La red ALARMLa red ALARMMonitorizaciMonitorizacióónn de de pacientespacientesen en cuidadoscuidados intensivosintensivos

37 variables37 variables509 509 parparáámetrosmetros……en en vezvez de 2de 23737

PCWP CO

HRBP

HREKG HRSAT

ERRCAUTERHRHISTORY

CATECHOL

SAO2 EXPCO2

ARTCO2

VENTALV

VENTLUNG VENITUBE

DISCONNECT

MINVOLSET

VENTMACHKINKEDTUBEINTUBATIONPULMEMBOLUS

PAP SHUNT

ANAPHYLAXIS

MINOVL

PVSAT

FIO2

PRESS

INSUFFANESTHTPR

LVFAILURE

ERRBLOWOUTPUTSTROEVOLUMELVEDVOLUME

HYPOVOLEMIA

CVP

BP


Otra vista de ALARMOtra vista de ALARM

PCWP COHRBP

HREKG HRSAT

ERRCAUTERHRHISTORY

CATECHOL

SAO2 EXPCO2

ARTCO2

VENTALV

VENTLUNG VENITUBE

DISCONNECT

MINVOLSET

VENTMACHKINKEDTUBEINTUBATIONPULMEMBOLUS

PAP SHUNT

ANAPHYLAXIS

MINOVL

PVSAT

FIO2PRESS

INSUFFANESTHTPR

LVFAILURE

ERRBLOWOUTPUTSTROEVOLUMELVEDVOLUME

HYPOVOLEMIA

CVP

BP


¿¿Problemas con la impresora?Problemas con la impresora?


CLIPO, una red Bayesiana CLIPO, una red Bayesiana chistosachistosa


Redes Bayesianas en Metereología

(descriptive not predictive)

(predictive & independent)

Atmosphericstate

Atmosphericstate

Climatological

Naive

Augmented


Dos problemas bDos problemas báásicossicos

CCóómo se obtiene una red Bayesianamo se obtiene una red BayesianaCCóómo se utiliza una red Bayesiana dadamo se utiliza una red Bayesiana dada

X7

X6X5

X2X1 X4X3

R


Modelo de fallo de arranqueModelo de fallo de arranque

EngineStart = NO(el problema!)

Evidencia:

Lights = SI, Gas = SI,SparkPlugs = SI

Implicaciones:P(Distributor=NO | Evidencia)=0.07P(Starter=NO | Evidencia)=0.86


UnaUna red Bayesiana red Bayesiana parapara la la prpráácticactica mméédicadica


DistribucionesDistribuciones marginalesmarginales (antes de (antes de utilizarutilizar la red)la red)


DistribucionesDistribuciones condicionadascondicionadas parapara hombres: hombres: mayor mayor riesgoriesgo de de enfermedadenfermedad cardiovascularcardiovascular


Un Un casocaso de alto de alto riesgoriesgo: : colesterolcolesterol, , tabacotabaco y y tensitensióónn

Normal


ModelosModelos grgrááficosficos en en BiologBiologííaa (N. Friedman)(N. Friedman)

I

Start EndM1 M3 M4M2

D D D D

I I I II

L W KM EMatch: a conserved position with specialized emission probability

Insert: an insertion with general (background) emission probability

Delete: a deletion, a silent state without any emission

ILWKILMWKELMWKE


InducciInduccióónn ((semi)automsemi)automááticatica

Red(es) Bayesiana(s)Matriz de datos

X1

X4

X9

X3

X2

X5X6

X7

X8

X1truefalsefalsetrue

X21532

X30.7-1.65.96.3

...

.

... . .

Algoritmo de aprendizaje

+Información de expertos


Algunas tAlgunas téécnicascnicasTests previos de independencia Tests previos de independencia condicional condicional MMéétodos de puntuacitodos de puntuacióón y bn y búúsquedasqueda

Se parte de un grafo aleatorioSe parte de un grafo aleatorioSe define una mSe define una méétrica M que mide la calidad trica M que mide la calidad del ajuste a los datos D del ajuste a los datos D Se definen operadores de variaciSe definen operadores de variacióón local n local sobre grafos sobre grafos Se explora el entorno inmediato y se Se explora el entorno inmediato y se selecciona la opciselecciona la opcióón que produce el mayor n que produce el mayor incremento en M (versiincremento en M (versióón voraz)n voraz)


AprendizajeAprendizaje de de estructuraestructura

Dados los datos, ¿qué modelo es correcto?

X Ymodelo 1:

X Ymodelo 2:


EnfoqueEnfoque BayesianoBayesiano

Dados los datos, ¿qué modelo es correcto más probable?

X Ymodelo 1: 1.0)|( 1 =dmp7.0)( 1 =mp

Datos d

X Ymodelo 2: 9.0)|( 2 =dmp3.0)( 2 =mp


Para Para puntuarpuntuar un un modelomodelo, , podemospodemosutilizarutilizar la la reglaregla de Bayesde Bayes

Dados los datos d:

)|()()|( mpmpmp dd ∝

∫= θθθ dmpmpmp )|(),|()|( dd

Puntuacióndel modelo

verosimilitud estándar“verosimilitudmarginal"


MMéétodotodo EM EM parapara datos datos incompletosincompletos

Elección inicial de parámetros

Iterar hastaconverger

Modelo actual)(G,Θ

S X D C B<? 0 1 0 1> <1 1 ? 0 1><0 0 0 ? ?><? ? 0 ? 1>………

Datos

S X D C B1 0 1 0 1 1 1 1 0 10 0 0 0 01 0 0 0 1………..

Datos completados

Esperanza

Maximización


Dependencias entre genesDependencias entre genes

Gene4

Gene2

Gene3

Gene5 Gene6

Module 3

Module 2

Module 1

CPD 2

CPD 1

CPD 3

Gene1


Analizar redes con cientos de nodos es complejoAnalizar redes con cientos de nodos es complejo


Consideraciones prConsideraciones práácticascticas

¿¿Muchas variables Muchas variables predictoraspredictoras? Selecci? Seleccióón n previa (previa (featurefeature selectionselection) ) ¿¿MMáás variables que observaciones?s variables que observaciones?¿¿Nodos ocultos?Nodos ocultos?¿¿Variables continuas? Variables continuas? ¿¿Nodos de decisiNodos de decisióón?n?¿¿DimensiDimensióón temporal?n temporal?


PerspectivasPerspectivas

Uso intensivo en modelizaciUso intensivo en modelizacióón y prediccin y prediccióón n de fende fenóómenos estmenos estááticos y dinticos y dináámicosmicosFructFructííferos desarrollos matemferos desarrollos matemááticos y ticos y algoralgoríítmicostmicosVariedad de modelos emergentesVariedad de modelos emergentes


ReferenciasReferencias

Excelente pExcelente páágina de introduccigina de introduccióón n de Kevin Murphyhttphttp://www.cs.ubc.ca/://www.cs.ubc.ca/~murphyk~murphyk//BayesBayes//bnintro.htmlbnintro.htmlTambién http://www.cs.ubc.ca/~murphyk/Bayes/bnsoft.htmlhttp://www.cs.ubc.ca/~murphyk/Bayes/bnsoft.html yhttp://www.kdnuggets.com/software/bayesian.htmlhttp://www.kdnuggets.com/software/bayesian.htmlLibro on-line en castellano en castellano http://personales.unican.es/gutierjm/BookCGH.htmlhttp://personales.unican.es/gutierjm/BookCGH.html

http://www.cs.ubc.ca/~murphyk/Bayes/bnintro.html

http://www.cs.ubc.ca/~murphyk/Bayes/bnsoft.html

http://www.cs.ubc.ca/~murphyk/Bayes/bnsoft.html

http://www.kdnuggets.com/software/bayesian.html

http://www.kdnuggets.com/software/bayesian.html

http://personales.unican.es/gutierjm/BookCGH.html

http://personales.unican.es/gutierjm/BookCGH.html

redes con mucha inteligencia: un viaje bayesiano · 2015-11-05 · redes bayesianas foro fin, 29...

Documents