11/26/2004

Prótese Visual Prótese Visual IntracraneanaIntracraneana

TagusparkTagusparkSeminárioSeminário

26 de Janeiro 2004Oeiras, Portugal

Moisés PiedadeMoisés Piedademsp@inesc-id.ptmsp@inesc-id.pt

Seminário Investigação Taguspark 21/26/2004

• Principal objectivo do projecto– This project aims to develop prototypes in the field of

visual rehabilitation and to demonstrate the feasibility of a cortical neuroprosthesis, interfaced with the visual cortex, as a means through which a limited but useful visual sense may be restored to profoundly blind people

• O problema não é transmitir uma imagem com elevada resolução, mas colocar a informação nas localizações adequadas no cortex visual primário (área V1)– Para isso é fundamental perceber como é que a retina

codifica a informação visual

Seminário Investigação Taguspark 31/26/2004

PRÓTESE VISUAL TOTALPRÓTESE VISUAL TOTAL

Substitui o sistema de visão – estimula directamente o cortexSubstitui o sistema de visão – estimula directamente o cortex

Apesar das doenças nos orgãos sensoriais e no sistema nervoso periférico, o cérebro

encontra-se em geral perfeitamente funcional

41/26/2004

Epiretinal Epiretinal ProsthesesProstheses

Subretinal Subretinal ProsthesesProstheses

Epitelio Epitelio pigmentariopigmentario

FotorreceptoresFotorreceptores

Celulas Celulas AmacrinasAmacrinas

Celulas Celulas GanglionaresGanglionares

AxonesAxonesNervio OpticoNervio Optico

Celulas Celulas BipolaresBipolaresCelulas Celulas HorizontalesHorizontales

Degeneration (retinitis pigmentosa, macular Degeneration (retinitis pigmentosa, macular degeneration)degeneration)

Cortical Cortical NeuroprostheNeuroprosthe

sesses

Optic Nerve Optic Nerve damagedamage

Seminário Investigação Taguspark 51/26/2004

Seminário Investigação Taguspark 61/26/2004 Bongard et al., 2003Bongard et al., 2003

Seminário Investigação Taguspark 71/26/2004

VisualStimulus

+ + x

Fi(r,t)

Low PassNon LinerHigh Pass

DOG

Space filtering Time filtering

Contrast G

ain Control

R

G

B

T

Tm(r,t)

l(r,t)

u(r,t)

v(r,t)

y(r,t)

Seminário Investigação Taguspark 81/26/2004

Seminário Investigação Taguspark 91/26/2004

Filter 1Filter 1 Filter 2Filter 2 Filter # N Filter # N

Weighting Weighting modulemodule

Microelectrode receptive Microelectrode receptive field determinationfield determination

Neuromorphic Neuromorphic codingcoding

......

Input imageInput image

““Activity matrix”Activity matrix”

Output to RF linkOutput to RF link

Microelectrode Microelectrode mappingmapping

Seminário Investigação Taguspark 101/26/2004

MacroestimulaçãoMacroestimulaçãosuperficialsuperficial

MicroestimulaçãoMicroestimulaçãoIntracorticalIntracortical

Contact areaContact area 1 mm1 mm22 0.001 mm 0.001 mm22

Impedance Impedance 10 k10 k 100 k 100 k

CurrentCurrent 1 mA 0.01 mA1 mA 0.01 mA

Charge densityCharge density 10 10 C/cmC/cm22 100 100 C/cmC/cm22

Mean power Mean power 20 20 W/channel 0.02 W/channel 0.02 W/channelW/channel

Layer IVLayer IV

Seminário Investigação Taguspark 111/26/2004

• Os electrodos devem penetrar 1.5-2.0 mm Os electrodos devem penetrar 1.5-2.0 mm abaixo da superfície cortical abaixo da superfície cortical

• Serem capazes de estimular uma superfície Serem capazes de estimular uma superfície (2D) de neurónios(2D) de neurónios

• BiocompatibilidadeBiocompatibilidade• DurabilidadeDurabilidade• Capazes de induzir percepção Capazes de induzir percepção

individualizadaindividualizada

Projecto dos electrodos para estimulação cortical

Seminário Investigação Taguspark 121/26/2004

64 h, 94 64 h, 94 AA 64 h, 43 64 h, 43 AA 64 h, 29 64 h, 29 AA

Seminário Investigação Taguspark 131/26/2004

Architecture: Early Layers

Dual portRAM

RAM 1

AddrDout

ROM

DoutAddr

X

Accumulator

“00”Din

DOG

+

MUX

Input DataInput Address

CLK

X

CHP

RAM 2

AddrDoutDin

X

bHP

HP:IIR

X

LUT: NL

IIR Block: LP

Dout

Dn Dn-1

DoutDin

CLK

+

MUX

“00”

Rectifier

-

Threshold

<0?

F1..N(r,t)

Dual port RAM

AddrBDIB

AddrADOA

AddrB

Dout

AddrADOBDIA

CGC

+

The RAM memories are used to interface with other modules

Seminário Investigação Taguspark 141/26/2004

Neuromorphic Pulse Coding: spike generation

SignalProcessings[r,n]

Firing Rate (fR) Threshold

+ >=SpikeEvent

0

+

Leak

+

+

+-

MUX

Register

One set of block RAM’sstore each Neuromorphic Pulse Coding Cell accumulated value

Based on a Digital Controlled Oscillator:Phase accumulator

Seminário Investigação Taguspark 151/26/2004

RF link para energia e dados

Seminário Investigação Taguspark 161/26/2004

FILTER

DATACONTROLLER

AMPLIFIERPOWERMODULATOR

CLOCK

DEMODULATOR AGC

Dat

a

Di

PC

POWERAMPLIFIER

DEMODULATOR

RF

RF

DATAPROCESSING

RF LINK

CONTROLCIRCUIT

POWER SUPPLY

GENERATOR

CLOCKRECOVERY

DATAPROCESSING

Adress

Command

ELECTRODESSTIMULATOR

Data

Data

Electrodes

Command

MODULATOR

Enable

PRIMARY SYSTEMSECONDARY SYSTEM

Arquitectura da ligação RF

Seminário Investigação Taguspark 171/26/2004

Secondary System – Data & Clock

Emitted data and corresponding PLL’s error signal at the receiver.Channel 1 2v/div time 20us/divChannel 2 0.2v/div time 20us/div

Emitted and received data. Channel 1 2v/div time 20us/div Channel 2 2v/div time 20us/div

Clock waves at the emitter and at the receiver .Channel 1 2v/div time 1us/divChannel2 2v/div time 1us/div

Clock spectra for: a) non-modulated carrier; b) modulated carrier(central

frequency 1MHz)a)

b)

Seminário Investigação Taguspark 181/26/2004

Secondary System – Power

(b) In the negative polarity

C

L D2

(a) In the positive polarity

C1

C

L 120 Ohm

D1

Z1

C1

Transformer output

signalC

LP2980

Output powersupply 5VDCAC

Load resistance (for measures)

L120 Ohm

D1

D2Z1

0,000

10,000

20,000

30,000

40,000

50,000

60,000

0,000 0,500 1,000 1,500 2,000 2,500

Efficiency(%)

Distance (cm)

0,000

0,100

0,200

0,300

0,400

0,500

0,600

0,000 0,500 1,000 1,500 2,000 2,500

Emitted PowerReceived Power

Distance (cm)

(wat

t)

Experimental results for mid-charge battery:

Seminário Investigação Taguspark 191/26/2004

Electrode Stimulator: DAC

W=1µm

W=1µm

out

VSS

W=1µm

W=1µm

W=90m

W=90m

Vdd

Peso 0W=1.4m

Peso 1W= 2 x 1.4m

Peso 6W= 64 x 1.4m

R = 400

InterruptorCMOS

W=10 µmbit 0

InterruptorCMOS

W=10µmbit 1 Interruptor CMOS

W=1.4µm (saída positiva)

Interruptor CMOS W=1.4µm

(saída negativa)

Interruptor CMOSW=1.4µm

(saída negativa)

2 K

InterruptorCMOS

W=10µmbit 6

....

....

Peso 6W= 64 x 1.4m

....

....

....

....

Peso 0W=1.4m

Peso 1W= 2 x 1.4m

Current Steering Architecture

Seminário Investigação Taguspark 201/26/2004

400umDAC

Control+Routing

400um

Ongoing Work

Seminário Investigação Taguspark 211/26/2004

Universidad Miguel Universidad Miguel HernándezHernández•Eduardo Fernández

University of UtahUniversity of Utah•R.A. Normann

University of University of OldenburgOldenburg•Josef AmmermüllerUniversidad de Universidad de GranadaGranada•F. PelayoUniversity of University of MontpellierMontpellier•Pierre RabischongUniversity of ViennaUniversity of Vienna•Peter Ahnelt

CNRS (Paris)CNRS (Paris)•Lyle GrahamINESC-ID/IST INESC-ID/IST (Portugal)(Portugal)•M. Piedade, L.Sousa

Universidad de Universidad de HarvardHarvard•Alvaro Pascual-Leone

Hospital General Hospital General Universitario de Universitario de AlicanteAlicante•Carlos BotellaBiomedical Biomedical TechnologiesTechnologies•Fco Garcia de Quirós

Alunos do ISTAlunos do IST•7 alunos de licenciatura•2 alunos de mestrado•1 aluno de doutoramento

Seminário Investigação Taguspark 221/26/2004

• CORTIVIS webpage

http://cortivis.umh.es/

Obrigado!