emprego do método multicritério electre tri-c para...
TRANSCRIPT
Emprego do método multicritério ELECTRE TRI-C para
mensuração do Índice de Desenvolvimento Humano Municipal
Débora Viana e Sousa Pereira
Universidade Federal de Pernambuco
Caroline Maria de Miranda Mota
Universidade Federal de Pernambuco
Resumo
A mensuração do bem-estar dos indivíduos tem sido feita desde 1990 através do Índice de
Desenvolvimento Humano, considerando aspectos como saúde, educação e renda. Esse índice é utilizado
por vários segmentos da sociedade e empregado em diversos tipos de tomada de decisão. O indicador tem
sua relevância intensificada quando é avaliado em níveis mais detalhados, destacando disparidades dentro
de municípios, cidades ou nações. Nesse contexto, o presente trabalho mensurou o Índice de
Desenvolvimento Humano Municipal no Brasil. Para tanto, fez-se uso do método multicritério ELECTRE
TRI-C, permitindo a atenuação de algumas das críticas feitas ao índice pela literatura. Como resultado,
obteve-se a alocação dos municípios em quatro níveis de bem-estar, classificando apenas 2,63% da
população brasileira como de desenvolvimento muito alto. O resultado, embora pareça desanimador, se
mostra mais coerente com a realidade do país do que o decorrente da metodologia tradicional.
Palavras-chave: Índice de Desenvolvimento Humano; Apoio Multicritério à Decisão; Método ELECTRE
TRI-C.
1 Introdução O Índice de Desenvolvimento Humano (IDH) é um indicador internacional publicado anualmente pelo
Programa das Nações Unidas para o Desenvolvimento (PNUD) desde 1990. Tal índice tem o objetivo de
mensurar o bem-estar dos indivíduos através de três dimensões: saúde, educação e renda. Desde sua
concepção, o IDH recebe atenção de vários segmentos da sociedade, tais como políticos, mídia,
tomadores de decisão, acadêmicos e cidadãos comuns.
O IDH pode ser utilizado para subsidiar processos de tomada de decisão, visto que ele identifica áreas
mais carentes de desenvolvimento. O índice, contudo, pode ser mais bem aproveitado quando é
mensurado para níveis menores, pois assim analisa áreas mais homogêneas e suas interpretações são mais
próximas à realidade. Assim, desenvolve-se o Índice de Desenvolvimento Humano Municipal (IDH-M).
Nesse contexto, o presente trabalho busca mensurar o IDH-M para municípios brasileiros, através do
método multicritério ELECTRE TRI-C. A adoção dessa abordagem se deve à tentativa de atenuar as
diversas críticas sofridas pelo índice na literatura, tal como o efeito compensatório entre as dimensões.
Este estudo, portanto, sugere uma nova abordagem para composição do indicador e ilustra sua aplicação
com os municípios do Brasil.
O presente artigo está dividido em seis seções. A seção 2 trata do Índice de Desenvolvimento Humano,
enquanto que a 3 aborda o método multicritério ELECTRE TRI-C. A quarta seção mostra a mensuração
do IDH-M para os municípios brasileiros e a quinta apresenta as discussões pertinentes. Por fim, a última
seção conclui o trabalho.
2 Índice de Desenvolvimento Humano O IDH é formado pelo agrupamento de três dimensões – a longevidade (ou saúde), o conhecimento e o
padrão de vida (ou renda) – e tais dimensões são representadas por quatro indicadores. A dimensão
longevidade é caracterizada pela esperança de vida ao nascer, enquanto a renda é representada pelo
Rendimento Nacional Bruto (RNB) per capita. Já a educação é avaliada por dois indicadores, sendo eles a
média de anos de escolaridade e os anos esperados de escolaridade.
A mensuração do índice pode ser dividida em duas fases. A primeira compreende a criação dos índices
das dimensões através de um procedimento de normalização e, posteriormente, há a agregação desses
subíndices através de média geométrica. O valor do IDH varia entre 0 e 1, e um local é considerado mais
desenvolvido à medida que o seu índice se aproxima de 1. Em posse dos índices de todos os países, os
mesmos são arranjados em ordem decrescente para que possam ser classificados em muito alto, alto,
médio ou baixo desenvolvimento humano. O corte das classes é feito através de quartis. Para mais
informações sobre a metodologia do índice de desenvolvimento humano, as notas técnicas do relatório de
desenvolvimento humano de 2011 podem ser consultadas.
Desde a criação do índice, muitas críticas surgiram na literatura, envolvendo diversos aspectos. Stanton
(2007) afirma que as críticas sofridas pelo índice podem ser classificadas em quatro categorias, sendo
elas: pobreza nos dados, indicadores inadequados, problemas com a fórmula, mensuração da dimensão
renda e redundância. Dentre as críticas referentes à fórmula, pode-se citar os pesos atribuídos às
dimensões, as escalas desproporcionais dos indicadores e o procedimento de agregação parcialmente
compensatório. E ainda, há contestações referentes à desconsideração das desigualdades dentro dos
países.
A existência dessas críticas, no entanto, não compromete a importância do índice. Mesmo com a
necessidade de alguns ajustes, o IDH é amplamente utilizado para as mais diversas finalidades. Segundo
Harttgen & Klasen (2012), o IDH ainda é o indicador mais empregado para mensurar o desenvolvimento
humano. E as críticas são, inclusive, contribuíram para a melhoria do indicador ao longo dos anos.
Desde sua concepção, o IDH é utilizado para monitorar o desenvolvimento humano dos países ao redor
do mundo. Porém, como afirmam Anand & Sen (1994), percebeu-se também uma necessidade de
examinar a situação do desenvolvimento humano em níveis mais detalhados. Pagliani (2010) afirma que
índices avaliados em dimensões menores têm assumido um papel valioso, visto que contribuem para a
compreensão da situação do desenvolvimento humano local. Nesse contexto, índices de desenvolvimento
humano desagregados começaram a ser mensurados, como o Índice de Desenvolvimento Humano
Municipal.
Para o PNUD (2000), esse tipo de índice pode ser visto como um esforço importante para sistematizar os
dados sobre o desenvolvimento humano no nível municipal. E ainda, pode ser considerado como uma
relevante ferramenta de referência para o desenvolvimento dos planejamentos das cidades.
O IDH-M já tem sido utilizado em diversos trabalhos, em todo o mundo. Lai (2003) e Pagliani (2010)
ressaltam que esse tipo de estudo não é realizado apenas pelos relatórios nacionais do PNUD, mas
também por pesquisadores. Tal afirmação pode ser ratificada por vários trabalhos existentes na literatura.
Porter & Purser (2008) utilizaram o IDH subnacional nos Estados Unidos; Silva & Panhoca (2007)
avaliaram as cidades do estado de Santa Catarina, no Brasil; Lai (2003) aplica o índice desagregado nas
províncias chinesas; Agostini & Richardson (1997) usaram o IDH-M para comparar cidades norte
americanas; Akder (1994) calculou o índice para vários países, como China, Nigéria, Polônia e Índia; Das
(2008) e Indrayan et al. (1999) estimaram o IDH-M para áreas indianas; Sant 'Anna et al. (2011) fizeram
um estudo no Brasil; e Silva & Ferreira-Lopes (2013) mensuraram o IDH para regiões em Portugal.
3 Método Multicritério ELECTRE TRI-C Belton & Stewart (2002) definem o Apoio Multicritério à Decisão (MCDA) como uma coleção de
abordagens formais que consideram múltiplos critérios no apoio na ajuda de decisões individuais e em
grupo. E ainda, os autores colocam que uma suas maiores contribuições do MCDA é a habilidade de
sintetizar e organizar informações complexas que uma decisão envolve. Vincke (1992) afirma que a
formulação de problemas de decisão com o apoio multicritério vem sendo cada vez mais frequente, em
diversas áreas do conhecimento.
Na literatura, há vários métodos multicritério disponíveis. Roy (1996) os divide em três grandes famílias,
sendo elas: critério único de síntese, métodos de sobreclassificação e métodos interativos. Os métodos da
família de sobreclassificação procuram representar as preferências do decisor através de uma relação de
sobreclassificação. Tal divisão inclui os métodos das famílias ELECTRE e PROMETHEE.
Os métodos ELECTRE exploram as preferências do decisor através da relação binária de
sobreclassificação. Pode-se dizer que a sobreclassifica a’ (aSa’) se a é considerada pelo menos tão bom
quanto a’. O método ELECTRE TRI-C faz parte dessa família e foi proposto por Almeida-Dias et al.
(2010). Ele é recomendado para situações em que as alternativas podem ser alocadas em categorias
ordenadas pré-definidas, através da avaliação de vários critérios. Para informações sobre o procedimento
do método ELECTRE TRI-C, o trabalho de Almeida-Dias et al. (2010) deve ser consultado.
Esse método foi escolhido principalmente por causa de sua característica não compensatória. Além disso,
foi selecionado devido sua problemática de classificação, que permite que o método seja estável com o
ingresso de novas alternativas. E ainda, o método atenua outras críticas feitas ao IDH.
4 Índice de Desenvolvimento Humano para os Municípios Brasileiros Para ilustrar o emprego do método ELECTRE TRI-C na obtenção do Índice de Desenvolvimento
Humano Municipal, realizou-se uma aplicação numérica para municípios do Brasil. Dessa forma, o IDH-
M foi calculado para os 5.507 municípios brasileiros cadastrados pelo Instituto Brasileiro de Geografia e
Estatística (IBGE) do ano de 2000. Os parâmetros necessários foram estabelecidos através de simulação.
Os dados utilizados neste trabalho foram provenientes do Atlas do Desenvolvimento Humano no Brasil
de 2003, uma publicação que divulga informações do país com base no censo demográfico do IBGE. Tais
números são referentes ao censo realizado em 2000. Dados mais recentes não puderam ser utilizados
porque os dados do censo realizado em 2010 ainda não estão completamente disponíveis.
Na mensuração do IDH-M no Brasil, as dimensões de desenvolvimento humano foram mantidas,
entretanto, os indicadores sofreram pequenas adaptações, tendo em vista a disponibilidade dos dados. Os
critérios e os pesos atribuídos a eles podem ser encontrados na Tabela 1. Os pesos para os critérios foram
inicialmente obtidos através do procedimento revisado de Simo, elaborado por Figueira & Roy (2002).
Tabela 1: Critérios, pesos e ações de referência
Classes Ações de
referência
Critérios (pesos)
Expectativa
de vida ao
nascer
(0.292)
Média de
anos de
escolaridade
(0.208)
Expectativa
de anos de
escolaridade
(0.083)
Renda per
capita
(0.417)
b0 0 0 0 0
Baixo b1 62 4 9 150
Médio b2 66 5 11 300
Alto b3 70 6 13 400
Muito alto b4 74 7 15 600
b5 90 15 20 5000
As ações de referência adotadas também são apresentadas na Tabela 1, sendo úteis para a alocação das
alternativas nas classes. No contexto deste estudo, as ações de referência podem ser associadas a
municípios de referência. Sendo assim, para o seu estabelecimento, pensou-se quais seriam as
performances esperadas dos municípios em cada classe.
Por fim, os limiares utilizados são apresentados na Tabela 2 – indiferença ( ), preferência ( ) e veto ( ).
Tais limiares servem para que as imperfeições nas avaliações das alternativas sejam atenuadas.
Tabela 2: Limiares
Critérios Limiares
Expectativa de vida ao nascer 2 3 5
Média de anos de escolaridade 0.5 1.5 3
Expectativa de anos de escolaridade 1.5 2 4
Renda per capita 70 150 300
A seguir serão apresentados os resultados obtidos com a aplicação.
4.1 Resultados Como resultado, o método ELECTRE TRI-C alocou os municípios brasileiros em quatro classes de
desenvolvimento humano, sendo elas: muito alto, alto, médio e baixo desenvolvimento. Com a nova
classificação, 2.962 municípios tiveram sua classe alterada em relação à metodologia empregada pelo
PNUD – isso representa aproximadamente 54% do total.
Na Tabela 3 é possível observar tais alterações mais detalhadamente. A tabela mostra a porcentagem de
municípios dentro de cada classe de desenvolvimento humano, tanto para a metodologia do PNUD como
para o uso do método multicritério. É possível verificar que, devido à divisão em quartis, a classificação
original tem 25% das áreas em cada classe. O resultado encontrado com a abordagem sugerida, no
entanto, é bastante distinto: a maioria dos municípios está designada nas duas categorias inferiores,
enquanto uma parcela mínima está alocada na maior classe.
Tabela 3: Alocação dos municípios por classe
Classes Metodologia
do PNUD
ELECTRE
TRI-C
Desenvolvimento humano baixo 25% 38,75%
Desenvolvimento humano médio 25% 33,14%
Desenvolvimento humano alto 25% 25,48%
Desenvolvimento humano muito alto 25% 2,63%
Segundo a Tabela 3, pode-se observar que apenas 2,63% dos municípios brasileiros estão classificados
como de desenvolvimento humano muito alto. Tal fato se justifica pela definição das ações de referência
para cada classe, havendo, portanto, um desempenho mínimo a ser atingido para pertencer a cada nível de
desenvolvimento. Sendo assim, pode-se constatar que poucos municípios brasileiros (145)
corresponderam às expectativas determinadas na Tabela 1. Por outro lado, a maioria das áreas analisadas
se encaixou nos níveis mais baixos de desenvolvimento humano: 38,75% e 33,14% dos municípios foram
designados às classes baixa e média, respectivamente.
A Figura 1 mostra o mapa do Brasil e a classificação de seus municípios de acordo com os níveis de
desenvolvimento humano. O mapa da esquerda classifica de acordo com a metodologia do PNUD,
enquanto o da direita utiliza o método ELECTRE TRI-C. As áreas do mapa estão pintadas em escala de
cinza e, quanto mais elevado o grau de desenvolvimento humano, mais escura é a cor da região. Através
dessa figura, é possível comparar o resultado antes e depois da aplicação da abordagem proposta neste
trabalho.
Figura 1: IDH-M dos municípios brasileiros
A Figura 1 revela que o ELECTRE TRI-C classifica menos áreas como de elevado desenvolvimento
humano do que a metodologia empregada pelo PNUD. Tal fato é confirmado pelo mapa da direita mais
claro que o da esquerda. Portanto, pode-se dizer que a utilização do ELECTRE TRI-C para a classificação
dos municípios alterou significativamente os resultados.
A análise se sensibilidade foi realizada com o intuito de verificar a estabilidade do modelo e observar
como ele se comporta com a variação de alguns parâmetros. Dessa forma, modificações foram feitas no
índice de credibilidade e nos pesos dos critérios. As alterações nos parâmetros do modelo não interferiram
significativamente nos seus resultados.
5 Discussão O IDH-M é um indicador importante porque ele mostra os diferentes cenários que podem conter em um
país. Esse índice, portanto, pode ser utilizado para ajudar em decisões, já que ele provê informações mais
detalhadas de uma nação. Uma importante característica do IDH-M é que ele releva as desigualdades
presentes dentro dos países. Através desse indicador, portanto, é possível notar o grave erro ao se adotar
um único número para representar uma nação inteira, visto que, normalmente, um país apresenta
diferentes realidades.
Um exemplo é a situação do Brasil. No ano de 2000, o país foi classificado como de médio
desenvolvimento humano pelo PNUD. Essa classificação, no entanto, não correspondia com a maioria da
Metodologia do PNUD Método ELECTRE TRI-C
população. Como mostra a Figura 1, muitos municípios apresentavam uma situação precária (áreas
brancas) enquanto que outros eram fortemente desenvolvidos (áreas pretas). Portanto, para classificar os
locais de maneira consistente, eles precisam ser avaliados individualmente. Sendo assim, o IDH-M é
capaz de fornecer uma informação mais completa e precisa do que o IDH nacional.
O propósito deste estudo foi o de mensurar o IDH-M para os municípios brasileiros, usando o método
ELECTRE TRI-C. A metodologia empregada pelo PNUD não foi adotada visto suas críticas apontadas na
literatura, como já foi discutido neste artigo. Usando o ELECTRE TRI-C, alguns desses problemas
puderam ser atenuados, como o efeito compensatório, a sensibilidade escalar, a determinação de limites
máximos e mínimos e o tratamento logarítmico da dimensão renda.
Outra mudança obtida com o uso do método é que ele elimina o procedimento puramente matemático na
classificação das áreas, como ocorre com a abordagem do PNUD. O ELECTRE TRI-C permite que os
locais sejam classificados através da comparação com as ações de referência, que podem ser determinadas
a partir da preferência de um decisor. Sendo assim, pode-se levar em consideração desempenhos
esperados para a alocação em cada nível de desenvolvimento humano.
A aplicação do método resultou na classificação dos municípios em quatro classes de desenvolvimento
humano, causando mudanças em aproximadamente 54% dos casos, comparando com a metodologia do
PNUD. O grande número de alterações ocorreu porque esse método não divide as alternativas em quartis,
mas determina as classes através de comparações com as ações de referência. Quando o ELECTRE TRI-
C é usado, não se pode prever quantas alternativas serão alocadas em cada classe.
Então, pode ser observado que a metodologia do PNUD apresenta uma inadequação: ela considera que
metade da população vive em condições de desenvolvimento alta ou muito alta. Isso acontece devido à
divisão de classes em quartis, resultando numa falsa impressão de desenvolvimento. Usando o método
multicritério, entretanto, a classificação dos municípios em quartis não ocorre. São definidas
performances esperadas para cada nível de desenvolvimento, para todos os critérios. Então, desempenhos
mínimos são estabelecidos para cada categoria, o que não acontece na abordagem tradicional. Portanto, a
categorização é realizada de forma mais próxima da realidade com a adoção do ELECTRE TRI-C.
Quando os mapas da Figura 1 são comparados, pode-se ver que aquele classificado pelo ELECTRE TRI-
C é mais claro, implicando que mais áreas são classificadas como de baixo ou médio desenvolvimento.
Esse resultado, porém, não é necessariamente negativo, porque através dele se pode ter uma visão mais
realista do país. Afirmar que metade da população brasileira tem boa qualidade de vida é irreal, ainda
mais quando se trata de 14 anos atrás.
Como o IDH pode ser consultado para embasar decisões importantes, é extremamente relevante que ele
seja mensurado da maneira correta e que as áreas sejam classificadas de acordo com sua realidade. Então,
o processo de tomada de decisão pode ser feito de maneira mais consistente com a realidade e pode
contribuir mais com o esforço de melhorar a vida dos cidadãos.
Observando os mapas, também pode-se verificar que o Brasil apresenta manchas escuras da região sul até
a região central. Tal fato é corroborado com a realidade do país, visto que essas áreas são as mais
desenvolvidas, com uma maior qualidade de vida da população. Nas áreas norte e nordeste, quase todos
os municípios foram classificados como de baixo ou médio desenvolvimento. Algumas exceções, no
entanto, acontecem nas capitais dos estados. Portanto, diante dos mapas, é clara a grande desigualdade
nesse país, que apresenta dimensões continentais.
A situação no Brasil hoje, entretanto, é um pouco diferente. Desde 2000, quando os dados utilizados neste
trabalho foram coletados, o cenário da nação se modificou. O IDH, por exemplo, cresceu em uma média
de 0,8% por ano. Em 2012, o Brasil foi classificado pelo PNUD (2013) como de alto desenvolvimento
humano, ocupando o 85º lugar no ranking. A expectativa de vida era de 70,12 anos em 2000 e aumentou
para 73,8 em 2012. O tempo gasto em educação nesse país cresceu de 6 para 7,2 anos, de 2000 para 2012.
Finalmente, o RNB per capita subiu de $ 3.860 em 2000 para $ 10.152 em 2012.
Diante desses números é possível verificar que o Brasil cresceu na última década, impactando
consequentemente no nível de desenvolvimento dos seus cidadãos. A desigualdade, no entanto, ainda é
um grave problema para os brasileiros: as disparidades ainda são alarmantes. Seria interessante, portanto,
aplicar a metodologia sugerida neste trabalho para mensurar o nível de desenvolvimento com os dados do
senso demográfico de 2012, a fim de comparar a evolução na qualidade de vida no país.
6 Conclusões O IDH é um importante indicador, visto que considera o desenvolvimento humano por meio de diferentes
aspectos. O índice tem sua relevância ratificada na literatura, podendo ser utilizado para embasar tomadas
de decisão tanto públicas como privadas. Tal índice, porém, tem potencial adicional quando é calculado
para menores dimensões, já que ressalta disparidades locais e captar melhor características peculiares.
Outras abordagens podem ser utilizadas na mensuração do IDH, objetivando atenuar as críticas feitas ao
índice. Sendo assim, sugeriu-se uma metodologia diferenciada neste trabalho, através do método
multicritério ELECTRE TRI-C. Com essa nova forma de cálculo foi possível, principalmente, sanar o
problema da compensação entre os indicadores, e ainda minimizar os problemas com a sensibilidade
escalar, a determinação de limites máximos e mínimos, o tratamento logarítmico da renda e a estabilidade
com a entrada de novas alternativas.
Para ilustrar o uso da abordagem sugerida, realizou-se uma aplicação numérica para os 5.507 municípios
brasileiros. Como resultado, obteve-se a classificação dessas áreas em quatro regiões de desenvolvimento
humano. Em relação à abordagem tradicional, houve uma mudança de classificação em 54% dos
municípios.
Com a nova abordagem a maioria das áreas (71,89%) foi definida como de desenvolvimento humano
baixo ou médio, enquanto que apenas 2,63% delas foram designadas como de desenvolvimento muito
alto. Esses resultados se mostraram bastante distintos daqueles apontados pela metodologia do PNUD.
Pode-se afirmar que a nova classificação é mais adequada à realidade brasileira, já que sabe-se que esse
país não tem metade de sua população vivendo com qualidade de vida alta ou muito alta, como sugere a
metodologia do PNUD.
Referências
1. S. J. Agostini and S. J. Richarson. A Human Development Index for U.S. Cities: Methodological Issues and
Preliminary Findings. Real State Economics, 25(1): 13-41, 1997.
2. A. H. Akder. A Means to Closing Gaps: Disaggregated Human Development Index. Human Development
Report Office, New York, 1994.
3. J. Almeida-Dias, J. R. Figueira, and B. Roy. Electre Tri-C: A Multiple Criteria Sorting Method Based on
Characteristic Reference Actions. European Journal of Operational Research, 204(3), 565-580, 2010.
4. S. Anand and A. Sen. Human Development Index: Methodology and Measurement. Human Development
Report Office, New York, 1994.
5. V. Belton, and T. J. Stewart, T. J. Multiple Criteria Decision Analysis. Kluwer Academic Publishers, 2002.
6. S. Das. Human Well Being: A Decile Group Analysis on Indian Household Data. Social Indicators Research,
87(3), 461-472, 2008.
7. J. Figueira and B. Roy. Determining the Weights of Criteria in the ELECTRE Type Methods with a Revised
Simos’ Procedure. European Journal of Operational Research, 139(2), 317–326, 2002.
8. K. Harttgen and S. Klasen. A Household-Based Human Development Index. World Development, 40(5), 878–
899, 2012.
9. A. Inrayan, M. J. Wysocki, A. Chawla, R. Kumar, and N. Singh. 3-Decade Trend in Human Development Index
in India and Its Major States. Social Indicators Research, 46(1), 91-120, 1999.
10. D, Lai. Principal Component Analysis on Human Development Indicators of China. Social Indicators Research,
61(3): 319-330, 2003.
11. P. Pagliani. Influence of Regional, National and Sub-national HDRs. Programa das Nações Unidas para o
Desenvolvimento, New York, 2010.
12. J. R. Porter and C. W. Purser. Measuring Relative Sub-national Human Development: An Application of the
United Nation’s Human Development Index Using Geographic Information Systems. Journal of Economic
Social Measurement, 33(4): 253-269, 2008.
13. Programa das Nações Unidas para o Desenvolvimento. Relatório do Desenvolvimento Humano 2013: A
Ascensão do Sul: Progresso Humano num Mundo Diversificado. PNUD, New York, 2013.
14. Programa das Nações Unidas para o Desenvolvimento. Relatório do Desenvolvimento Humano:
Sustentabilidade e Equidade: Um Futuro Melhor para Todos. New York, 2011.
15. Programa das Nações Unidas para o Desenvolvimento, Instituto de Pesquisa Econômica Aplicada and Fundação
João Pinheiro. Atlas do Desenvolvimento Humano no Brasil. UNDP, Rio de Janeiro, 2003.
16. Programa das Nações Unidas para o Desenvolvimento. National Human Development Report Bulgaria 2000:
The Municipal Mosaic. Bulgária, 2000.
17. B. Roy. Multicriteria methodology for decision aid. Kluwer Academic Publishers, 1996.
18. A. P. Sant´Anna, R. O. A. Ribeiro, and S. Dutt-Ross. Employing the Components of the Human Development
Index to Drive Resources to Educational Policies. Social Indicators Research, 104(3), 523-532, 2011.
19. R. Silva and A. Fereira-Lopes. A Regional Development Index for Portugal. Social Indicators Research, doi:
10.1007/s11205-013-0455-z. 2013.
20. O. M. Silva and L. Panhoca. A Contribuição da Vulnerabilidade na Determinação do Índice de
Desenvolvimento Humano: Estudando o Estado de Santa Catarina. Ciência e Saúde Coletiva, 12(5): 1209-1219,
2007.
21. E. A. Stanton. The Human Development Index: a history. Political Economy Research Institute, Amherst, 2007.
22. P, Vincke. Multicriteria Decision-Aid. John Wiley & Sons, 1992.