model risk managementaspectos quantitativos equalitativos da

Instituições Financeiras www.managementsolutions.com

Model Risk ManagementAspectos quantitativos equalitativos da gestão do risco de modelo

Design e diagramaçãoDepartamento de Marketing e ComunicaçãoManagement Solutions - Espanha

FotografIasArquivo fotográfico da Management SolutionsFotolia

© Management Solutions 2014Todos os direitos reservados. Proibida a reprodução, distribuição, comunicação ao público, no todo ou em parte, gratuita ou paga, por qualquer meio ou processo, sem o prévioconsentimento por escrito da Management Solutions.

O material contido nesta publicação é apenas para fins informativos. A Management Solutions não é responsável por qualquer uso que terceiros possam fazer desta informação.Este material não pode ser utilizado, exceto se autorizado pela Management Solutions.

Índice

Introdução

Resumo executivo

Elementos de um framework objetivo de MRM

Quantificação do risco de modelo

4

8

18

Definição e regulamentação sobre risco de modelo 12

26

Bibliografia 36

Glossário 37

MANAGEM

ENT SOLUTIONS

Model Risk Management - Aspectos quantitativos e qualitativos da gestão do risco de modelo

4

Introdução

5

Nos últimos anos, observou-se uma tendência nas instituiçõesfinanceiras de um maior uso de modelos para a tomada dedecisões, que foi impulsionada em parte pela regulamentação,mas que se manifesta em todos os âmbitos da gestão.

Neste sentido, constata-se que uma elevada proporção dasdecisões das instituições é tomada de forma automatizada,com modelos de decisão (sejam algoritmos estatísticos ouconjuntos de regras)1.

Por um lado, nos últimos anos ampliou-se o uso deplataformas eletrônicas que executam de forma automáticaordens de trading programadas segundo tempo, preço ouvolume, e que podem ser iniciadas sem intervenção manual, oque é conhecido como algorithmic trading. Como exemplo, aoexecutar uma ordem automática de trading, em 6 de maio de2010, ocorreu um flash crash de 4,1 bilhões de dólares na Bolsade Nova York, que caiu mais de 1.000 pontos e se recuperouao mesmo valor em apenas 15 minutos2.

Por outro lado, e em parte estimuladas pela regulamentaçãode Basileia3, as instituições empregam cada vez mais modelosde decisão (formados por algoritmos estatísticos e regras dedecisão) em seus processos de concessão, acompanhamento erecuperação do crédito. Assim, é determinado de formaautomática se um crédito é viável ou não, através daestimativa da probabilidade de default (PD) do cliente. Domesmo modo, as instituições observam a evolução de seusclientes e antecipam a deterioração do crédito com modelosautomáticos de alertas, pré-classificam os clientes eestabelecem limites de crédito para eles; e, no âmbito dasrecuperações, determinam perfis estatísticos de clientesinadimplentes para aplicar-lhes diferentes estratégias decobrança.

No âmbito comercial, permite-se ao cliente selecionar ascaracterísticas de um produto (valor, prazo e finalidade de umempréstimo, coberturas de um seguro, etc.) e o sistemadetermina em tempo real a viabilidade da oferta e o preço. Emmuitos casos, o modelo faz uma série de perguntas ao clientee lhe oferece proativamente a melhor configuração para suascaracterísticas (o que manualmente seria lento e complexo).

Os modelos de avaliação de produtos ou instrumentosfinanceiros, tanto no âmbito de mercado como no de ALM,estão muito disseminados nas instituições. Exemplos clássicosdesses modelos são Black-Scholes, CAPM4 e os modelos deMonte Carlo para avaliação.

Outro âmbito onde o uso de modelos é cada vez maisfrequente é a detecção de fraude e lavagem de dinheiro. Tantoas instituições como os reguladores empregam modelos deidentificação de transações fraudulentas ou orientadas àlavagem de dinheiro, para o que é usada uma combinação demodelos estatísticos de identificação de perfis de cliente (knowyour customer, KYC), regras de monitoramento de transações elistas negras.

Por outro lado, está se ampliando o uso dos modelos deonboarding, vinculação e campanhas comerciais. Com isso, sãodeterminadas de forma automática as ações de fidelização evinculação de clientes, tanto na primeira etapa de seurelacionamento com a instituição como em qualquermomento de seu ciclo de vida, o que inclui a venda cruzada deprodutos e serviços personalizados para as necessidades docliente, dentro do âmbito do CRM5.

1MIT (2005).2SEC (2010).3BCBS (2004-06).4Capital asset pricing model.5Customer relationship management.

MANAGEM

ENT SOLUTIONS


6

Outros exemplos incluem a estimativa do consumo de capitalem todas as suas acepções (crédito, mercado, operacional,ALM, etc.) através de seus componentes; a quantificação daposição de liquidez atual e projetada em diferentes cenários; aprojeção do balanço, a demonstração de resultados e autilização de modelos de teste de estresse6; ou a modelagemde diversos componentes essenciais para o planejamento e odesenvolvimento de negócios: cesta ótima, renda de clientes enão clientes ou abandono, entre outros (Fig. 1).

A utilização de modelos tem benefícios inquestionáveis, entreos quais:

4 A automatização da tomada de decisões, que por sua vezfacilita a melhoria da eficiência através da redução doscustos associados à análise e à decisão manual.

4 A objetividade na tomada de decisões, garantindo que oresultado das estimativas seja o mesmo em circunstânciasiguais, e o reaproveitamento das informação internas eexternas, valorizando a experiência histórica.

4 A capacidade para sintetizar questões complexas, como operfil de risco agregado de uma instituição.

Não obstante, a utilização de modelos também envolve custose riscos, entre os quais cabe mencionar:

4 O custo direto em recursos (financeiros e humanos) etempo para seu desenvolvimento e implementação.

4 O risco de confiar nos resultados de um modelo incorretoou mal aplicado. Deste caso foram dados exemplosverídicos e recentes que geraram perdas consideráveis7.

Neste sentido, pode-se definir o risco de modelo como «oconjunto de possíveis consequências adversas derivadas dedecisões baseadas em resultados e relatórios incorretos demodelos, ou de seu uso inadequado»8.

Os erros em um modelo podem incluir simplificações,aproximações, hipóteses erradas ou um processo de desenhoincorreto; o uso inadequado dos modelos inclui sua aplicaçãofora do uso para o qual foram concebidos9.

O risco de modelo assim definido, muito relevantepotencialmente, captou a atenção de reguladores einstituições, que oscilam entre a mitigação através da validaçãodos modelos e o estabelecimento de um framework integradopara sua gestão ativa.

Nos casos mais avançados, esta gestão ativa materializou-se emum framework de gestão de risco de modelo (model riskmanagement, MRM) que estabelece as diretrizes sobre todo oprocesso de planejamento, desenvolvimento, implementação,validação, inventário e uso dos modelos.

Isso é referendado pelo fato de que os reguladores,especialmente nos EUA, começam a exigir este tipo deframeworks, como se observa nas diretrizes10 do FederalReserve System (Fed) e do Office of the Comptroller of theCurrency (OCC), que estão servindo como ponto de partidapara o setor.

A regulamentação não se aprofunda em aspectos relativos àquantificação do risco de modelo, exceto para casos muitoespecíficos da avaliação de certos produtos, onde chega aexigir uma estimativa do risco de modelo através de ajustes naavaliação (model risk AVAs11) que derivam em uma maiornecessidade de capital, ou também na possível utilização,como mitigante, de um buffer de capital por risco de modeloem um sentido mais amplo, mas sem chegar a especificar seucálculo.

Neste contexto, o presente estudo pretende proporcionar umavisão ampla sobre a gestão do risco de modelo, sua definição,natureza e fontes, a regulamentação associada, e suasimplicações práticas. Para isso, o documento é estruturado emtrês seções, que respondem a três objetivos:

4 Apresentar o risco de modelo através de sua definição, aanálise de suas fontes e um breve resumo daregulamentação relacionada mais relevante.

4 Descrever um framework objetivo de gestão de risco demodelo de forma prática e baseada em exemplosobservados em instituições financeiras.

4 Avançar na quantificação do risco de modelo (e suaspossíveis aplicações práticas) através de um exercícioquantitativo que ilustre o impacto deste risco.

6 Ver Management Solutions (2013).7 Por exemplo, o caso do "London Whale", que causou mais de 6,2 bilhões dedólares de perdas para a JPMorgan em 2012, que se enquadra no mercado OTCde derivativos, que em junho de 2013 tinha uma exposição de quase 700 bilhõesde dólares; ver BIS (2013); ou a avaliação incorreta do risco de determinadosinstrumentos derivativos, incluída entre as causas da crise subprime dos EUA de2008.8 OCC-Fed (2011-12).9 Ibid.10 Ibid.11Model risk additional valuation adjustments (AVAs), detalhados no EBA (2013).

7

Fonte: média de várias instituições financeiras

Fig. 1. Nuvem de modelos: o tamanho de cada termo é proporcional ao número de modelos cujo objetivo é esse termo

MANAGEM

ENT SOLUTIONS


8

Sumário executivo

9

Esta seção pretende sintetizar as principais conclusõesalcançadas sobre a gestão do risco de modelo em instituiçõesfinanceiras (que são desenvolvidas nas seções correspondentesdo presente documento).

Definição e regulamentação sobre risco demodelo

1. A utilização de modelos matemáticos dissemina-se comrapidez nas instituições financeiras em diversas áreas, o queaporta benefícios inquestionáveis (objetividade,automatização, eficiência, etc.), mas também envolve custos.

2. Entre esses custos, encontra-se o risco de modelo,entendido como as perdas (econômicas, reputacionais, etc.)provocadas por decisões baseadas em modelos incorretosou utilizados de forma inadequada.

3. Assim entendido, o risco de modelo pode provir de trêsfontes fundamentais: carências nos dados (tantodisponibilidade como qualidade); incerteza na estimativaou erros metodológicos no desenho do modelo(volatilidade dos estimadores, simplificações, aproximações,hipóteses incorretas, desenho incorreto, etc.); e usoinadequado do modelo (aplicação do modelo fora de seuuso previsto, falta de atualização e recalibração, etc.).

4. Em relação à regulamentação, existe poucaregulamentação referente ao risco de modelo e, com umaexceção, refere-se quase exclusivamente à necessidade deefetuar ajustes de avaliação em produtos derivativos, pelanecessidade de contemplar todos os riscos no processo deautoavaliação do capital (ICAAP12) ou pela utilização da taxade alavancagem de Basileia III como um mitigante do riscode modelo na estimativa dos ativos ponderados por riscopara o cálculo de capital por modelos internos13.

5. A exceção refere-se à Supervisory Guidance on Model RiskManagement14 publicada pela OCC e pelo Fed dos EUA em2011-12, que pela primeira vez define com precisão o riscode modelo e estabelece, através de diretrizes, anecessidade de que as instituições disponham de umframework para identificá-lo e administrá-lo (embora nãonecessariamente quantificá-lo), aprovado por seusconselhos de administração.

6. Estas diretrizes abrangem todas as fases do ciclo de vida deum modelo: desenvolvimento e implementação, uso,validação, governança, políticas, controle e documentaçãopor parte de todos os envolvidos; com ênfase especial

neste último aspecto, dada sua importância nos processosde validação efetiva dos modelos.

7. Entre os principais aspectos requeridos, encontra-se anecessidade de tratar o risco de modelo com o mesmorigor que qualquer outro risco, com a particularidade deque não pode ser eliminado, somente mitigado através deum questionamento efetivo («effective challenge»).

8. Os reguladores enfatizam expressamente que umamodelagem experiente, uma validação robusta dosmodelos e um nível de conservadorismo devidamentejustificado (mas não desproporcional) são elementosnecessários mas não suficientes para a mitigação do riscode modelo, e que nenhum deles é argumento para que nãose busque a melhoria contínua dos modelos.

9. Em relação à organização e à governança do risco demodelo, os reguladores não prescrevem um esquemaespecífico, mas sim a necessidade de estabelecer umadistinção clara entre as funções de «ownership»15, «control»16

e «compliance»17 dos modelos.

10. O Conselho de Administração é o responsável em últimainstância por aprovar o framework de gestão do risco demodelo (MRM) e deve ser informado periodicamente sobreo risco de modelo significativo ao qual a instituição possaestar exposta.

11. Por último, os reguladores destacam que o princípiofundamental na gestão do risco de modelo é o effectivechallenge, entendido como a análise crítica por parte deprofissionais objetivos, qualificados e com experiência nalinha de negócios em que o modelo é usado, que possamidentificar as limitações e premissas, e propor as melhoriasapropriadas.

12. Esta aproximação integrada ao risco de modelo é inovadorano setor, e a tendência esperada nos próximos anos é que osetor vá se adaptando e aderindo a essas práticas, como jáestão fazendo as instituições mais avançadas.

12Internal Capital Adequacy Assessment Process.13BCBS (2010-11).14OCC-Fed (2011-12).15Ownership: refere-se ao "proprietário" ou usuário do modelo.16Control: função que valida o modelo e estabelece limites para seu uso.17Compliance: abrange a execução dos processos que garantem que as outrasduas funções sejam desempenhadas de acordo com as políticas estabelecidas.

MANAGEM

ENT SOLUTIONS


10


13. As instituições mais avançadas neste assunto dispõem deum framework de gestão do risco de modelo (MRM) que sesubstancia em um documento aprovado pelo Conselho deAdministração e que detalha aspectos relativos àorganização e governança, gestão de modelos, etc.

14. Em relação à organização e governança, o framework deMRM caracteriza-se por sua transversalidade (envolve váriasáreas, como as linhas de Negócios, Riscos, Auditoria Interna,Tecnologia, Finanças, etc.), a definição explícita das trêsfunções que o regulador demanda (ownership, control ecompliance) e sua designação a funções específicas daorganização e, sobretudo, o estabelecimento de umafunção de Gestão de Risco de Modelo (MRM), cujaresponsabilidade seja criar e manter o framework de MRM

15. Em algumas organizações, a função de MRM inclui a funçãode Validação Interna (embora em outras seja uma funçãodistinta) e, em todo caso, ocupa-se de tudo o que estárelacionado com a governança dos modelos: manter uminventário global de modelos atualizado, elaborar e difundiras políticas de MRM, avaliar anualmente todos os modelosda instituição, etc.

16. A função de MRM, liderada habitualmente por um ModelRisk Officer (MRO), costuma ter a última palavra sobre aaprovação de qualquer modelo da instituição.

17. Em relação à gestão de modelos, o framework de MRMinclui aspectos como: (a) o inventário de modelos, que fazum levantamento de todos os modelos da instituição emtodos os âmbitos (riscos, comercial, finanças, etc.), em geralcom uma ferramenta tecnológica apropriada que registretodas as mudanças e versões; (b) um sistema declassificação ou tiering dos modelos em função do risco queapresentem para a instituição, de que depende o nível de

exaustividade no acompanhamento, na validação e nadocumentação dos modelos; (c) uma documentaçãocompleta e detalhada de cada modelo, que permita aréplica por parte de um terceiro e a transferência para umnovo desenvolvedor de modelos sem perda deconhecimento; e (d) um esquema de acompanhamento dosmodelos que permita detectar o quanto antes os desviosde desempenho do modelo em relação ao previsto, assimcomo usos inadequados, para adotar ações emconsequência.

18. A validação dos modelos é um elemento central para agestão do risco de modelo, e deve considerar comoprincípio fundamental o questionamento (challenge) crítico,efetivo e independente de todas as decisões tomadas emdesenvolvimento, acompanhamento e uso do modelo. Aperiodicidade e a intensidade da validação de cada modelodevem ser proporcionais a seu risco, medido através de seutier, e o processo e o resultado da validação devem serdocumentados exaustivamente.

19. Embora a quantificação do risco de modelo não seja umelemento requerido pela regulamentação (com exceção doque já foi comentado na introdução), algumas instituiçõesestão começando a incorporá-lo em sua gestão com oobjetivo de identificar e medir de forma objetiva potenciaisimpactos derivados das manifestações do mencionadorisco.


20. Além da regulamentação, e com objetivos de gestão,algumas instituições começaram a trabalhar no ciclo dequantificação do risco de modelo, que constafundamentalmente de três fases: identificação eclassificação das fontes de risco de modelo: (1) carênciasnos dados, (2) incerteza na estimativa ou erros no modelo e

11

(3) uso inadequado do modelo; estimativa do risco demodelo de cada fonte (sensibilidade dos outputs àsflutuações dos inputs); e mitigação do risco de modeloatravés da aplicação das medidas oportunas.

21. Para ilustrar este processo, foi realizado um estudo cujoobjetivo é estimar o risco de modelos e parâmetros decrédito.

22. Para exemplificar a estimativa de carências nos dados, oprimeiro exercício analisa o impacto da ausência deinformações nas variáveis mais preditivas de um modelo descoring de financiamentos imobiliários de pessoas físicas.Observa-se que a presença de erros nas variáveis maispreditivas do modelo pode elevar significativamente a taxade default, ou alternativamente elevar o custo deoportunidade (reduzir o volume de negócios captado) sefosse estabelecida a mesma inadimplência.

23. O segundo exercício está orientado a analisar o risco demodelo proveniente da incerteza na estimativa, utilizandopara isso os intervalos de confiança dos estimadores. Comeste objetivo, a partir dos intervalos de confiança de ummodelo de scoring, do cálculo da PD e do cálculo da LGD(de forma separada e de forma combinada), observa-secomo o consumo de capital em uma carteira hipotecáriapode chegar a estar subestimado pelo efeito combinado daincerteza nos estimadores do scoring, na calibração da PD ena estimativa da LGD.

24. Por último, o terceiro exercício analisa o uso inadequadodos modelos tomando como exemplo a falta de atualizaçãodos mesmos (neste caso, um modelo de scoring) durante 12meses após sua construção. Para isso, compara-se o poderpreditivo do modelo no momento de sua construção com oque apresenta um ano depois, e é avaliado o impacto nainadimplência e no custo de oportunidade (menorcaptação de negócios) da decisão de não atualizá-lo.Observa-se que a falta de atualização do modelo estudadodurante 12 meses leva a reduções de seu poder preditivoem vários pontos percentuais. A consequência destaredução é um aumento da taxa de default, oualternativamente uma redução do volume de negócioscaptado (ou seja, um aumento do custo de oportunidade)mantendo a mesma inadimplência.

25. Em síntese, o risco de modelo pode ter impactosquantitativos muito relevantes, que podem levar a tomardecisões de gestão incorretas, ou inclusive a subestimar oconsumo de capital ou as provisões de uma instituição. Porisso, é conveniente dispor de um framework de MRM e, sefor o caso, avançar na utilização de técnicas robustas deestimativa do risco de modelo, orientadas à aplicação dastécnicas de mitigação apropriadas.

MANAGEM

ENT SOLUTIONS


12

Definição e regulamentação sobre risco de modelo

13

O que é um modelo?

Ao analisar o risco de modelo, a primeira pergunta que se podefazer é definir o que é, e o que não é, um modelo.

De acordo com o Fed e a OCC18, o termo «modelo» refere-se a«um método quantitativo, sistema ou estratégia que aplicateorias, técnicas e hipótese estatísticas, econômicas, financeirasou matemáticas para processar dados e obter estimativasquantitativas». Consta de três componentes (Fig. 2):

4 A informações de entrada (input), que necessariamenteintroduzem hipótese e premissas do modelo.

4 O método que transforma as informações de entrada emestimativas, que em geral empregará a estatística paraproduzir estimativas quantitativas.

4 E o componente de relatório, que transforma asestimativas em informações úteis para os negócios.

Ainda de acordo com o Fed e a OCC, «a definição de modelotambém abrange os enfoques quantitativos, cujos dados deentrada são parcial ou totalmente qualitativos ou se baseiamem critério especializado, sempre que a estimativa seja denatureza quantitativa».

Como se pode avaliar, o conceito de modelo é mais amplo doque uma interpretação parcial – mais ligada ao algoritmomatemático em sentido estrito – sugeriria, e engloba, entreoutros, os modelos especialistas.

Não obstante, esta definição conserva certa margem parainterpretação. Por exemplo, com uma definição como a citada,sem dúvida seriam considerados como modelos:

4 Um algoritmo para o cálculo do value-at-risk (VaR) em riscode mercado mediante simulações tanto de Monte Carlocomo históricas.

4 Um scoring para o cálculo da probabilidade de default(probability of default, PD) dos empréstimos de uma carteiramediante uma regressão logística.

4 Os mecanismos de avaliação de exposições, ativos,instrumentos, carteiras, derivativos, etc.

Por outro lado, com esta definição seria questionável considerarcomo modelos:

4 Qualquer agregação simples de dados: somas, médias,desvios padrão, índices financeiros, etc.

4 Uma projeção de crescimento anual constante tomandouma única variação anual histórica de referência, semrealizar nenhuma outra análise.

Fig. 2. Componentes de um modelo

18OCC- Fed (2011-12).

1. Carências nos dados, tanto de disponibilidade como dequalidade, que incluem erros nos dados, ausência devariáveis críticas, falta de profundidade histórica, falhas naalimentação das variáveis ou tamanhos amostraisinsuficientes. Por exemplo, a utilização em um modelo deum valor de tributação na data de formalização de umcontrato ao invés de à data mais recente, porque não foiarmazenado nos bancos de dados.

2. Incerteza na estimativa ou erros no modelo, na forma desimplificações, aproximações, hipóteses incorretas ou umdesenho incorreto do modelo. Podem ocorrer em qualquerponto de seu desenvolvimento, desde o desenho até aimplementação, o que pode provocar resultados incorretose não alinhados com o objetivo e o uso previsto do modelo.Incluem a própria incerteza nos estimadores (que se reflitanos intervalos de confiança, que com frequência sãocalculados mas tendem a não ser usados), mas também ouso de parâmetros não observáveis, a ausência deconsenso de mercado sobre a forma funcional do modelo,e as dificuldades computacionais, entre outros.

3. Uso inadequado do modelo, que inclui tanto sua aplicaçãofora do uso para o qual foi concebido (como construir ummodelo de rating com uma carteira e aplicá-lo a umacarteira diferente, por exemplo de outro país), como o fatode não reestimar nem recalibrar os modelos em um longoperíodo de tempo.

MANAGEM

ENT SOLUTIONS


14

4 O mecanismo de tomada de decisões unicamente emfunção do valor de uma variável; por exemplo, uma regrasimples de aceitação ou negação sobre a LTV.

Em todo caso, é uma decisão de cada instituição delimitar oescopo do que será considerado modelo e ficará portantoafetado pelo risco de modelo e as políticas relacionadas queserão definidas. Em algumas ocasiões, esse escopo será difusoe requerirá certo grau de critério subjetivo.

Uma vez delimitado o escopo do termo, também deverá sepronunciar sobre os tipos de modelos que serão objeto deanálise (de riscos, comerciais, de projeções financeiras, etc.).

Risco de modelo: natureza e fontes

Os modelos são representações simplificadas da realidade.Esta simplificação é inevitável, considerando a complexidadedas relações entre as variáveis, e em todo caso é um foco derisco que necessita ser identificado, analisado e administradocomo qualquer outro risco de uma instituição.

O risco de modelo, de acordo com o Fed e a OCC, é definidocomo «o conjunto de possíveis consequências adversasderivadas de decisões baseadas em resultados e relatóriosincorretos de modelos, ou de seu uso inadequado»19.

Se a isso forem agregadas de forma explícita as deficiênciasnos dados (que acarretam a incorreção de um modelo), asfontes do risco de modelo podem ser classificadas em trêsblocos (Fig. 3):

Fig. 3. Fontes de risco de modelo

19Ibíd.

15

Contexto regulatório

Até a data, existem poucas normas que regulem de formaespecífica o risco de modelo, e as normas tendem a serinespecíficas tanto em sua delimitação como no tratamentoesperado. Especificamente além do documento normativo doFed e da OCC que será analisado em detalhes, algumasreferências regulatórias ao risco de modelo podem sercaracterizadas em três tipos (Fig. 4):

4 Ajustes de avaliação: trata-se de norma que regula anecessidade de ajustar de forma prudencial a avaliação dedeterminados produtos (especialmente derivativos) paracontemplar o possível risco de modelo.

Embora Basileia II já apontasse20 para a necessidade de seproceder a esses ajustes, o principal framework regulatórionesta direção ocorreu em 2013, com a publicação por parteda EBA do RTS on Prudent Valuation, em que pela primeiravez são definidas pautas metodológicas específicas sobrecomo realizá-los. Representa, portanto, o único caso dequantificação explícita do risco de modelo incluído naregulamentação, como será detalhado mais à frente.

4 Buffer de capital vinculado ao ICAAP21: tanto Basileia II emseu segundo pilar como certos reguladores locais22 aotranspô-lo incluem a necessidade de alocar capital portodos os riscos que a instituição considere relevantes,dentro de seu processo de autoavaliação do capital ouICAAP.

Isso ocorre também em outros processos vinculados aoICAAP, como o exercício de teste de estresse dos EUAconhecido como CCAR23, em que o regulador tambémsugere a possibilidade de alocar um buffer de capital em

Fig. 4. Principais referências regulatórias sobre risco de modelo

20BCBS (2004-06): «699. As autoridades supervisoras esperam que, no mínimo,sejam considerados formalmente os seguintes ajustes/reservas de avaliação: […]quando for procedente, o risco associado à utilização de um modelo».21Internal Capital Adequacy Assessment Process.22Ver, por exemplo, Banco de España (2008-14).23Comprehensive Capital Analysis and Review.

conceito de risco de modelo, embora não exija, e de fatoalgumas instituições fazem isso na prática.

Contudo, na maioria destas normas a menção explícita dorisco de modelo é tangencial ou pode ser entendidaenglobada no conjunto de «outros riscos».

4 Outras menções: agrupa outras referências menores aorisco de modelo, que o pressupõem implícito em outroselementos regulatórios. O caso mais notável é aconsideração por parte do Comitê de Basileia da mitigaçãodo risco de modelo através da aplicação do índice dealavancagem, embora não aprofunde muito mais nesteaspecto24.

O principal framework regulatório, no entanto, ocorreu em2011-12, com a publicação por parte dos reguladores dos EUAda Supervisory Guidance on Model Risk Management25. Pelaprimeira vez, foi definido com precisão o conceito de risco demodelo e estabelecida a necessidade de que as instituiçõesdisponham de um framework para identificá-lo e administrá-lo.

24BCBS (2010-11): «16. […] o Comitê introduz um coeficiente de alavancagem comos seguintes objetivos: […] introduzir medidas de salvaguarda adicionais frenteao risco de modelos e erros de mensuração, complementando as medidasbaseadas em risco com outras mais simples, transparentes e independentes».25OCC-Fed (2011-12).

Fig. 5. Estrutura e âmbitos da norma do Fed e da OCC sobre gestão do risco de modelo

MANAGEM

ENT SOLUTIONS


16

Para isso, a norma apresenta uma série de diretrizes ouprincípios de atuação sobre o risco de modelo, estruturadospor áreas (Fig. 5), que podem ser sintetizados nos seguintes(Fig. 6):

1. O risco de modelo deve ser administrado como qualqueroutro risco; as instituições devem identificar suas fontes eavaliar sua magnitude para poder administrá-lo.

2. O risco de modelo não pode ser eliminado, só pode sermitigado com boa gestão. Uma combinação demodelagem experiente e validação robusta, emboranecessária, não basta para eliminar o risco de modelo.

3. Em consequência, deve existir um framework de gestão dorisco de modelo (MRM), aprovado pelo Conselho deAdministração.

4. O conservadorismo bem apoiado nos inputs, nos outputs eno desenho do modelo é uma ferramenta eficaz, mas nãopode ser argumento para evitar uma abordagem demelhoria contínua dos modelos.

5. O uso prudente de modelos pode incluir enfoquesconservadores devidamente justificados, o teste de estressedo modelo, ou um possível buffer de capital por risco demodelo. Não obstante, o próprio regulador tambémadverte que um abuso de elementos conservadores podedesencadear um mal uso dos modelos.

6. As fontes de risco de modelo são múltiplas e as instituiçõesdevem prestar especial atenção ao risco de modelo agregadoque resulta da combinação de todas elas.

7. Embora seja critério das instituições a escolha do modeloorganizacional que considerarem conveniente, é necessárioque exista uma distinção clara entre as funções deownership, control e compliance dos modelos; onde

ownership implica conhecer o risco de modelo ao qual seestá sujeito; control contempla o estabelecimento delimites e o acompanhamento, assim como a validaçãoindependente do modelo; e compliance abrange oconjunto de processos que garantam que as funções deownership e control serão desempenhadas de acordo comas políticas estabelecidas.

8. O Conselho de Administração é o responsável em últimainstância do framework de gestão do risco de modelo, quedeve aprovar, e deve ser informado periodicamente sobre orisco de modelo significativo ao qual a instituição estejaexposta.

9. O princípio chave na mitigação do risco de modelo é oeffective challenge: a análise crítica por parte deprofissionais objetivos, qualificados e com experiência nalinha de negócios em que o modelo é usado, que possamidentificar as limitações e premissas, e propor as melhoriasapropriadas.

Em síntese, os reguladores estão impulsionando a elaboraçãode frameworks de gestão do risco de modelo que formalizemos critérios que devem ser seguidos no desenvolvimento e naimplementação de modelos, garantam seu uso prudente,determinem os procedimentos de validação de seudesempenho e delimitem a governança das políticas e oscritérios de documentação aplicáveis.

Esta aproximação integrada ao risco de modelo é inovadora nosetor, e a tendência esperável nos próximos anos é que asinstituições se adaptem progressivamente, como já estãofazendo as mais avançadas.

Dados- Erros na definição dos dados- Erros no mapeamento dos dados com as fontesde informações

- Periodicidade de alimentação insuficiente- Problemas provenientes do abastecimento dosdados

- Migrações de dados- Precisão dos proxies (margem de erro)- Amostra insuficiente- Insuficiência de profundidade histórica - Ausência de variáveis críticas

Estimativa- Incerteza nos estimadores- Falta de reflexo ou adequação da realidade - Hipóteses matemáticas inadequadas- Elevada sensibilidade dos ajustes especializados - Uso de parâmetros não observáveis- Ausência de consenso de mercado- Dificuldades computacionais- Não utilização de intervalos de confiança- Modelo desatualizado por descalibração deparâmetros, ajustes especializados nãoatualizados, variáveis sem capacidadediscriminante, etc.

- Instabilidade do modelo- Falta de documentação exaustiva- Capacidades analíticas insuficientes- Utilização de metodologias inovadoras semapoio acadêmico

- Falta de independência da unidade deValidação em relação aos desenvolvedores

Uso- Uso do modelo com objetivos para os quais nãofoi desenhado

- Divergências entre usos regulatórios e degestão

- Extensão do escopo de uso do modelo (novosprodutos, mercados, segmentos, etc.)

- Falta de uso efetivo do modelo na prática- Modelos não reestimados nem recalibrados emlongos períodos

- Introdução de mudanças não aprovadas nomodelo

- Diferenças na definição e nos usos entre asáreas comerciais e riscos

- Reduzida credibilidade do modelo por parte dousuário

17

Fontes comuns de risco de modeloO risco de modelo está presente em todas as fases do ciclo de vida de um modelo: desenvolvimento e aplicação, acompanhamento,validação e auditoria; e provém de três fontes fundamentais: os dados, a incerteza e os erros na estimativa, e o uso do modelo.

A seguir, são sintetizados alguns exemplos de problemas comuns que geram risco de modelo em função do tipo de fonte.

Desenvolvimentoe implementação

Uso

Validação

Governança,políticas econtrole

Documentação

Fig. 6. Síntese das diretrizes do Fed e da OCC sobre gestão do risco de modelo

4Deve-se dar uma definição clara da finalidade do modelo (statement of purpose).4Os dados e as informações devem ser adequados, devem passar provas rigorosas que garantam sua qualidade,sua utilização justificada e, em caso de existir aproximações, devem estar exaustivamente documentadas.

4Deve existir um procedimento de teste (testing) para avaliar a precisão, robustez, estabilidade e limitações domodelo, assim como um teste de comportamento para diferentes valores de entrada.

4Todo o processo de desenvolvimento deve ser documentado em detalhes.

4É uma oportunidade para comprovar o desempenho do modelo através do feedback dos usuários.4Devem ser elaborados relatórios com os valores dos estimadores e das saídas do modelo para diferentesconjuntos de entrada, para dispor de indicadores de precisão, robustez e estabilidade do modelo.

4O uso prudente de modelos pode incluir enfoques conservadores devidamente justificados, teste de estresse ouum possível buffer de capital por risco de modelo.

4Não obstante, o próprio regulador adverte de que um abuso de elementos conservadores pode desencadear ummal uso dos modelos.

4O processo de validação deve ser normatizado em um framework que:- Aplica-se a todos os modelos, tanto desenvolvidos internamente como por terceiros.- Aplica-se a todos os componentes do modelo (incluindo inputs, estimativa e outputs).- É proporcional ao uso, complexidade e materialidade do modelo.- Requer independência em relação a desenvolvedores e usuários do modelo.

4Os validadores devem ter conhecimentos, experiência e familiaridade com a linha de negócios do modelo, e aAuditoria Interna deve verificar a efetividade do framework.

4Devem ser revisados todos os modelos ao menos uma vez ao ano e em caso de mudanças relevantes.

4O framework de MRM, que deve ser revisado anualmente, é desenvolvido pela Alta Administração e aprovadopelo Conselho, que deve ser informado periodicamente sobre o risco de modelo significativo.

4As três funções básicas em MRM são: ownership (uso do modelo), control (mensuração do risco de modelo, limitese acompanhamento) e compliance (cumprimento de políticas por parte das outras funções).

4Deve existir um inventário completo de todos os modelos em uso.4É benéfico contar com recursos externos para executar tarefas de validação e compliance.

4A documentação do modelo deve ser detalhada de forma que um terceiro possa compreender o funcionamento,as limitações e as premissas essenciais do modelo.

4Em caso de modelos de terceiros (vendor models), deve-se garantir que haja documentação adequada para que omodelo possa ser validado apropriadamente.

1

2

3

4

5

MANAGEM

ENT SOLUTIONS


18


19

Política de MRM

Diferentes instituições financeiras internacionais foramdesenvolvendo uma série de conceitos-chave em relação àgestão do risco de modelo (MRM), que são sintetizadas nestaseção como possíveis melhores práticas.

Todas elas contemplam como necessária a criação de umframework de gestão do risco de modelo (MRM framework)aprovado ao máximo nível, que estabeleça como elementoscentrais as funções de ownership, control e compliance dosmodelos.

Este framework se desdobra em uma política escrita e explícita,aprovada pelo Conselho de Administração e que contemplaquatro elementos principais (Fig. 7):

4 Organização e governança: descrição de funções eresponsabilidades; e, especificamente, estabelecimentoda função de Gestão de Risco de Modelo (MRM) comoreferência para todas as questões sobre este tema.

4 Gestão de modelos: pautas sobre classificação,desenvolvimento, acompanhamento, documentação,inventário e relatório de modelos.

4 Validação e gestão de mudanças em modelos: diretrizessobre a revisão dos modelos, a aprovação de mudanças e

as dispensas (waivers) necessárias para sua utilizaçãoantes da aprovação.

4 Quantificação do risco de modelo: metodologia deestimativa do risco de modelo, segundo sua natureza eclassificação.

O Conselho de Administração é o responsável em últimainstância pela aprovação do framework de MRM. Além disso, eem linha com o que foi estabelecido pelas diretrizes da OCC edo Fed, o Conselho deve receber relatórios periódicos sobre ocumprimento da política de MRM e deve ser informado sobrequalquer risco de modelo que seja relevante para a instituição.Deste modo, as melhores práticas equiparam o risco de modeloa qualquer outro risco de importância para a instituição.

Do ponto de vista organizacional, a gestão do risco de modelocaracteriza-se por três elementos:

4 Transversalidade: a gestão do risco de modelo afeta váriasáreas de uma instituição; entre elas, as linhas de Negócios,Riscos, Finanças, Auditoria Interna e Tecnologia.

Fig. 7 . Elementos de uma política de gestão do risco de modelo (MRM)

MANAGEM

ENT SOLUTIONS


20

4 Funções: a política de MRM deve definir a função de cadaárea na gestão do risco de modelo. Em linha com o que foiestabelecido nas diretrizes da OCC e do Fed, devem serdistinguidas três funções:

- Ownership: áreas usuárias finais do modelo, e que, portanto, têm responsabilidade sobre seu bom uso e aobrigação de reportar erros ou inconsistências; tambéminclui a área que desenvolve o modelo, próxima aousuário final. Costuma corresponder às linhas deNegócios, a Finanças ou a Riscos.

- Control: área que realiza a mensuração do risco de modelo,estabelece os limites e realiza o acompanhamento. Deveser executada por Riscos ou por uma função específica eindependente da função de controle, que por sua fez podeconter ou não a função de Validação Interna.

- Compliance: área que supervisiona o cumprimento daspolíticas por parte das outras duas funções. Costumacorresponder à função de Compliance ou à de Auditoria.

Cabe destacar que o processo e os envolvidos na construção demodelos não são necessariamente os mesmos na Europa e nosEUA, onde há tendência a esquemas mais descentralizados epulverizados nas linhas de Negócios.

4 Função de MRM: as melhores práticas incluem a criação deuma função de Gestão do Risco de Modelo (MRM), que sereporta ao CRO26, cuja responsabilidade é criar e manter oframework de MRM. Em algumas organizações contém aunidade de Validação Interna (em outras, são unidadesdistintas) e, portanto, aprova os modelos e seu uso, mastambém administra tudo o que está relacionado com ogovernança dos modelos. Entre suas responsabilidades,estão incluídas:

- Trabalhar de forma contínua com os owners dos modelospara manter um inventário global permanentementeatualizado.

- Validar os modelos de forma independente segundo suaclassificação (em algumas organizações, esta função éexecutada por outras unidades independentes).

- Aprovar o uso de modelos e indicar suas limitações.

- Realizar uma avaliação anual de todos os modelos doinventário.

- Elaborar e difundir as políticas de risco de modelo.

Além disso, a função de MRM costuma dispor de uma estruturahierárquica onde aparecem funções diferenciadas, lideradaspor um Model Risk Officer (MRO).

O framework de MRM contém as diretrizes que os modeladoresdevem considerar durante o processo de desenvolvimento dosmodelos, assim como os elementos-chave para que o risco demodelo seja controlado. Entre as principais diretrizes, podemser citadas as seguintes:

1. Objetivo e uso: todo modelo deve ter um objetivo claramenteexplicitado e deve ser utilizado para o uso para o qual foidesenhado e aprovado; qualquer uso fora dos previstos emsua construção deve ser aprovado de forma expressa.

2. Inventário: é obrigação dos desenvolvedores de modelosdeclarar todo modelo que seja desenvolvido, para suainclusão no inventário de modelos e posterior validação eacompanhamento.

26Chief Risk Officer.

21

3. Tiering: todo modelo deve ser categorizado em função dorisco que seu uso apresenta para a instituição.

4. Documentação: todo modelo deve ser documentado comum nível de exaustividade proporcionado a seu tier, e deveconter uma descrição de objetivos, usos previstos, dados deentrada, hipóteses e metodologia empregada.

5. Sem redundância: antes do desenvolvimento de ummodelo, o desenvolvedor de modelos deve confirmar quenão há um modelo existente que possa satisfazer asnecessidades do usuário.

Em relação aos elementos-chave que um framework de MRMcontém para o desenvolvimento e a gestão dos modelos,destacam-se quatro peças fundamentais: inventário, tiering,documentação e acompanhamento de modelos, detalhadas aseguir.

Inventário de modelos

Uma instituição deve contar com um inventário exaustivo detodos os modelos existentes, com o objetivo de facilitar agovernança e a gestão do risco de modelo e de manter umcenso dos usos, das mudanças e do status de aprovação decada modelo.

O inventário de modelos deve:

4 Conter todos os modelos da instituição, dentro do escopodo que o framework de MRM considera «modelo» e emtodos os âmbitos: Riscos, Comercial, Finanças, etc.

4 Incluir informações sobre o tier de cada modelo, suadocumentação, seu estado de revisão, os usos previstos ereais, os possíveis waivers que estejam sendo aplicados equalquer outra informação que a função de MRM considererelevante para sua boa governança.

4 Estar apoiado em uma ferramenta tecnológica apropriada,que contenha um repositório único e centralizado paratoda a instituição e idealmente uma interface que permita ainterlocução entre o owner (incluindo o desenvolvedor), ovalidador e o auditor do modelo.

4 Guardar registro de todas as versões, mudanças, waivers,documentos, considerações dos validadores e dosupervisor (quando for aplicável) e datas previstas deacompanhamento e atualização do modelo.

Como se pode avaliar, a construção e a manutenção de uminventário de modelos representa um esforço relevante parauma instituição, mas resulta em uma peça essencial para agestão do risco de modelo.

Tiering de modelos

É uma boa prática classificar os modelos em função do riscoque sua utilização envolve para a instituição. Desta classificaçãoou tiering dependem a exaustividade requerida nadocumentação do modelo, a necessidade de aprovação dasmudanças por parte dos validadores, e a frequência e o rigordo acompanhamento, entre outros aspectos.

Em um processo de tiering habitual, o owner de um modelopropõe um nível de risco para o modelo, mas é a função deMRM que sanciona e tem a última palavra a este respeito.

O tier de um modelo é um processo em parte subjetivo, e tratade refletir os critérios mediante os quais cada instituiçãoaproxima o risco de cada modelo. Como exemplo, um tieringpode depender dos seguintes fatores (Fig. 8):

4 Materialidade, que reflete as consequências econômicas deum possível erro ou mal uso do modelo, e que cada ownerquantifica nos termos mais apropriados: exposição ou saldo

Fig. 8. Exemplo de tiering de modelos

MANAGEM

ENT SOLUTIONS


22

em balanço de ativos afetados, margem comprometida,métricas de impacto reputacional, etc.

4 Sofisticação, que expressa o nível de complexidade domodelo: formulação matemática com elevada dificuldade,dependência de um elevado número de variáveis deentrada, estabilidade observada dos parâmetros,aproximações numéricas a expressões analíticas (ex.:equações diferenciais estocásticas), algoritmos inovadoresou sobre os quais não há evidência acadêmica de seurendimento e estabilidade, etc.

4 Impacto em decisões, que indica em que medida osresultados do modelo influem em processos de decisãosensíveis da instituição, ou nas demonstrações financeiras eno reporte regulatório. Os modelos de alta dependênciasão aqueles cujo resultado é o eixo central de uma decisãoessencial da instituição, como o cálculo do capital dasprovisões, enquanto os de baixa dependência são aquelesutilizados como um fator adicional no apoio a uma decisãonão crítica. Costumam ser classificados em três níveis.

- Departamento, se um erro no modelo só afetaria umdepartamento ou área.

- Instituição, se um erro afetaria vários departamentosda instituição.

- Externo, se o erro pode afetar o relatório da instituiçãopara terceiros, como o supervisor, as agências derating, os acionistas, etc.

A classificação ou tiering de cada modelo deve ser devidamentejustificada e documentada por parte do owner do modelo, eaprovada por parte da função de MRM.

Documentação de modelos

O terceiro elemento essencial no desenvolvimento dosmodelos é sua documentação, sobre a qual os reguladoresestão exercendo uma pressão crescente, e que bemadministrada é um pilar efetivo de controle do risco de modelo.

Antes do início da validação de cada modelo, é necessáriocompletar sua documentação de forma exaustiva. Adocumentação deveria seguir roteiros unificados e aprovadospela função de MRM, e deveria permitir a réplica do modelocompleto por parte de um terceiro independente, ou inclusivesua transferência para um novo desenvolvedor de modelospara atualização ou melhoria sem necessidade de um processode alto custo.

A documentação de um modelo deveria conter ao menos osseguintes elementos.

4 Fontes de dados: bancos de dados utilizados, critérios deextração aplicados, validações efetuadas, responsáveis pelafonte de dados e da extração, etc.

4 Relatório metodológico do modelo: descrição do modelo,necessidade e objetivos, escopo, usos previstos, limitaçõese premissas, justificação e descrição detalhada dametodologia empregada, detalhamento dos dadosempregados e justificação em termos de idoneidade,qualidade e robustez, etc.

4 Relatório de calibração do modelo: no caso de modelos quecontêm parâmetros calibrados com dados de mercado ouhistóricos, descrição detalhada da metodologia,benchmarks aplicados, quantificação da incerteza dosestimadores, e frequência, alertas e procedimento pararecalibração.

23

4 Plano de testes: descrição do plano de testes que o modeloseguiu durante sua construção, junto com o detalhamentodos resultados.

4 Manual de usuário: no caso de modelos que sãoexecutados diretamente pelos usuários, instruçõesdetalhadas de aplicação do modelo, limitações e premissas,guia de interpretação dos resultados e limites dos dados deentrada fora dos quais o modelo pode não funcionarapropriadamente.

4 Ambiente tecnológico e risco operacional: descrição doambiente em que o modelo é implementado, avaliação dorisco operacional que envolve (especialmente em casos deimplementação fora do ambiente tecnológico dainstituição) e detalhamento dos planos de contingênciaprevistos para o caso de falhas operacionais.

Em resumo, a documentação dos modelos requer um esforçoelevado por parte da instituição, mas é essencial para facilitaros processos de atualização, acompanhamento, validação eauditoria, assim como a revisão supervisora, e em consequênciaestá recebendo cada vez mais atenção por parte dasinstituições e dos reguladores.

Acompanhamento de modelos

Por último, é essencial dispor de um sistema deacompanhamento do desempenho dos modelos de decisãoque permita detectar o quanto antes desvios em relação aoprevisto, e adotar ações corretivas ou preventivas.

O acompanhamento é realizado com uma periodicidadeproporcional ao risco do modelo (medido através de seu tier), edeve constar de uma série de alertas e critérios objetivos quesirvam para determinar quando um modelo deve serreconstruído, recalibrado ou descontinuado. Além disso, no

acompanhamento do modelo é essencial contar com ofeedback do usuário final, considerando que é a fonte maisefetiva de detecção de desvios com relação ao comportamentoesperado do modelo.

O acompanhamento dos modelos deve ser integrado, nosentido de que não deve se limitar ao algoritmo estatístico oumatemático, e deve monitorar de forma conjunta todos oscomponentes empregados na decisão (o que pode incluirregras de decisão, ajustes especialistas, estratégias e qualquerelemento que influa na decisão final). Isso é particularmenterelevante e uma fonte habitual de risco de modelo, porque é omodelo em seu conjunto que toma a decisão.

Portanto, entre outros elementos, um acompanhamentointegrado de modelos pode estudar os seguintes elementos:

4 Modelo estatístico: é analisado o desempenho do algoritmoestatístico através de:

- Análise de estabilidade da população através daevolução das variáveis. - Métricas de evolução do poder preditivo, como a áreasob a curva ROC, o índice de poder ou a distância deKolmogorov-Smirnov, entre outras.- Avaliação do comportamento do modelo, com técnicascomo volatilidade e preditividade de cada variável,backtest de resultados obtidos vs. previstos ou análise deresíduos.- Comparação de resultados com modelos alternativos oucom benchmarks setoriais.

4 Estratégias de decisão: analisa-se o comportamento dasregras de decisão que acompanham o modelo estatístico;por exemplo, as condições mínimas de aceitação, as regrasexclusivas e limitativas, ou o ponto de corte de aprovação.

MANAGEM

ENT SOLUTIONS


24

4 Ajustes especialistas: estuda-se o impacto dos ajustesespecializados ao modelo; por exemplo, a decisão manualquando é modificada a norma automática atribuída pelaestratégia de decisão (overrides).

Por exemplo, um bom acompanhamento de um modelo dedecisão em risco de crédito permitiria avaliar vários aspectos,como o poder preditivo do modelo, a eficácia do ponto decorte em termos de mora, o caráter vinculante da estratégia dedecisão automática (scoring + regras), o funcionamento corretoe a ordem de aplicação das regras de decisão, a porcentagemde decisão manual e, em consonância, a idoneidade dasatribuições, os overrides e a tipificação de seus motivos, o custode oportunidade (solicitações negadas ou desistidas), ou o usode critérios adicionais aos estatísticos (por exemplo,rentabilidade e custos) nas decisões, entre outros.

Para este fim, é útil dispor de ferramentas que abranjam todo ociclo de acompanhamento de modelos (Fig. 9) e que tambémpermitam realizar análise what-if e colocar em produção deforma ágil as modificações nos modelos derivados dasobservações do acompanhamento27.

A validação dos modelos é um elemento central para amitigação do risco de modelo, que realiza um questionamento(challenge) efetivo e independente das decisões tomadasdurante seu desenvolvimento, acompanhamento e uso.

A periodicidade e a intensidade da validação devem serproporcionais ao risco de cada modelo, medido através de seutier. Assim, os modelos de maior risco (tier 1) devem servalidados por analistas com suficiente experiência equalificação com tanta frequência quanto necessário para seuuso, e sua documentação deve ser particularmente exaustiva,

enquanto os modelos de menor risco podem ser revisados umavez ao ano e as exigências de documentação são muitomenores.

De acordo com a regulamentação e as melhores práticas , háuma série de princípios que a validação de modelos devecumprir:

1. Completude: todos os modelos que possam comportarriscos para a instituição devem ser submetidos ao processode validação.

2. Escopo: a validação não deve se limitar unicamente aosatributos quantitativos dos modelos, e deve cobrir nomínimo os seguintes aspectos:

- Metodologia.- Documentação.- Qualidade dos dados utilizados.- Aspectos quantitativos.- Aspectos qualitativos (teste de uso, função da AltaAdministração, controles internos, etc.).- Ambiente tecnológico.

3. Dimensionamento e qualificação: a função de Validaçãodeve contar com um número suficiente de profissionaisqualificados para os diferentes aspectos objeto de análise.

4. Independência: a instituição deve garantir que a função deValidação possa emitir sua opinião com totalindependência, evitando possíveis influências indevidas dasunidades participantes do desenvolvimento de modelos ououtras.

27A este respeito, a Management Solutions dispõe do Gestor de Modelos ePolíticas do MIR, desenhado com esta arquitetura e funcionalidades.

Fig. 9. Gestor de Modelos e Políticas

25

5. Responsabilidade: o processo de validação éresponsabilidade da instituição, e não pode ser delegado aterceiros ou ao supervisor.

6. Periodicidade: a validação é um processo iterativo que deveser realizado com certa periodicidade (dependente do tierdo modelo).

7. Critério interno: não há um único método de validaçãopadronizado para todas as instituições e para todos osmodelos; cada instituição deve estabelecer seus padrõescom seu próprio critério, proporcional ao risco de modelo.

8. Organização: as funções, responsabilidades, esquema detrabalho e enquadramento dentro da organização dafunção de Validação devem estar documentados e seraprovados ao nível correspondente.

9. Documentação: a função de Validação deve manteratualizada a documentação descritiva sobre diferentesaspectos:

- Metodologias de avaliação, mensuração eacompanhamento, assim como dos modelos estatísticos.

- Relatórios de validação, incluindo os realizados porAuditoria Interna e os relativos ao processo de validação,com a conclusão claramente indicada (aprovado,condicionalmente aprovado –waiver– ou desaprovado)e, se for o caso, com as ações específicas para melhoria eaprovação.

- Histórico das alterações efetuadas nos sistemas internos,incluído o próprio sistema de validação.

10. Auditoria: a própria função de Validação deve ser objeto derevisão por parte de Auditoria Interna, que deve analisar

seu trabalho e controles implantados, assim como opinarsobre o grau de independência efetiva desta unidade.

11. Vendor models: os modelos desenvolvidos por terceiros(vendor models) apresentam dificuldades adicionais paravalidação, porque a documentação pode não estarcompleta e os dados de construção podem não estardisponíveis. Nesses casos, a instituição deve exigir todas asinformações necessárias e aplicar os mesmosprocedimentos para validar o modelo e com o mesmo rigorcomo se fosse interno, limitada apenas pelos requisitoslegais.

Embora a regulamentação não exija a quantificação do risco demodelo, como já foi comentado, a realidade é que algumasinstituições já começam a incorporar em seu framework deMRM determinadas técnicas quantitativas para a mitigação dorisco de modelo.

Estas técnicas são aplicadas em:

4 Dados, mediante a sensibilidade a erros nas variáveis ouinclusive à falta de alimentação de dados chave para aexecução dos modelos.

4 Estimativas, empregando a sensibilidade dos resultados àvolatilidade dos estimadores.

4 Uso, através da vigilância da evolução do poder preditivo ede outras métricas de acompanhamento.

Na seção a seguir é detalhado de que modo é possível realizaresta quantificação, junto com um exercício que ilustra suaaplicação prática.

MANAGEM

ENT SOLUTIONS


26


27

Ciclo de gestão quantitativa do risco demodelo

Mais além de aspectos específicos de avaliação de derivativos(model risk AVAs28) requeridos pela EBA, como já foimencionado, é um fato que até esta data os reguladores nãoestão exigindo explicitamente a quantificação do risco demodelo, motivo pelo qual ainda não foram observados avançossignificativos nesta área por parte das instituições29.

Independentemente disto, e para fins de gestão, algumasinstituições começaram a trabalhar no ciclo de gestão do riscode modelo a partir de uma ótica quantitativa, com o objetivode servir de apoio à gestão qualitativa deste risco,recomendada pela norma do Fed e pela OCC. Assim entendido,um ciclo de gestão quantitativa do risco de modelo constariade três fases (Fig. 10):

4 Identificação das fontes do risco de modelo e classificaçãoem função dos blocos antes mencionados:

- Carências nos dados.- Incerteza na estimativa ou erros no modelo.- Uso inadequado do modelo.

4 Quantificação do risco de modelo inerente a cada uma dasfontes, empregando uma metodologia baseada nasensibilidade dos outputs do modelo às possíveis flutuações

(dos inputs ou dos estimadores) que caracterizam aincerteza associada à fonte.

4 Mitigação do risco de modelo detectado e quantificadoatravés da aplicação das medidas oportunas, quedependerão da natureza de cada fonte.

Embora não seja possível eliminar o risco de modelo, aaplicação de um enfoque que combine uma estrutura rigorosade gestão como a descrita pelo Fed e pela OCC com umaquantificação detalhada e prudente como a descrita podeconstituir uma estratégia efetiva para mitigá-lo.

Motivação e proposta do estudo

À luz da escassa prática observada na quantificação do risco demodelo no setor, que somente algumas instituições abordam,foi considerado de interesse realizar um exercício nesta direção.Para isso, foi elaborado um estudo cujo objetivo é quantificareste risco em modelos e parâmetros de risco de crédito.

Fig. 10. Ciclo de gestão quantitativa do risco de modelo

28Model risk additional valuation adjustments (AVAs), detalhados em EBA (2013).29Constitui uma exceção o buffer de capital no exercício CCAR dos EUA, quealgumas instituições estão aplicando.

MANAGEM

ENT SOLUTIONS


28

O exercício consta de três partes, coincidentes com as trêsfontes de risco de modelo descritas:

4 Carências nos dados: nesta primeira parte, será analisado oimpacto da ausência de informações nas variáveis maispreditivas de um modelo; como exemplo, será consideradoum modelo de scoring de financiamentos imobiliários parapessoas físicas. Para isso, o modelo de scoring seráreconstruído sem estas variáveis, e serão determinadas aredução de poder preditivo associado e sua relação com osoutputs de gestão do modelo: a inadimplência assumida(erro de tipo I) e os negócios que se deixa de captar oucusto de oportunidade (erro de tipo II).

4 Incerteza na estimativa ou erros no modelo: na segundaparte, será estudado o risco de modelo proveniente daincerteza nos estimadores. Para isso, serão empregados osintervalos de confiança dos estimadores gerados pelopróprio modelo de scoring, pelo cálculo da PD nãocalibrado e pelo cálculo da LGD para descrever asdistribuições normais caracterizadas por esses estimadores.Sobre estas distribuições, serão simulados por Monte Carlodiferentes conjuntos de parâmetros e será reestimado ocapital regulatório da carteira. Assim, será obtida umadistribuição do consumo de capital da carteira, cujavolatilidade será proveniente exclusivamente da incertezana seleção dos estimadores.

4 Uso inadequado do modelo: por último, será analisado orisco derivado da falta de acompanhamento e atualizaçãode um modelo de scoring perante a evolução da carteira notempo. Para isso, será comparado o poder preditivo domodelo no momento de sua construção com o queapresentava um ano depois, e será avaliado o impacto dadecisão de não atualizá-lo nos erros de tipo I e II.

Com isso, terão sido aportados três exemplos reais dequantificação do risco de modelo, com o objetivo deproporcionar uma medida de sua relevância.

Dados do estudo

O estudo foi elaborado empregando os seguintes dados,modelos e parâmetros30:

4 Uma amostra real de construção de um scoring, formadapor empréstimos imobiliários. Consta de aproximadamente200.000 empréstimos, com uma taxa de default de cerca de4%.

4 Uma amostra real de aplicação, um ano após à deconstrução, que levanta o estoque de empréstimosimobiliários nessa data e seu desempenho no ano seguinte.

4 Um modelo de scoring hipotecário construído sobre aamostra anterior. Consta de 14 variáveis e tem um poderpreditivo médio-alto (ROC31 de cerca de 78%).

4 Os mecanismos de calibração dos parâmetros PD, LGD eCCF da carteira hipotecária de estudo.

4 O mecanismo de cálculo de capital regulatório de Basileiapor método IRB.

Principais Conclusões

As principais conclusões do estudo são as seguintes:

4 Em relação ao risco de modelo proveniente dos dados,observa-se que a presença de erros nas três variáveis maispreditivas de um modelo de scoring pode chegar a duplicara taxa de default que entra no balanço, ou alternativamentereduzir em 40% os negócios captados, no caso de sedesejar manter a mesma inadimplência.

4 A quantificação do impacto da incerteza na estimativa dosmodelos resulta que o consumo de capital em uma carteirahipotecária pode chegar a estar subestimado em até 8%,com um nível de confiança de 90%, pelo efeito combinadoda incerteza nos estimadores do scoring (4% desubestimativa quando se considera de forma isolada), nacalibração da PD (7%) e na estimativa da LGD (2%).

4 Por último, no que se refere ao uso inadequado, observa-seque a falta de atualização de um modelo durante 12 mesespode levar a reduções de cerca de 10% de seu poderpreditivo. A consequência desta redução é um aumento deaté 67% da taxa de default, ou alternativamente umaredução de 15% no volume de negócios captado (ou seja,um aumento de 15% do custo de oportunidade), caso sejadeterminado o ponto de corte de modo a manter a mesmainadimplência.

Em síntese, à parte os efeitos qualitativos já descritos, o risco demodelo pode ter impactos quantitativos muito relevantes, quepodem levar a tomar decisões de gestão incorretas, ou asubestimar o consumo de capital de uma instituição. Por isso,algumas instituições incluem em seus frameworks de MRMtécnicas robustas de quantificação do risco de modelo,orientadas para mitigá-lo de forma apropriada.

30Todos os dados, modelos e parâmetros foram alterados parcialmente paragarantir a confidencialidade, mas de forma que sejam mantidas arepresentatividade e a robustez do estudo.31Receiver operating characteristic,medida do poder preditivo de um modelo deresposta binária.

O processo de estimativa de parâmetros populacionais costuma seracompanhado da obtenção de intervalos de confiança, queoutorgam uma estimativa mais realista do parâmetro, já querepresentam um intervalo ou conjunto de valores dentro dos quaisencontra-se o verdadeiro valor do estimador com umaprobabilidade determinada (estabelecida pelo nível de confiança).Assim, um intervalo com nível de confiança 1 – α para umparâmetro 𝜗 é representado como:[�₁,��] 𝑜𝑛𝑑𝑒 𝑃(�₁��) = 1-𝛼Existem dois enfoques gerais para a estimativa de intervalos deconfiança:

- Paramétricos, nos quais é pressuposta uma distribuiçãoconhecida do estimador.

- Não paramétricos, em que não é pressuposto conhecimentoalgum sobre a distribuição.

A seguir, são apresentadas brevemente algumas técnicas habituaispara a obtenção de intervalos de confiança dos parâmetros tantoparamétricos (tomando como exemplo uma regressão logística)como não paramétricos (como o cálculo de estimadores detendência central, como médias ou medianas).

Intervalos de confiança dos estimadores da regressãologística (métodos paramétricos)

Em geral, a regressão logística é usada para relacionar respostasbinárias discretas (por exemplo, o default ou pagamento de umadívida) com um conjunto de variáveis explicativas, e por isso é oalgoritmo mais utilizado nos modelos de scoring e rating. Estarelação pode ser expressa da seguinte forma:𝑙𝑜𝑔𝑖𝑡 (𝜋) = 𝑙𝑜𝑔 � � = 𝛼+𝛽´𝑥Onde 𝑥 é o vetor de variáveis explicativas empregadas no modelo,𝜋 é a probabilidade de que ocorra a resposta 𝑌 que se pretendeprever, condicionada a 𝑥 �isto é, 𝜋=𝑃(𝑌=1|𝑥)�, 𝛼 é a interseção naorigem da curva, e 𝛽 é o vetor com as pendentes das variáveis 𝑥.Ao desenvolver um modelo com uma regressão logística, sãoobtidos parâmetros 𝛼 y 𝛽, chamados pesos ou estimadores.Portanto, a principal fonte de risco de modelo em uma regressãologística é o erro cometido na estimativa de seus pesos, e paraquantificá-lo podem ser empregados seus intervalos de confiança.

Os intervalos de confiança de Wald, também chamados deintervalos de confiança normais, baseiam-se em que osestimadores se comportam de forma assintoticamente normal, eadmitem uma expressão fechada. Assim, o intervalo de confiança100�(1-𝛼)% de Wald para o estimador 𝛽� é simplesmente:𝐼� = 𝛽�� ± 𝑧�-�/�𝜎̂�onde 𝑧� é o percentil 100�𝑝% da distribuição normal padrão,𝛽�� é o estimador máximo-verossímil de 𝛽�, e 𝜎�̂ é a estimativa doerro padrão de 𝛽��.A partir dos intervalos de confiança obtidos, é simples obter adistribuição empírica da pontuação de cada registro da amostra,que é a peça-chave com a qual é possível calcular o erro de modeloque está sendo pressuposto. Os passos para fazer isso seriam:

- Para cada estimador 𝛽�, considera-se a função da distribuição

29

normal 𝐹�=𝑁�𝛽��, �̂��, centrada no estimador do peso e comdesvio padrão igual ao estimador de seu erro padrão.

- Simula-se uma quantidade elevada (𝑛) de números aleatórios 𝑥�, segundo uma distribuição uniforme entre 0 y 1, 𝑋~𝑈(0,1).- Para cada 𝑘 ∈ {1..𝑛}, simula-se um conjunto completo deestimadores 𝛽� da regressão logística mediante a inversa desuas respectivas funções de distribuição, 𝛽�� = 𝐹�–1 �𝑥��.

- Com cada conjunto de estimadores, pontua-se a carteiracompleta.

Assim, é obtida a distribuição da pontuação de cada registro dacarteira, a partir da qual é possível estimar intervalos de confiança,volatilidades e outras medidas de quantificação do risco de modeloque gerado pela incerteza natural na estimativa de uma regressãologística.

Intervalos de confiança de estimadores de tendênciacentral (métodos não paramétricos)

Para estabelecer a incerteza associada a um estimador calculadomediante um estimador de tendência central (como uma média oumediana, que por exemplo são usadas no cálculo da LGD em riscode crédito) costumam ser empregadas técnicas não paramétricasque não requerem conhecer ou assumir uma distribuição doestimador. Uma das técnicas mais habituais é o bootstrapping, quetem bases na amostragem aleatória e consiste fundamentalmenteem gerar amostras de tamanho n para obter a função dedistribuição dos estimadores selecionados (média, mediana, etc.) detodas as amostras geradas.

EEm particular, os passos para desenvolver os intervalos deconfiança do estimador selecionado para o cálculo de um estimador𝛽 seriam os seguintes:- Dada a amostra de construção do parâmetro constituída por 𝑛observações, 𝑥 = (𝑥₁, … 𝑥�), é gerada uma amostra aleatóriacom substituição da amostra original para obter uma amostrabootstrap 𝑥* = (𝑥*₁, …, 𝑥*�).

- A seguir, é gerado o estatístico de interesse para a amostra bootstrap, 𝛽* = 𝛽(𝑥*).

- Os passos 1 e 2 são repetidos 𝑁 vezes com 𝑁 suficientementegrande. Geralmente, para o cálculo de intervalos de entre 90% e95% de confiança, sugere-se que 𝑁 alcance valores superiores a1.000 iterações32.

- Após as 𝑁 iterações, estará disponível uma sequência deestimadores bootstrap 𝛽*₁, …, 𝛽*� que pode ser usada paraestudar a distribuição estatística.

A distribuição dos estimadores bootstrap permitirá, entre outrascoisas, o cálculo de um intervalo de confiança tipo percentil para 𝛽do (1–𝛼)�100%. Este intervalo estará dado pelos quantis (𝑞�(𝑝₁), 𝑞�(𝑝�)) das 𝑁 réplicas bootstrap con 𝑝₁=𝛼/2 y 𝑝�=(1–𝛼)/2.

32Efron e Tibshirani (1993).

Quantificação da incerteza: intervalos de confiança

𝜋1-𝜋

MANAGEM

ENT SOLUTIONS


30

Parte I: carências nos dados

O primeiro exercício concentra-se em quantificar o impacto dorisco de modelo através de carências nos dados (Fig. 11). Paraisso, partindo de um modelo real de scoring hipotecário, sãoconstruídos dois modelos:

4 Modelo A: o scoring resultante de eliminar a variável maispreditiva e reaplicar o modelo.

4 Modelo B: o scoring resultante de eliminar as três variáveismais preditivas e reaplicar o modelo.

No primeiro caso, observa-se uma redução do poder preditivode cerca de 2 pontos percentuais e, no segundo caso, de quase9 pontos percentuais.

Com os dois modelos obtidos, repontua-se a carteira completae, para cada modelo, são realizadas duas análises what-if,movendo o ponto de corte, para responder às seguintesperguntas:

4 Se no novo modelo fosse determinado um ponto de corteque mantivesse constante a inadimplência que o modeloaceita (erro tipo I), em quanto aumentaria o custo deoportunidade, medido como o volume de negócios que sedeixa de captar?

4 E se, pelo contrário, no novo modelo fosse determinado umponto de corte que mantivesse inalterado o volume denegócios que o modelo capta (erro tipo II), em quantoaumentaria a inadimplência que o modelo aceita?

Os resultados obtidos são os seguintes (Fig. 12):

4 Ao reconstruir o modelo sem a variável mais preditiva,manter a taxa de default igual à do modelo original reduz ovolume de negócios captado em 5% (ou seja, multiplica o

custo de oportunidade por 1,05), e manter o volume denegócios captado pelo modelo original multiplica a taxa dedefault também por 1,05.

4 Ao reconstruir o modelo sem as três variáveis maispreditivas, manter a taxa de default igual à do modelooriginal reduz o volume de negócios captado em 40% (ouseja, multiplica o custo de oportunidade por 1,40), e mantero volume de negócios captado pelo modelo originalmultiplica a taxa de default por 1,98 (ou seja, quaseduplica).

Portanto, como se pode observar, a presença de erros nasvariáveis mais preditivas, em caso de ser suficientes parainvalidar sua utilização no modelo, tem efeitos muitorelevantes sobre a inadimplência e sobre o volume de negóciosque o modelo aprova.

Fig. 12. Resultados do primeiro exercício: variação de inadimplência vs.Custo de oportunidade

Fig. 11. Síntese da proposta do primeiro exercício

MANAGEM

ENT SOLUTIONS


32

Parte II: incerteza nas estimativas

O segundo exercício trata de quantificar o impacto do risco demodelo através da incerteza implícita nos estimadores (Fig. 13).Para isso, partindo de um modelo real de scoring, da calibraçãoda PD, da estimativa da LGD e da fórmula de capital de Basileia,são realizadas quatro simulações de Monte Carlo:

4 Partindo do intervalo de confiança de cada estimador domodelo de scoring, é reconstruída sua distribuição normal.Empregando estas distribuições normais, são simulados10.000 conjuntos de parâmetros, e portanto 10.000modelos, e com eles é pontuada a carteira completa ecalculado o capital, mantendo as PD e LGD originais. Assim,estima-se a sensibilidade do capital à incerteza nosestimadores do modelo de scoring.

4 A partir do intervalo de confiança das PD na calibração, sãosimulados 10.000 conjuntos de PD, e com eles calcula-se ocapital, mantendo o scoring e a LGD originais. Assim,estima-se a sensibilidade do capital à incerteza nacalibração da PD.

4 De forma análoga, realiza-se uma simulação sobre as LGD,mantendo o scoring e as PD originais, para determinar asensibilidade do capital à incerteza na estimativa da LGD.

4 Por último, realiza-se uma simulação agregada, em queflutuam de acordo com seus intervalos de confiança tantoos estimadores do scoring como as PD e as LGD, e calcula-se o capital. Com isso, estima-se a sensibilidade do capital àincerteza combinada do scoring, da calibração da PD e daestimativa da LGD.

Os resultados obtidos, com um nível de confiança de 90%, sãoos seguintes (Fig. 14):

4 Como consequência da incerteza nos estimadores doscoring, a cifra de consumo de capital poderia chegar a semover 4% para cima ou para baixo.

4 A incerteza na calibração da PD poderia motivar oscilaçõesde até 7% para cima ou para baixo na cifra de capital.

4 A incerteza na estimativa da LGD pode chegar a mover ocapital 2% para cima ou para baixo.

4 Por último, o efeito combinado das três simulaçõesanteriores mostra que o capital poderia chegar a se mover8% para cima ou para baixo pelo risco de modelo queprovêm da incerteza em seus componentes.

Portanto, como se pode observar, a incerteza nas estimativaspoderia chegar a uma situação em que o capital estejasubestimado em até 8%, exclusivamente por razão de risco demodelo, o que, com um critério conservador, deveria sercontemplado e mitigado.

Fig. 13. Síntese da proposta do segundo exercício

Fig. 14. Resultados do segundo exercício: variação (multiplicador) docapital em cada simulação e na simulação combinada

33

- E se, pelo contrário, ao aplicar o modelo ao final do mês12, fosse determinado um ponto de corte quemantivesse inalterado o volume de negócios que omodelo captava em sua construção (erro tipo II), emquanto aumentaria a inadimplência que o modeloaceita?

Os resultados obtidos são os seguintes (Fig. 16):

4 Observa-se uma redução do poder preditivo de mais de10% (8 pontos de ROC) aos 12 meses.

4 Aplicando o modelo 12 meses depois de sua construção,manter a taxa de default igual à do momento de construçãoreduz o volume de negócios captado em 15% (ou seja,multiplica o custo de oportunidade por 1,15), e manter ovolume de negócios captado pelo modelo originalmultiplica a taxa de default por 1,67.

O terceiro exercício, portanto, mostra que o risco de modeloque emana de seu uso inadequado (neste caso, sua falta deatualização) pode ter um impacto considerável sobre ainadimplência e sobre o volume de negócios captado.

Parte III: uso inadequado do modelo

O último exercício pretende quantificar o impacto do risco demodelo por razão de seu uso inadequado (Fig. 15). O usoinadequado pode envolver a aplicação de um modelo a umapopulação distinta daquela com que foi construído (porexemplo, aplicar um scoring construído com uma carteira dehipotecas de um país à mesma carteira de outro país, ou àcarteira resultado da fusão com outra instituição). Um casoparticular e não tão evidente deste uso inadequado é aaplicação de um modelo sobre a mesma carteira após umperíodo de tempo prolongado sem verificar se continua sendoaplicável, especialmente se tiver ocorrido uma mudança deciclo econômico que possa transformar substancialmente apopulação.

Para refletir este caso, neste exercício partiu-se de um modelode scoring e foi quantificado o impacto de não atualizá-lodurante 12 meses. Para isso:

4 Aplica-se o modelo à carteira ao fechamento de cada umdos 12 meses posteriores à sua construção.

4 Com os defaults reais durante o ano posterior, mede-se opoder preditivo do modelo, e observa-se como vaidiminuindo com a passagem do tempo.

4 São realizadas duas análise what-if, movendo o ponto decorte, para responder às mesmas perguntas que noprimeiro exercício:

- Se, ao aplicar o modelo no final do mês 12, fossedeterminado um ponto de corte que mantivesseconstante a inadimplência que o modelo em suaconstrução aceitava (erro tipo I), em quanto aumentariao custo de oportunidade, medido como o volume denegócios que se deixa de captar?

Fig. 15. Síntese da proposta do terceiro exercício

Fig. 16. Resultados do terceiro exercício: análise what-if deinadimplência vs. Custo de oportunidade

MANAGEM

ENT SOLUTIONS


34

Mitigação do risco de modelo

Como se pode apreciar no estudo, o risco de modelo écomplexo de quantificar de forma direta, e nem sempre sãoaplicáveis nem têm sentido medidas quantitativas para cobrí-lo, tais como um buffer de capital ou uma alocação a provisões.

Por esta razão, na prática as instituições orientam suaquantificação do risco de modelo para uma identificação dasensibilidade dos modelos a erros que poderiam derivar emperdas (sejam econômicas ou reputacionais).

O ciclo de quantificação, portanto, completa-se com aspossíveis ações mitigantes do risco de modelo derivadas destaanálise de sensibilidade. Entre elas, podem ser incluídas asseguintes (segundo cada fonte de risco de modelo):

4 Reforço da governança do dado.

4 Estabelecimento de uma função de Data Quality, que velepela qualidade, integridade, rastreabilidade e consistênciados dados que alimentam os modelos.

4 Introdução de um conjunto de regras de validação deinputs e de regras especializadas sobre os outputs, emespecial no contexto de carências de dados.

4 Qualificação e experiência dos desenvolvedores demodelos e dos validadores do modelo.

4 Validação dos modelos efetiva, crítica e independente.

4 Conservadorismo em inputs, estimativas e outputs, medidoe devidamente justificado.

4 Backtest periódico do modelo, que contemple o outputprevisto com o observado, e conclua sobre o grau deprecisão do modelo.

4 Teste de estresse do modelo, que o submeta a diferentescenários de tensão de seus inputs e conclua sobre odesempenho do modelo em tais situações.

4 Apoio acadêmico ou benchmark de mercado, quando sejaaplicável, para as decisões metodológicas adotadas.

4 Utilização de modelos alternativos para a comparação deresultados.

4 Elaboração de análises complementares que discutam avalidade dos resultados do modelo com informaçõesadicionais.

4 Em ocasiões, alocação de um buffer de capital ou provisõespor risco de modelo.

4 Governança rigoroso dos modelos, que inclua oestabelecimento de limites para utilização e validação, eaprovação explícita para cada uso.

4 Aumento da supervisão humana, em especial durante aprimeira etapa após a colocação em produção do modelo.

4 Acompanhamento periódico do modelo, incluindo omonitoramento automatizado e frequente de seu poderpreditivo e um sistema de alertas antecipados dedeterioração.

4 Inventário exaustivo dos modelos da instituição, com aobrigação de incluir todos os modelos utilizados na tomadade decisões.

4 Execução de pilotos antes da primeira colocação emprodução e após cada mudança substancial em modelos deelevado risco.

A propagação da incerteza é um efeito inevitável dos modelosestatísticos que surge quando um modelo se alimenta daestimativa proporcionada por outro modelo, o que pode amplificaro erro.

Por exemplo, o resultado dos modelos de scoring de crédito é umavariável de entrada para a calibração da probabilidade de default(PD), que por sua vez alimenta os modelos de consumo de capital.A combinação da incerteza estatística em cada passo pode levar auma elevada volatilidade do resultado final (neste caso, o capital)por razão de risco de modelo.

O método mais comum para a mensuração da incerteza emestatística é o uso do erro absoluto das variáveis, ∆𝑥 e de seudesvio padrão, 𝜎. Se as variáveis estão correlacionadas, deve-seconsiderar também sua co-variância para o cálculo da propagaçãodo erro.

Propagação do erro em combinações lineares

Seja ƒ�(𝑥₁, ... ,𝑥�) um conjunto de 𝑚 funções que são combinaçõeslineares de 𝑛 variáveis 𝑥₁,... ,𝑥� com coeficiente de combinação 𝐴�₁,... ,𝐴��, (𝑘=1...𝑚); ou seja:

ƒ� = 𝐴��𝑥� = 𝐴𝑥Então, é obtida a matriz de variâncias-covariâncias de ƒ como::

𝑐𝑜𝑣��= 𝐴��𝑐𝑜𝑣��𝐴�� = 𝐴𝑐𝑜𝑣�𝐴�Onde 𝑐𝑜𝑣� é a matriz de variâncias-covariâncias do conjunto devariáveis 𝑥.As expressões anteriores representam a propagação do erro de umconjunto de variáveis na função de que são parte. Quando os errosno conjunto de variáveis 𝑥 não estão correlacionados, a expressãoanterior reduz-se a:

𝑐𝑜𝑣��= 𝐴��(𝜎2�)� 𝐴��Propagação do erro em combinações não lineares

Quando ƒ é uma combinação não linear do conjunto de variáveis 𝑥,pode-se realizar uma propagação em um intervalo para calcularintervalos que contêm todos os valores consistentes das variáveis.Em um enfoque probabilístico, a função ƒ deve se linearizar porsua aproximação de primeira ordem de sua série de Taylor:

ƒ� ≈ƒ0� + 𝑥�≈ƒ0 + 𝐽𝑥onde 𝜕ƒ��𝜕𝑥� denota a derivada parcial de ƒ� com relação àvariável 𝑖-ésima e onde 𝑖-ésima e onde 𝐽 é a matriz jacobiana de ƒ.Dado que ƒ⁰ é uma constante, este termo não contribui para o errode ƒ. Portanto, conclui-se que a propagação do erro segue o casolinear da seção anterior substituindo os coeficientes lineares 𝐴�� y 𝐴�� pelas derivadas parciais 𝜕ƒ��𝜕𝑥� y 𝜕ƒ��𝜕𝑥�:

𝑐𝑜𝑣�= 𝐽𝑐𝑜𝑣(𝑥)𝐽�

Exemplos

A seguir, é apresentada uma tabela com as variâncias de distintasfunções de variáveis reais A, B com desvios padrão 𝜎A,𝜎B, variânciae constantes a,b. Dado que a maioria dos modelos estatísticospodem ser construídos como uma composição destas funções, apartir delas é imediato deduzir como a volatilidade das variáveisoriginais é transferida para o resultado final do modelo combinado.

Como é possível observar, a volatilidade do erro pode aumentarrapidamente ao concatenar dois modelos estatísticos, o que temsérias implicações ao quantificar o risco de modelo em um sistemade decisão e reforça a necessidade de estabelecer controles derazoabilidade nos resultados intermediários.

35

Propagação da incerteza na concatenação de modelos

��₌₁ � ��

� � �

� � � 𝜕ƒ�𝜕𝑥�

MANAGEM

ENT SOLUTIONS


36

Banco de España (2007). Documento de Validación nº 2. Criteriossobre validación interna de modelos avanzados de gestión de riesgos.

Banco de España (2008-14). Guía del Proceso de Autoevaluación delCapital de las Instituições de Crédito (PAC) (revisões de 2009, 2011 e2014).

Bank for International Settlements (2013), Statistical release OTCderivatives statistics at end-June 2013.

Basel Committee on Banking Supervision (2004-06). InternationalConvergence of Capital Measurement and Capital Standard.Framework revisado en 2006. Versão integral.

Basel Committee on Banking Supervision (2005-1). Basel CommitteeNewsletter No. 4 (January 2005). Update on work of the AccordImplementation Group related to validation under the Basel IIFramework.

Basel Committee on Banking Supervision (2005-2). Basel CommitteeNewsletter No. 6 (September 2005). Validation of low-defaultportfolios in the Basel II Framework.

Basel Committee on Banking Supervision (2006). Basel CommitteeNewsletter No. 9 (September 2006). The IRB Use Test: Background andImplementation.

Basel Committee on Banking Supervision (2010-11). Basel III: Aglobal regulatory framework for more resilient banks and bankingsystems (revisão de junho de 2011).

EBA-CEBS (2006). Guidelines on the implementation, validation andassessment of Advanced Measurement (AMA) and Internal RatingsBased (IRB) Approaches.

EBA (2013). RTS on Prudent Valuation, Consultation Paper.

EBA (2014).Model Validation (Single Rulebook).https://www.eba.europa.eu/regulation-and-policy/model-validation(en desarrollo).

Efron, B. y Tibshirani, R. J. (1993). An Introduction to the Bootstrap.Chapman and Hall, London.

Management Solutions (2013). Análise de impacto dos testes deestresse do sistema financeiro.

MIT Sloan Management Review. T. H. Davenport y J. G. Harris(2005). Automated Decision Making Comes of Age.

Office of the Comptroller of the Currency y Board of Governors ofthe Federal Reserve System (2011-12). Supervisory Guidance onModel Risk Management.

Securities & Exchange Commission (SEC) y Commodity FuturesTrading Commission (CFTC) (2010). Findings regarding the marketevents of May 6, 2010. Report of the staffs of the CFTC and SEC to theJoint Advisory Committee on Emerging Regulatory Issues.

Bibliografia

37

Glossário

ALM: gestão de ativos e passivos (assets and liabilitiesmanagement).

Análise what-if: simulação do impacto de um ou mais cenáriosespecíficos das variáveis de entrada (inputs) sobre os resultados(outputs) de um processo.

Buffer de capital: reserva de capital, cujo objetivo é garantir queuma instituição seja capaz de absorver as perdas derivadas de suaatividade em períodos de estresse.

CCF: fator de conversão do crédito (credit conversion factor).

Curva ROC (receiver operating characteristic): curva empregada paraanalisar o poder preditivo de um modelo de saída binária.Representa a relação entre o erro de tipo I (classificarincorretamente eventos adversos) e o erro de tipo II (classificarincorretamente eventos favoráveis).

Distância de Kolmogorov-Smirnov: teste não paramétrico utilizadopara determinar a semelhança de duas distribuições deprobabilidade entre si. Utiliza o supremo (máximo) da diferençaabsoluta entre a distribuição empírica e a estimada. É utilizadacomo métrica de poder preditivo em modelos de saída binária.

EAD: exposição no momento de default (exposure at default). Temum componente de exposição fora de balanço (disponíveis,compromissos, etc.) para o qual é necessário estabelecerdeterminadas premissas. Por exemplo, para uma linha de créditoEAD = disposto + CCF x disponível, onde CCF é o fator deconversão de crédito.

EBA (European Banking Authority): autoridade independente daUnião Europeia, cujo objetivo principal é manter a estabilidadefinanceira dentro da União e salvaguardar a integridade, aeficiência e o funcionamento do setor bancário. Foi estabelecidaem 1° de janeiro de 2011 como parte do Sistema Europeu para aSupervisão Financeira (ESFS) e absorveu o anterior Comitê Europeude Supervisores Bancários (CEBS).

Erro de tipo I: termo estatístico que faz referência ao erroproveniente de descartar a hipótese nula quando está certa.

Erro de tipo II: termo estatístico que faz referência ao erroproveniente de aceitar a hipótese nula quando é falsa.

Fed (Federal Reserve System): banco central dos EUA, fundado em1913 com o objetivo de fornecer à nação um sistema monetário efinanceiro mais seguro, flexível e estável. Com os anos, seu papelno setor bancário e econômico se expandiu, incluindo atividadescomo dirigir a política monetária nacional, supervisionar e regularas instituições bancárias ou prestar serviços financeiros parainstituições depositárias.

Flash crash: queda rápida, profunda e volátil nos preços de ativos,ocorrida em um período muito breve de tempo; por exemplo, aque ocorreu em 6 de maio de 2010 nos EUA.

Override: decisão manual que contradiz o resultado de um modeloestatístico.

Índice de poder ou coeficiente de Gini: métrica que serve paraanalisar de forma quantitativa o poder discriminante de ummodelo de saída binária, baseando-se na ordenação que faz doseventos adversos e favoráveis.

IRB (Internal Rating Based): método avançado de estimativa decapital regulatório baseado em modelos de rating internos. Paraacessá-lo, as instituições devem cumprir um conjunto de requisitose obter autorização do supervisor.

KYC: informações relevantes de clientes (know your customer)obtidas com diversos objetivos, como o cumprimento regulatórioem relação à fraude, lavagem de dinheiro, financiamento doterrorismo ou corrupção.

LGD: perda em caso de default (loss given default). É igual a 1menos a taxa de recuperação. Conforme o Basileia II, parágrafo 468,deve ser calculada levando em conta uma conjuntura econômicadesfavorável.

LTV: relação entre o montante pendente de um empréstimo e ovalor da garantia associada (loan to value). Utiliza-se emempréstimos com garantia real, principalmente hipotecários.

Model Risk Additional Value Adjustment (AVA): ajuste necessáriopara a avaliação correta de posições no trading book.

OCC (Office of the Comptroller of the Currency): agência federal dosEUA que se encarrega da regulação e supervisão de bancosnacionais, escritórios federais e agências de bancos estrangeiros.Tem como objetivo principal garantir que operem de forma segurae sólida, assim como o cumprimento regulatório, incluindo otratamento justo e imparcial de clientes e seu acesso ao mercadofinanceiro.

PD: probabilidade de default (probability of default).

RWA: ativos ponderados por risco (risk weighted assets); trata-se daexposição (dentro ou fora do balanço) ponderada pelo risco quecomporta para a instituição, calculado de acordo com os métodosque o regulador estabelece.

Scoring/rating: modelo que atribui uma pontuação a cada objetode qualificação (solicitações/contrapartes) de acordo com suaqualidade de crédito. Em caso de qualificar o binômio solicitação-cliente, trata-se de um modelo de scoring; em caso de qualificarcontrapartes, trata-se de um modelo de rating.

Simulação de Monte Carlo: técnica utilizada para aproximar aprobabilidade de um evento mediante a execução de múltiplassimulações utilizando variáveis aleatórias.

Teste de estresse: técnica de simulação utilizada para determinar aresistência de uma instituição perante uma situação financeiraadversa. Em um sentido mais amplo, refere-se a qualquer técnicapara avaliar a capacidade para suportar condições extremas, e éaplicável a instituições, carteiras, modelos, etc.

VaR (Value at Risk): técnica estatística utilizada para quantificar onível de risco financeiro assumido em um período de tempo comum determinado nível de confiança.

MANAGEM

ENT SOLUTIONS


38

A Management Solutions é uma empresa internacional deserviços de consultoria com foco em assessoria de negócios,riscos, organização e processos, tanto sobre seus componentesfuncionais como na implementação de tecnologias relacionadas.

Com uma equipe multidisciplinar (funcionais, matemáticos,técnicos, etc.) com mais de 1.300 profissionais, a ManagementSolutions desenvolve suas atividades em 18 escritórios (9 naEuropa, oito nas Américas e um na Ásia).

Para atender às necessidades de seus clientes, a ManagementSolutions estruturou suas práticas por setores (InstituiçõesFinanceiras, Energia e Telecomunicações) e por linha de negócio(FCRC, RBC, NT), reunindo uma ampla gama de competências deEstratégia, Gestão Comercial e Marketing, Organização eProcessos, Gerenciamento e Controle de Riscos, InformaçãoGerencial e Financeira e Tecnologias Aplicadas.

No setor financeiro, a Management Solutions oferece serviçospara todos os tipos de empresas, bancos, seguradoras, empresasde investimento, financeiras, etc. - tanto para organizaçõesglobais, como para instituições locais e órgãos públicos.

Luis LamasSó[email protected]

Javier CalvoGerente de P&[email protected]

Marta [email protected]

Ana Isabel BocosMetodologista de P&[email protected]

Nosso objetivo é superar as expectativasdos nossos clientes sendo parceiros de

confiança

Design e diagramaçãoDepartamento de Marketing e ComunicaçãoManagement Solutions - Espanha

© Management Solutions. 2014Todos os direitos reservados

Madrid Barcelona Bilbao London Frankfurt Warszawa Zürich Milano Lisboa BeijingNew York San Juan de Puerto Rico México D.F. Bogotá São Paulo Lima Santiago de Chile Buenos Aires

model risk managementaspectos quantitativos equalitativos da

Documents