Inteligência Artificial (IA) e Dados Pessoais –

Fomentar o Desenvolvimento e a Adopção

Responsáveis da IA

Documento de discussão

(Traduçao não oficial)

Declaração

Esta tradução não oficial em Português do documento, disponibilizada pelo

Gabinete para a Protecção de Dados Pessoais (GPDP) do Governo da RAEM,

servindo apenas para a consulta dos interessados.

Este documento dedica-se ao objectivo referencial, não é lei ou regulamento

vigente na RAEM, e não produz qualquer efeito legal. O GPDP ou qualquer

outra entidade pública na RAEM não se responsabiliza por qualquer prejuízo ou

dano provocado por este documento ou pela reprodução ou divulgação do

mesmo.

Este documento pode ser publicado ou reproduzido para uso sem fins

lucrativos. No entanto, o utilizador deve declarar que o documento é

disponibilizado pelo GPDP e indicar a origem do documento em Inglês. Salvo

autorização prévia por escrito do GPDP, ninguém pode reproduzir, reeditar,

distribuir, divulgar ou proporcionar este documento para uso com fins

lucrativos. O GPDP reserva o direito de responsabilizar o infractor nos termos

da lei.

Governo da Região Administrativa Especial de Macau

Gabinete para a Protecção de Dados Pessoais

Abril de 2019 (1.a versão)

Nota

O texto “Documento de discussão sobre Inteligência Artificial (IA) e Dados

Pessoais – Fomentar o Desenvolvimento e a Adopção Responsáveis da IA ” é uma

tradução para Português do documento “DISCUSSION PAPER ON ARTIFICIAL

INTELLIGENCE (AI) AND PERSONAL DATA – FOSTERING RESPONSIBLE

DEVELOPMENT AND ADOPTION OF AI”, publicado pela Comissão da Protecção

de Dados Pessoais de Singapura (Personal Data Protection Commission of Singapore)

(https://www.pdpc.gov.sg/-/media/Files/PDPC/PDF-Files/Resource-for-Organisation/A

I/Discussion-Paper-on-AI-and-PD---050618.pdf)

O documento original em Inglês foi publicado no dia 5 de Junho de 2018 pela

Comissão da Protecção de Dados Pessoais de Singapura.

O texto foca-se nas questões inerentes ao desenvolvimento e utilização comerciais

de IA, e sua governança, pretendendo criar um enquadramento de responsabilização

sisitemático e estrutural no âmbito de ética, governança e protecção dos consumidores

durante a aplicação comercial de IA, com vista a chamar a atenção do público em

relação à protecção de dados pessoais e privacidade na evolução de IA, a qual é movida

pelos megadados.

Recorda-se o leitor que este documento foi reparado tendo como pano de fundo

enquadramento legal de Singapura.

Assim alguns temas são discutidos sob uma perspectiva jurídica diferente da da

RAEM, e deverá ter-se o cuidado de não retirar paralelos próximos com as soluções

jurídicas de Macau para os mesmos problemas.

O Gabinete para a Protecção de Dados Pessoais formula votos de que os

responsáveis pelo tratamento, os subcontratantes e o público em geral possam

beneficiar dos úteis ensinamentos contidos no presente documento.

Governo da Região Administrativa Especial de Macau

Gabinete para a Protecção de Dados Pessoais

https://www.pdpc.gov.sg/-/media/Files/PDPC/PDF-Files/Resource-for-Organisation/AI/Discussion-Paper-on-AI-and-PD---050618.pdfhttps://www.pdpc.gov.sg/-/media/Files/PDPC/PDF-Files/Resource-for-Organisation/AI/Discussion-Paper-on-AI-and-PD---050618.pdf

1. INTRODUÇ Ã O

Os dados são base essencial em relação a construção da economia digital. O

crescimento exponencial no volume de dados e aumento da capacidade computacional

com custo cada vez baixo, trabalham em conjunto para promover tecnologias

orientadas por dados tais como Inteligência Artificial (IA). Os benefícios e riscos da

IA têm sido objecto de um grande debate público. Por um lado, a IA tem a capacidade

de aumentar a produtividade, transformar os modelos de negócios, estimular a

economia e melhorar a vida da população. Por outro lado, a IA pode substituir

empregos e colocar desafios éticos tais como a criação de perfis sociais.

Este documento oferece uma análise preliminar da Comissão da Protecção de

Dados Pessoais de Singapura (Personal Data Protection Comission, PDPC) sobre

algumas questões inerentes ao desenvolvimento comercial e adopção de soluções de

IA. O objectivo é propor uma estrutura de trabalho com base em responsabilização

para discutir os assuntos éticos, da governança e da protecção dos consumidores

relacionados com a aplicação comercial da IA de forma sistematizada e estruturada.

Numa economia baseada nos serviços como Singapura, a IA será provavelmente

aplicada em sistemas inteligentes que processam dados pessoais. Assim, este modelo

também é relevante para a protecção de dados pessoais. Utilizando este modelo na

concepção de sistemas ou processos poderá também promover a “protecção de dados

desde a concepção.”1

O modelo proposto pretende encorajar um debate informado e construtivo sobre

este assunto complexo. Em última análise, esperamos lançar as sementes para que o

sector privado desenvolva os modelos de governança voluntários, incluindo códigos

de conduta voluntários que possam ser aplicados a organizações, sectores, ou de uma

forma mais geral a toda a economia digital.

(a) Encontrar um equilíbrio adequado na governança de IA

A emergência do desenvolvimento da IA actualmente apresenta uma

oportunidade adequada para que as partes interessadas tais como reguladores,

exploradores de IA, empresas utilizadoras de IA e consumidores discutam a

necessidade de governança e regulação da IA, bem como as formas que as mesmas

podem seguir. As visões preliminares fundamentais incluem:

Os modelos de governança à volta da IA devem ser tecnologicamente neutros

e de “light-touch” para que a tecnologia de IA se possa desenvolver numa

direcção que não seja distorcida ou impedida por regras prescritivas que tenham

sido estabelecidas prematuramente.

1 A protecção de dados desde a concepção refere-se à abordagem através da qual as organizações

consideram a protecção de dados pessoais desde a fase mais inicial da concepção, e durante o ciclo de

vida operacional de um novo sistema, produto ou serviço. Deste modo, as garantias de segurança

apropriadas à protecção de dados pessoais seriam parte integrante destes. Extraído da Guia para

avaliação do impacto da protecção de dados (Guide to Data Protection Impact Assessments) da

Comissão da Protecção de Dados Pessoais de Singapura.

Deve ser proporcionada clareza regulatória aos exploradores e às empresas

utilizadoras de IA no processo de desenvolvimento de tecnologia IA e à sua

tradução para soluções de IA. Os consumidores beneficiam da escolha e da

diferenciação dos produtos que emerge directamente da difusão da tecnologia IA

no mercado. A clareza regulatória também contribui para uma competição de

mercado saudável.

Políticas e regulamentos que promovam a explicabilidade, transparência e

justiça, bem como a centração no ser humano como requisitos de base claros

podem construir confiança em aplicações de IA. Por exemplo, explicar como a

tomada de decisões com base na IA pode levar a decisões mais consistentes com

mais transparência no processo de decisão, isto pode aumentar a confiança dos

consumidores. Além da Lei da Protecção de Dados Pessoais (Personal Data

Protection Act, PDPA), os códigos de conduta específicos a sectores podem

fornecer garantias aos consumidores sobre o uso de IA, especialmente aquando

da aplicação aos processos de tomada de decisão.

(b) A cadeia de valor e processos de aplicação da IA

Este documento adopta o seguinte modelo para descrever as diferentes

partes interessadas na cadeia de valor da IA:

Fig. 1

O termo “Exploradores de IA” inclui os de sistemas de aplicações que usem

tecnologia IA. Estes podem ser produtos comerciais disponíveis no retalho, serviços

online, aplicações móveis e outros softwares que os consumidores possam usar

directamente. “Exploradores de IA” incluem também fabricantes de dispositivos e

instalações que integram características baseadas em IA nos seus produtos, bem como

1. Exploradores de IA

2. Empresas utilizadoras

開發和整合：

AI 應用系統

AI 驅動的硬件和

設備

在運營和後臺處

理中利用 AI

出售和分銷 AI 硬

件與設備

使用 AI 驅動的服務

或產品

為 AI 的分析/建模提

供數據

接受增强人工智能給

處出給出的推薦

2. Empresas Utilizadoras

3. Consumidores e Clientes

Exploram e integram:

• Sistemas de

aplicação de IA

• Dispositivos e

instalações

suportados por IA

• Usam IA em operações

ou processos nos

bastidores

• Vendem e distribuem

dispositivos e instalações

que recorre a IA

• Usam serviços/produtos

movidos por IA

• Fornecem dados para

análise/modelos de IA

• Recebem recomendações

melhoradas por IA

A Cadeia de Valor da IA: Quem São as Partes Interessadas?

fornecedores de soluções IA cujas soluções não sejam produtos em si, mas cujo

objectivo seja a sua integração num produto final.

Entretanto, o termo “Empresas Utilizadoras” refere-se a empresas que façam uso

de soluções de IA nas suas operações. Isto pode ser operações nos bastidores (ex.

aplicações de processamento de empréstimos) ou um serviço de atendimento ao

público (ex. um portal de comércio electrónico ou aplicação de boleias). De igual

modo, pode-se referir a empresas que vendem ou distribuem dispositivos ou

instalações que fornecem características com base em IA (ex. aparelhos domésticos

inteligentes).

Este documento adopta o seguinte modelo de processos para descrever as

diferentes fases na aplicação de IA:

Fig. 2

Pelo que diferentes partes interessadas assumem diferentes papeis numa cadeia de

valor de IA, a relevância e a aplicabilidade de um modelo de governança de IA para

cada parte interessada também pode ser diferente. Por exemplo, o processo de

aplicação é potencialmente aplicável a exploradores de IA que integrem uma IA de

Machine Learning nos seus produtos. De igual modo, uma empresa utilizadora que

usa sistemas comerciais disponíveis no retalho que apliquem IA de Machine Learning

supervisionado também podem utilizar este modelo para mais facilmente

compreender os riscos (ex. de viés oculto não intencional no conjunto de dados de

treino) e a necessidade de manutenção continuada (ex. afinação do modelo). Logo, é

Preparação de dados Algoritmos Modelo escolhido

O Processo da Tecnologia de IA

Fase 1: Dados em Bruto são

formatados e limpos para que

seja possível chegar a conclusões

precisas. Em termos gerais, a precisão e os insights aumentam

com a relevância e a quantidade

de dados

Fase 3: O modelo escolhido é utilizado para produzir pontuações de

probabilidade, que possam ser

incorporadas em aplicações para

tomar decisões, resolver problemas e

despoletar acções.

Fase 2: São aplicados Algoritmos para análise. Isto

inclui modelos estatísticos,

árvores de decisão, redes

neurais. Os resultados são

examinados e os algoritmos

reiterados até que um modelo

produza os resultados mais

úteis.

Dados

em

bruto

Pré-processo

de dados

Repetir até os dados

estarem prontos

Algoritmos

de

Machine

Learning

Aplicar

algoritmos

Repetir para obter

o melhor modelo

Modelo

candidato Modelo

escolhido

Aplicação

Dados

em

bruto

Dados

preparados

necessário considerar tanto a cadeia de valor da IA e o processo de aplicação da

tecnologia ao discutir o desenvolvimento do modelo de governança de IA.

2. PRINCÍPIOS PARA A IA RESPONSÁ VEL

Para que a IA beneficie os negócios e a sociedade em geral, um conjunto de

princípios deve ser introduzido no modelo de governança da IA. Estes princípios

pretendem promover a confiança e o entendimento na utilização de tecnologias de IA.

Durante a consulta da PDPC, dois conjuntos fundamentais de princípios surgiram:

(i) Decisões feitas por ou com assistência de IA devem ser explicáveis,

transparentes e justas para que os indivíduos afectados tenham confiança e

segurança nestas decisões.

Explicáveis: Como é que as decisões algorítmicas e automatizadas e os

dados que levam a tais decisões ser explicados a utilizadores finais e a outras

partes interessadas em formas não técnicas? As características que apoiam a

explicabilidade poderiam possivelmente entrar na própria concepção dos

sistemas inteligentes que aplicam motores de IA ou nos motores de IA em si.

Se o funcionamento do motor da IA não puder ser facilmente explicado,

poderá uma possibilidade de verificar a decisão algorítmica e automatizada

ser igualmente eficaz?

Transparentes: Os exploradores de IA, os cientistas de dados, os

construtores de aplicações e as empresas utilizadoras devem ser responsáveis

pelos algoritmos, sistemas e aplicações de IA e as decisões resultantes

respectivamente, de modo a criar confiança em todo o ecossistema de IA.

Quais são as medidas e os processos que as partes interessadas nas diferentes

partes da cadeia de valor podem ser tomados, de modo a serem capazes de

informar os consumidores ou clientes em relação a como e quando a

tecnologia de IA é aplicada nas decisões que os afectam?

Justas: Os algoritmos e modelos de IA introduzidos nos sistemas de tomada

de decisão devem incorporar a justiça na sua essência. Isto pode incluir o

treino de conjunto de dados, o motor de IA e a selecção do(s) modelo(s) para

aplicação no sistema inteligente. Que práticas irão evitar a discriminação não

intencional em decisões algorítmicas automatizadas? Exemplos incluem

acompanhar as decisões para detectar discriminação não intencional e ter em

consideração a causa para o como foram tomadas.

(ii) Sistema de IA , robots e decisões tomadas utilizando IA devem ser centrados

no ser humano. O design centrado no ser humano refere-se à abordagem ao

design que coloca o cliente individual ou a parte dos consumidores no centro do

design da aplicação de IA. As organizações que sejam percebidas que causaram

danos a consumidores como resultado da sua aplicação de IA não inspiram a

confiança e a segurança dos consumidores. A beneficência ou “não fazer o mal”

é um princípio que pode incorporar o seguinte:

As decisões devem lutar por conferir um benefício para os indivíduos ou lhes

fornecer assistência na realização de uma tarefa;

As decisões não devem causar danos2 previsíveis a um indivíduo, ou devem

pelo menos minimizar o dano (em circunstâncias necessárias, quando se

compare com o bem maior);3

Benefícios tangíveis para indivíduos devem ser identificados e comunicados

por forma a construir o entendimento e a confiança dos consumidores; e

Os sistemas de IA e robots devem ser concebidos para evitar causar danos

corporais ou afectar a segurança de indivíduos.

Exemplificações

Automatizar a decisão para aprovar uma candidatura em relação a um seguro

de viagem para promover consistência, tendo em conta as diferenças

genuínas nas circunstâncias individuais.

Programar o fabrico assistido por robot de tal forma que o braço do robot não

ultrapasse um parâmetro de segurança específico ou se suspense quando

alguém entrar na sua zona de operação.

Incluir limites de segurança desde a concepção na operação de veículos

autónomos (ex. limites de velocidade, limites de segurança entre veículos

para evitar colisões). Ainda que as colisões sejam inevitáveis, devem ser

incluídos parâmetros para evitar ou minimizar os danos a seres humanos.

3. EXPLORAÇ Ã O DE UM MODELO PROPOSTO DE GOVERNANÇ A DE

IA

Com base na Cadeia de Valor da IA (Fig. 1) e os princípios supramencionados,

este documento propõe um modelo de governança de IA para encorajar a discussão

sobre como os dois conjuntos de princípios podem ser adoptados pelas diferentes

partes interessadas. O modelo proposto é aplicável em geral a todos os sectores e

fornece opções que podem ser adoptadas (na totalidade ou em parte) pelas

organizações, dependendo das suas necessidades e objectivos.

Premissas e Limites do Modelo Proposto

Quando se explorou o modelo proposto, as seguintes premissas e limites foram

identificados:

Premissas

Tecnologicamente neutro: O modelo

proposto foca-se na concepção,

Limites

Responsabilidade legal: O modelo

proposto não tenciona abordar ou

2 “Danos” neste caso inclui dano físico, psicológico, emocional e económico.

3 Adaptado dos Princípios Humanitários da UNICEF.

aplicação e uso da tecnologia em

contextos que afectem indivíduos sem

ser específico à tecnologia IA.

Agnóstico relativamente ao sector:

O modelo proposto deve ser aplicável

a todos os sectores como o padrão

base. Isto não exclui sectores

específicos e organizações de

incorporar padrões adicionais acima

da linha base definida no modelo

proposto.

resolver questões específicas sobre

a responsabilidade legal ou a

distribuição dos danos ou a

restituição. Porém, algumas partes

das práticas recomendadas neste

modelo têm a possibilidade de

assistir na gestão de disputas e

assegurar a disponibilidade de

provas que sejam necessárias para

resolver tais questões.

4. MODELO DE GOVERNANÇ A PROPOSTO COM QUATRO FASES

(A) Identificação dos objectivos de um modelo de governança de IA

Esta secção define vários objectivos para o modelo proposto.

Objectivos propostos:

Explicabilidade e Verificabilidade. Uma organização que aplique IA no seu

processo de tomada de decisões deve ser capaz de explicar como o seu motor de

IA funciona. Porém, onde não seja possível para certos tipos de motores de IA

(ex. redes neurais), a organização deve ser no mínimo capaz de verificar que o

motor de IA está a funcionar de acordo com as expectativas e dentro dos

parâmetros técnicos e éticos definidos. Isto iria fornecer uma garantia de que o

processo de tomada de decisão é supervisionado e não demasiadamente

dependente da IA para sugerir decisões ou até simplesmente delegado a um

conjunto de código de software.

Para conseguir IA “explicável”, é necessário considerar os papeis das diferentes

partes interessadas na cadeia de valor da IA, por exemplo:

O requerimento de explicabilidade pode ser satisfeito por exploradores de

IA na concepção de motores ou soluções de IA. Isto irá permitir-lhes estar numa

posição melhor para explicar a empresas utilizadoras como as suas soluções de IA

funcionam.

Empresas utilizadoras que não sejam capazes de explicar como o motor IA

funciona podem conceber para a verificabilidade4 do processo de tomada de

4 Os métodos de verificação para aplicação de IA podem ter como referência métodos de verificação

e validação tradicional de software. Estes incluem testes, monitorização do tempo de execução,

análise estática, verificação de modelos e prova de teoremas, e podem ser modificados para o

contexto de IA. A supervisão humana é um componente nuclear deste tipo de processos de

decisão a partir das fases de planeamento. Isto irá permitir-lhes assegurar que os

pontos de dados necessários para a monitorização são tidos em conta.

Boas Práticas de Responsabilização de Dados. As organizações devem por em

prática as boas práticas de responsabilização de dados. Estas incluem:

Entendimento da linhagem dos dados. Isto significa saber de onde os

dados vieram originalmente, como foram recolhidos, organizados e movidos

dentro da organização, e como a sua precisão é mantida ao longo dos tempos.

Minimização do risco de viés. A veracidade ou a qualidade dos dados

refere-se ao risco de viés que pode ser inerente ou latente num conjunto de dados.

As organizações devem adoptar práticas que lhes permitam detectar vieses que

possam existir nos seus dados para que estas possam realizar passos para os

abordar.

Manutenção do registo da origem dos dados. Esta prática é importante

para estabelecer uma linhagem dos dados em geral, mas os registos separados de

origem também podem ser mantidos para registar os dados que foram usados no

modelo do processo de aplicação da IA e também da cadeia de valor da IA na sua

totalidade5.

Em suma, as boas práticas de responsabilização de dados fornecem uma garantia

aos consumidores que as decisões downstream ou as sugestões fornecidas por

sistemas inteligentes não são falsas (resultado em erros de tipo I e/ou de tipo II6) e

não incorrem no risco de discriminação não intencional. Também é importante

para as empresas utilizadoras distinguirem entre responsabilização de dados, a

qual pretende assegurar a integralidade e a abrangência nas fases de preparação de

dados e criação de modelos, e a responsabilidade das organizações em evitar

decisões discriminatórias, injustas, ou à margem da lei.

Transparência. A comunicação aberta e transparente entre as partes interessadas

na cadeia de valor da IA será condutiva à construção de confiança na totalidade do

ecossistema de IA. Exemplos de como este princípio pode ser implementado

incluem:

O fornecimento de informação pelas diferentes partes interessadas deve ter

um propósito claro, personalizado para as necessidades e interesses do receptor e

não deve ser inadequado; e

verificação. Extraído de Menzies, T. e Pecheur, C. (2005) “Verification and Validation and Artificial

Intelligence”, Advances in Computers, 65, 153 – 201. 5 A manutenção de registos de origem dos dados utilizados para construir modelos para os dados de

entrada do utilizador final da IA, pode oferecer uma forma de determinar a qualidade dos dados

utilizados e rastrear possíveis fontes de erros. 6 Na análise estatística, erros de tipo I referem-se a falsos positivos e erros de tipo II referem-se a falsos

negativos.

As partes interessadas são encorajadas a explorar e usar uma variedade de

canais de comunicação por forma a assegurar uma comunicação eficaz e clara

com clientes e consumidores.

(B) Selecção de medidas de governança organizacional adequadas

Esta secção identifica práticas com base na responsabilização que podem ajudar

as organizações a prestar contas a um regulador, a indivíduos afectados ou partes

interessadas sobre como as decisões são tomadas. Nem todos os elementos desta

secção são relevantes em todos os casos: podem ser seleccionadas e personalizadas as

opções segundo o motor de IA adoptado (ex. baseado em regras, Machine Learning),

o sector em que a organização opera, o tipo de decisões e o grau de automação (ex.

humano-dentro-do-circuito ou humano-fora-do-circuito), etc.

Governança

A. Governança interna. Quando os sistemas de IA são

utilizados para tomada de decisão, as organizações devem

considerar como os seus actuais mecanismos de governança

ou supervisão corporativa podem ser adaptados ou criar

novos. Por exemplo:

Assegurar que os departamentos que desenvolvem

actividades de IA estão cientes das suas

responsabilidades;

Introduzir mecanismos de supervisão para acções ou

decisões dentro da esfera de responsabilidades do

departamento responsável, ex. rever excepções

identificadas pelo processo de tomada de decisão

automatizado, assegurar a verificabilidade de decisões

automatizadas ou rever decisões em processos que não

têm elementos com supervisão humana.

Estabelecer sistemas de monitorização ou comunicação

para assegurar que a informação flui até ao nível correcto

dentro da hierarquia de governança empresarial; e

Rever periodicamente a governança empresarial ou os

mecanismos de supervisão departamental, especialmente

quando há mudanças significativas na estrutura

organizacional ou no pessoal fundamental envolvido na

governança ou nos mecanismos de supervisão, para

assegurar a sua relevância.

B. Mitigação de risco e/ou danos. Ao aplicar sistemas

inteligentes a utilizações no mundo real, é importante

identificar riscos e danos potenciais que podem

previsivelmente surgir em casos de uso expectáveis. Uma

avaliação de risco e impacto é uma ferramenta que pode

ajudar à identificação de risco e redução de dano, como o

seguinte:

Ao seleccionar modelos candidatos para aplicações de

IA, as avaliações de risco e impacto podem ajudar à

identificação e compreensão das implicações esperadas e

de pior cenário, e informar a construção de processos de

mitigação;

Considerações éticas também devem ser incorporadas

nas avaliações gerais de risco e impacto; e

Documentar as avaliações de risco e impacto pode ser

útil, ex. para produzir trilhos de auditoria para

responsabilização interna (ou externa).

C. Revisões Ad hoc e periódicas de aplicações e decisões de

IA. Após a aplicação inicial, as organizações devem

considerar uma revisão periódica das suas decisões e

processos para estarem satisfeitos com o facto da confiança

em sistemas IA para o processo de tomada de decisão

permanecer relevante e apropriado. Além de revisões

periódicas, os accionadores específicos também devem ser

definidos, ex. quando existem mudanças significativas aos

sistemas inteligentes ou aos modelos aplicados.

Gestão de

operações e

concepção des

istemas

D. Responsabilização de dados. Os modelos de IA aplicados

em sistemas inteligentes que fazem ou assistem na tomada de

decisões algorítmicas devem operar-se com informação

precisa. A precisão da informação é afectada por:

A integralidade dos dados necessária;

Quão recentemente os dados foram recolhidos e

actualizados;

Se os dados estão estruturados num formato perceptível

à máquina; e

A fonte dos dados, pelo que o contexto para a recolha

inicial pode afectar a interpretação e a confiança dos

dados para um objectivo secundário.

As organizações devem considerar gerar registos ou

documentar processos para mitigar potenciais problemas com

responsibilização de dados, incluindo:

Manter um registo da origem dos dados ou trilho de

auditoria dos dados que foram usados na criação do

modelo ou processo de decisão, o que pode ajudar a

descobrir quaisquer limites inerentes ou erros;

Os exploradores de IA podem considerar atribuir uma

pontuação de veracidade7 aos conjuntos de dados de

treino durante a criação de modelos que podem ser úteis

durante a selecção de modelos para minimizar o risco de

viés; e

Empresas utilizadoras podem considerar atribuir

pontuações secundárias de veracidade para dados (ou

entradas) operacionais, o que pode ser útil quando usado

como informação de feedback durante a afinação do

modelo.

E. Repetibilidade. Um sistema inteligente que é capaz de

realizar uma acção ou tomar uma decisão de forma

consistente dentro do mesmo cenário irá promover a

confiança dos consumidores. As práticas que podem ajudar

incluem:

Avaliações de repetibilidade para aplicações comerciais

em ambientes ao vivo;

Quando uma decisão não for repetível, uma consideração

possível de concepção é como as excepções devem ser

identificadas e tratadas; e

Medidas também podem ser postas no lugar para

identificar e contabilizar mudanças ao longo dos

tempos, especialmente se modelos forem treinados em

dados sensíveis a tempo ou concebidos para evoluir.

F. Rastreabilidade relaciona-se com como o modelo de IA

toma decisões ou faz sugestões. As práticas que promovem a

rastreabilidade incluem:

Construir um rasto de auditoria para registar o processo

7 Na ciência de dados, a veracidade dos dados refere-se à precisão ou à falsidade dos dados. Uma

pontuação de veracidade dos dados refere-se à atribuição de uma pontuação que tenha em conta os

elementos que podem afectar a precisão dos dados, ex. inconsistências, contradições, ou a

“obsolescência” dos dados.

de tomada de decisão;

Implementar uma caixa preta que capture todas as fontes

de entrada de dados. Os dados relevantes à

rastreabilidade devem ser gravados de forma apropriada

para assegurar que não existe degradação ou alteração,

para durações de retenção relevantes à indústria; e

Acesso a e/ou auditorias do algoritmo IA, para

avaliação de risco organizacional. Independentemente de

se as auditorias do algoritmo devem ser universalmente

praticadas, se forem bem executadas, estas podem

fomentar a confiança dos consumidores. Ao considerar

auditorias do algoritmo, os seguintes factores são

relevantes:

o Conhecimento necessário para compreender

eficazmente o algoritmo, as regras ou os modelos;

o Considerações de confidencialidade comercial do

fornecedor de tecnologia de IA, incluindo medidas de

mitigação; e

o A utilidade desta informação para ajudar a fornecer

um relatório aos reguladores, indivíduos afectados

e/ou partes interessadas.

G. Afinação de modelos de IA. A selecção de modelo(s) para

eventual aplicação no sistema inteligente deve ser uma

decisão ponderada e o processo e as razões para esta escolha

devem ser documentadas. Além disso, os modelos precisam

de ser actualizados periodicamente. As considerações

relevantes incluem:

Adoptar processos de governança interna e afinar os

modelos de IA periodicamente para ter em conta

mudanças aos dados e/ou modelos ao longo dos tempos;

Realizar monitorização e afinação activa e onde os

sistemas IA se desenvolveram num ambiente

comparativamente estático8 mostrar a instabilidade dos

modelos quando aplicados em ambientes dinâmicos.9

8 Stoica, I. et al. (2017) A Berkeley View of Systems Challenges for AI. e Mishra, N. et al. (2018)

Controlling AI Engines in Dynamic Environments. 9 Estes são ambientes que se alteram rapidamente, com frequência e de formas não replicáveis.

(C) Consider processo de gestão da relação com os consumidores

O terceiro passo no modelo de governança de IA é a gestão de comunicações com

os indivíduos afectados e fornecer medidas de recurso, as quais são importantes para

construir a confiança e segurança dos consumidores. As seguintes medidas podem ser

adoptadas em processos de gestão dos consumidores existentes. Dependendo da

natureza da aplicação da IA, as organizações podem seleccionar medidas que melhor

podem encaixar nas suas necessidades. Estas medidas incluem:

Transparência

A. Política de divulgação. As organizações devem considerar

divulgar o uso de IA no processo de tomada de decisão (quer

totalmente automatizado quer para assistir no processo de

decisão), incluindo como esta divulgação deve ser feita.

O aumento da transparência contribuiria para construir a

confiança e a aceitação dos consumidores, ao aumentar o nível

de conhecimento e a confiança na relação do cliente. As

organizações também devem considerar levar a cabo avaliações

éticas e disponibilizar resumos significativos destas avaliações

aos seus clientes.

B. Política de explicação. As organizações devem considerar

explicar como a IA é aplicada no processo de decisão, e/ou

como uma decisão específica é feita, incluindo as razões da

decisão onde seja adequado ou possível.

As explicações podem assumir a forma de informação ex ante

disponibilizada como parte da comunicação geral da

organização, ou de informações específicas fornecidas pela

organização no que respeita à decisão que afecta o indivíduo

que faz o pedido. No contexto das decisões feitas, utilizando

informação de perfis, pode ser dado ao individuo afectado

informação sobre como os seus dados pessoais são associados a

perfis de focalização em utilizadores.

Interacção

C. Avaliação heurística. Isto assegura que os problemas de

usabilidade são abordados e que as interfaces do utilizador são

testadas, para que a camada da interface do utilizador sirva o

seu objectivo. As expectativas dos consumidores serão uma

área relevante para abordar para preservar a experiência dos

consumidores. Por exemplo, com a crescente utilização de

bots de chat, as organizações devem considerar se os

consumidores devem ser informados quando interagem com

bots de chat em vez de um agente humano.

D. Opção de opt out. No cenário de aplicação totalmente

automatizada, uma organização que forneça uma opção de opt

out pode levar a uma diminuição na eficiência operacional,

pode não ser tecnicamente exequível, ou levar a que um

processo se torne comercialmente não-competitivo. Apesar

disso, fornecer essa opção pode revelar-se benéfico, em

particular se construir confiança dos consumidores, por

exemplo em aplicações que possam ter impacto significativo

no individuo e risco para a organização. Assim, as

organizações devem considerar fornecer uma opção de opt

out.

Comunicação

E. Canal de feedback. As organizações devem considerar

fornecer um canal (ex. endereço de email) para que indivíduos

afectados possam apresentar feedback ou levantar questões

que tenham para a organização abordar. Em particular, onde

os clientes encontrem imprecisões nos dados, um canal que

permita aos clientes aceder e corrigir os próprios dados será

útil para manter a veracidade dos mesmos.

F. Revisão da decisão. As organizações devem considerar

fornecer o individuo afectado com um meio para pedir a

revisão da decisão que afecta o mesmo. As considerações

relevantes incluem o grau de automação e a extensão à qual a

IA é aplicada no processo de decisão, bem como o impacto ao

individuo. Em casos onde uma decisão totalmente

automatizada for tomada, pode ser razoável fornecer um meio

ao indivíduo afectado para que o mesmo peça uma revisão da

decisão.

(D) Construi um modelo de tomada de decisão e avaliação de risco

O passo final é incluir considerações de tomada de decisão e de avaliação de risco

no modelo. O risco e a gravidade do dano aos consumidores são factores que afectam

qual abordagem de tomada de decisão deve ser adoptada, e por sua vez como as

organizações calibram a governança e os processos de gestão dos consumidores. As

seguintes abordagens de tomada de decisão podem ajudar os negócios a determinar o

método apropriado de aplicação da IA, maximizando os benefícios enquanto

minimizam os riscos de dano:10

10

Adaptado de Citron, D. K. e Pasquale, F. A. (2014) “The Scored Society: Due Process for Automated

Predictions”, Washington Law Review, 89

Fig. 3

Para determinar uma abordagem apropriada de tomada de decisão, as

organizações podem considerar recurso à matriz de decisão proposta (ver a Fig. 4

abaixo), a qual tem em conta a probabilidade e a gravidade do dano a consumidores.

Modelos de Humano-sobre-o-circuito envolvem um decisor humano que toma uma opção, mas se baseia nos sistemas inteligentes para sugerir opções e como realizar a acção. Por exemplo, um individuo especifica o seu destino num sistema de navegação, o qual faz sugestões de uma ou mais rotas de navegação.

A identificação e tratamento de excepções serão importantes. Por exemplo, um robot de limpeza autónomo pode ser deixado a mapear o melhor percurso para limpar uma localização, excluindo zonas “não-permitidas” as quais os humanos podem pré-definir.

Modelos de Humano-fora-do-circuito tipicamente envolvem processos de tomada de decisão automatizados pelo sistema inteligente baseando-se num conjunto de cenários pré-determinados.

Humano-sobre-

o-circuito

Humano-fora

-do-circuito

.

Humano-

dentro-do-

circuito

Modelos de Humano-dentro-do-circuito envolvem um decisor humano que se baseia no sistema inteligente para sugerir uma ou mais opções possíveis, mas que na última análise toma a decisão final. Por exemplo, um sistema operacional que fornece a um funcionário uma ou mais opções personalizadas para o caso que o próprio está a tratar.

Fig. 4 Ilustração de como usar a matriz de decisão

Para ilustrar como este modelo proposto pode ser utilizado, onde uma organização

avalia que tanto a probabilidade como a gravidade do dano a um cliente são elevadas,

pode decidir que o modelo de “humano-dentro-do-circuito” pode ser a abordagem de

tomada de decisão apropriada.11 De acordo com isto, tendo em conta o risco de dano,

é apropriado para a organização decidir implementar processos de governança

focados na repetibilidade e na rastreabilidade. Além disso, a organização pode decidir

que, dado que a decisão algorítmica não é automatizada, não existe a necessidade de

fornecer demasiada informação sobre os seus processos internos aos seus clientes.

5. PRÓ XIMOS PASSOS

Este documento de discussão pretende promover uma discussão saudável sobre a

promoção do desenvolvimento responsável e a adopção de soluções de IA e a

mitigação de riscos potenciais e do impacto negativo. A PDPC convida as

11

Porém, enquanto uma organização opte por utilizar um modelo de humano-dentro-do-circuito, isso

não significa que a probabilidade e a gravidade dos danos vão ser necessariamente elevadas.

Probabilidade dos danos G

ravid

ade d

os d

anos

Se a gravidade

for alta e a

probabilidade de

dano for baixa:

Se a gravidade e a

probabilidade de

dano forem altas

Humano-sobre-o-

circuito?

Humano-dentro-

do-circuito?

Se a gravidade

for baixa, e a

probabilidade de

dano baixa

Se a gravidade for

baixa e a

probabilidade de

dano alta

Humano-fora-d

o-circuito?

Humano-sobre-o-

circuito?

organizações a utilizar este documento para discussão interna. As organizações têm a

liberdade de o adaptar para uso interno. Associações de negócios e comerciais, corpos

profissionais e sociedades e ainda grupos de interesse são encorajados a adaptar este

modelo proposto para os seus sectores sob a forma de códigos de conduta voluntários.

6. AGRADECIMENTOS

A PDPC expressa os seus sinceros agradecimentos às seguintes organizações e

indivíduos pelo seu feedback valioso para este documento de discussão: (por ordem

alfabética)

AI Singapore

Attorney-General’s Chambers

Centre for Strategic Futures

Competition and Consumer Commission of Singapore

Government Technology Agency

Infocomm Media Development Authority

Integrated Health Information Systems Pte Ltd

Inter-Agency Project Team on Ethics and Governance of Artificial Intelligence

Land Transport Authority

Ministry of Communications and Information

Ministry of Health

Monetary Authority of Singapore

Smart Nation and Digital Government Office

Adobe Systems, Inc.

Amazon Web Services

AsiaDPO

BSA | The Software Alliance

Cisco Systems, Inc.

Facebook

Microsoft

Symantec Corporation

Dr. Steven Tucker, Founder, Tucker Medical Pte Ltd and Chief Medical Officer,

CXA Group

FIM DO DOCUMENTO

Copyright 2018 – Comissão da Protecção de Dados Pessoais de Singapura (Personal Data Protection Commission

Singapore, PDPC)

Esta publicação pretende fomentar o desenvolvimento e a adopção responsáveis de Inteligência Artificial. O

conteúdo da mesma não pretende ser uma declaração de uma posição de autoridade legal ou um substituto para

aconselhamento legal ou de outro foro profissional.

O conteúdo desta publicação está protegido por direitos de autor, à marca ou outras formas de direito proprietário e

não pode ser reproduzido, republicado ou transmitido sob qualquer formato ou através de qualquer meio, na

totalidade ou em parte, sem permissão por escrito.