capítulo 9 métodos de aprendizagem supervisionados: prediÇÃo introdução o objetivo dos...
TRANSCRIPT
Capítulo 9
• Métodos de Aprendizagem Supervisionados: PREDIÇÃO
Introdução O objetivo dos modelos preditivos supervisionados é encontrar um modelo que corretamente associe as variáveis de entrada com a variável objetivo (target). A combinação de muitas variáveis preditoras (entradas, input), grandes bases de dados, e bons softwares facilita a construção destes modelos com potencial para revelar estruturas escondidas. Assim, os modelos preditivos supervisionados têm grande importância em data mining.
Os modelos de regressão que iremos estudar neste curso usam variáveis contínuas ou binários como resposta (target). Em regressão nós procuramos ajustar uma função de regressão. As redes neurais usam os dois tipos de variáveis citadas, como também variáveis nominais e não apresentam uma função matemática explicitamente.
Dados de Treinamento Característica:tem informações
M O D E L OIdentificar padrõesválidos para a base
inteira
Após definir o modelo ajustado com os dados de treinamento, o mesmo deve ser validado com dados independentes do arquivo de treinamento, para cuidar de ter uma maneira de avaliar a qualidade do modelo em generalizar o que aprendeu.
Como em todas as outras técnicas de data mining os métodos de aprendizagem supervisionados preditivos não estão imunes a uma má escolha do arquivo de treinamento, a regra é a seguinte:
“Garbage in, garbage out”
Neste capítulo estudaremos as seguintes técnicas:
I. Redes Neurais
II. Regressão Linear Múltipla
III. Regressão Logística
Objetivo:O objetivo principal dos modelos preditivos é modelar o relacionamento entre várias variáveis preditoras (inputs, independentes, explicativas) e uma variável resposta (target, saída, dependente).
Aplicações dos métodos supervisionados
Preditivos:Lembrando que mais de um método pode ser usado para resolver o mesmo objetivo ou problema.
Regressão linear múltipla:
quanto um consumidor irá gastar na sua próxima compra?
Qual será o saldo do cartão de crédito de um correntista?
quantidade de pedidos online
uso de telefone celular
Regressão logística: quando a resposta é binária (sim/não), a regressão
logística binária pode estimar a probabilidade que um
segurado (possui apólice de seguro) solicite formalmente
suas garantias.
Um usuário de um determinado software irá solicitar uma atualização?
Um particular dono de casa irá solicitar o refinanciamento da sua casa própria no próximo trimestre?
Um consumidor irá responder a uma oferta de mala direta?
Redes neurais: pode ser aplicada para resolver todos os objetivos acima
descritos.
Redes Neurais ArtificiaisRedes neurais são uma classe de ferramentas muito poderosas, com propósitos gerais prontamente aplicáveis para:
Predição
Classificação
Agrupamento
Previsão (Séries temporais)
Exemplos de aplicação:
1. Avaliar valores (predições) financeiros
2. Diagnósticos médicos
3. Identificar grupos de consumidores promissores
4. Identificar fraudes em transações com cartão de crédito
5. Predizer a taxa de falhas em máquinas
6. Vendas (prever valor) futuras
Redes Neurais
x2
x1
y2
y1
. . .
Entradas(Inputs) Saídas(Outputs)
(Área da garagem)
(Idade da casa)
(Valor da casa)
(depreci-ação da casa)
Uma rede neural calcula y1 e y2 (saídas) a partir de x1 e x2 (entradas). O cálculo é um processo complexo que nós não precisamos entender para poder usar y1 e y2.
Pense uma rede neural como uma “caixa preta” que processa variáveis de entrada para criar uma saída.
Camada escondida (hidden layer)
Redes NeuraisDiferentes topologias da rede permite:
• Predição:• Classificação:• Agrupamentos:• Previsão (Séries temporais)
Quando a saída de uma rede é uma variável quantitativa contínua, como o valor de uma casa, então ela esta resolvendo um problema de predição. Quando a saída são valores discretos, então ela está fazendo uma classificação. Ela pode também fazer uma análise de agrupamentos (redes de Kohonen). A rede neural para séries temporais treina como uma rede direta (feed-forward), com retropropagação (back propagation) procurando prever o próximo valor na série em cada passo.
Redes Neurais Artificiais para Predição
Treinamento
Durante a primeira fase de uso de uma rede neural para predição, nós precisamos treinar a rede usando um grande número de exemplos de treinamento, onde as entradas e saídas são bem conhecidas. Por exemplo: para calcular o valor de vendas de uma casa ou apartamento, precisamos conhecer as vendas antecedentes, bem como uma série de variáveis que afetam os preços de venda. Um exemplo de registro de treinamento.
Exemplo de um registro de treinamento Características Valor Preço de venda $ 171,000 Meses passados 4
Onde vive: casa, apto ou outra 1 Ano construção 1923
Número consertos nos encanamentos 9 Tipo de aquecimento B
Garagem para x carros 0 Área anexa à garagem (square feet) 120
Área de living 1,614 Área de varanda aberta 0
Área de varanda fechada 210 Sala de recreação (área) 0
Área da casa 175
Detalhe técnico
A rede neural trabalha melhor quando todos os valores de entrada e saída estão entre 0(zero) e 1(um). Portanto, todas as variáveis contínuas e categorizadas precisam ser transformadas para ter valores entre 0 e 1.
Variáveis contínuas:
mínimo valor-máximo Valormínimo valor-original Valordotransforma Valor
Variáveis categorizadas:
01C50B00A
categorias Três
1B0A
níveis Dois
,,,
*Cria uma ordenação. Uma outra abordagem é criar variáveis binárias (dummy’s) para cada valor.
*
Exemplo de um registro de treinamento Característica Faixa Valor original Valor
transformado Preço de venda $103,000-$250,000 $ 171,000 0,4625 Meses passados 0-23 4 0,1739
Onde vive: casa, apto ou outra 1-3 1 0 Ano construção 1850-1986 1923 0,5367
Número consertos nos encanamentos
5-17 9 0,3333
Tipo de aquecimento A ou B B 1 Garagem para x carros 0-2 0 0 Área anexa à garagem
(square feet) 0-228 120 0,5263
Área de living 714-4,185 1,614 0,2593 Área de varanda aberta 0-738 0 0
Área de varanda fechada 0-452 210 0,4646 Sala de recreação (área) 0-672 0 0
Área da casa 0-810 175 0,2165
A saída da rede também vai ser um número entre zero e um e, portanto, precisa ser retransformado para valores os originais. Por exemplo, para o valor de venda predito 0,75, temos:
250213X103000250000
103000X750 ,$)(
,
Redes neurais para data mining supervisionadoUsos mais comuns da rede neural: construir modelos para classificação e predição. Os
passos neste processo são:
1. Identificar as variáveis (características) de entrada (inputs) e saídas(outputs).
2. Transformar as variáveis de entrada e saídas de tal forma que a sua amplitude fique na faixa de 0 a 1.
3. Escolher a rede com uma topologia adequada.
4. Treinar a rede com um conjunto representativo de exemplos de treinamento.
5. Validar a rede com um conjunto de validação totalmente independente dos exemplos de treinamento. Se necessário, repita o treinamento, ajustando o conjunto de treinamento, a topologia da rede, e parâmetros. Testar a rede usando um conjunto de teste para ver quão boa é sua performance.
6. Aplicar o modelo gerado pela rede para fazer predições com entradas desconhecidas.
Divisão do arquivo de dados Arquivo de treinamento
Arquivo de validação
Arquivo de teste
As redes neurais são treinadas usando apenas o arquivo de treinamento. Porém, existe a necessidade de se saber o momento de parar com a fase de treinamento, pois existe o perigo de um supertreinamento da rede e, neste caso, a rede perde o seu poder preditivo.
Para contornar o perigo de memorização por parte da rede, confronta-se o modelo gerado com a base de validação.
O arquivo de teste é usado para fazer uma verificação independente da performance da rede, isto é, serão usados registros nunca vistos pela rede. A taxa de erro observada no arquivo de treinamento é uma boa estimativa da taxa de erro para registros novos.
O que é uma rede neural?
Input 1
Input 4
Input 3
Input 2Output
Uma rede neural bastante simples com 4 entradas (inputs) e produz uma saída (output, uma resposta). O resultado do treinamento desta rede é exatamente equivalente à técnica estatística chamada de regressão logística.
Exemplos:
Input 1
Input 4
Input 3
Input 2Output
Esta rede tem uma camada intermediária chamada de camada escondida (hidden layer). A camada escondida faz a rede mais poderosa no sentido de capacitá-la a reconhecer mais padrões.
Camada escondida
(hidden layer)
Input 1
Input 4
Input 3
Input 2Output
Aumentando o tamanho da camada escondida faz a rede apresentar mais poder, porém traz à rede o perigo de um ajuste muito grande (overfitting). Geralmente é necessário uma única camada escondida.
Input 1
Input 4
Input 3
Input 2Output 2
Output 1
Output 3
Uma rede neural pode produzir vários valores de saída.
As 4 redes ilustradas até este ponto são redes neurais diretas (feed-forward).
As redes neurais diretas são as mais simples e o tipo mais usual. Há três questões básicas que devem serem feitas sobre elas:
i. O que são unidades e como elas funcionam? Isto é, o que é a função de ativação? Direta, Cíclica(recorrente, competitiva)
ii. Como são as unidades conectadas entre elas? Isto é, qual é a topologia da rede?
iii. Como a rede aprende a reconhecer os padrões? Isto é, o que é retropropagação (back propagation) e mais geral como a rede neural é treinada?
As respostas a essas questões fornecem um conhecimento para entender uma rede neural básica, conhecimento que fornece orientação para obter melhores resultados desta poderosa técnica de data mining.
O que é uma unidade de uma rede neural?
As redes neurais artificiais são compostas de unidades básicas desenhadas para modelar o comportamento dos neurônios biológicos. Veja figura no próximo slide.
output
w1 w2 w3
Entradas
A função de combinação e a função de transferência juntas constituem a função de
ativação
Cada entrada tem seu próprio peso, além disso tem um peso adicional chamado de viés.
A função de combinação une todas as entradas num só valor, usualmente como uma soma ponderada.
A função transferência calcula o valor de saída a partir do resultado da função de combinação
O resultado é exatamente um valor de saída, usualmente entre 0 e 1 ou entre -1 e 1.
Figura. A unidade de uma rede neural artificial é modelada segundo o neurônio biológico. A saída da unidade é uma combinação não linear das entradas.
Viés
A função de ativação tem duas partes:
1. Função de combinação
2. Função de transferência
A primeira parte é a função de combinação que une todas as entradas num único valor. Como mostra a figura do slide anterior cada entrada numa unidade tem seu próprio peso. A função de combinação mais comum é a soma ponderada, onde cada entrada é multiplicada pelo seu peso. Após faz-se o somatório desses produtos. Esta função é boa para a maioria das situações.
A segunda parte recebe este nome devido ao fato que ela transfere o valor da função de combinação para a saída da unidade. A próxima figura compara três funções de transferências típicas: as funções logística, linear e tangente hiperbólica.
Três funções de transferências comuns
-10 -9 -8 -7 -6 -5 -4 -3 -2 -1 0 1 2 3 4 5 6 7 8 9 10
X
-1,0
-0,5
0,0
0,5
1,0
Valo
res
da fu
nção
Linear Tangente hiperbólica Logística
A forma da função é importante. A função linear tem valor prático limitado. Uma rede neural direta formada apenas de unidades com função de transferência linear é equivalente a uma regressão linear simples. As curvas logística e tangente hiperbólica são funções não lineares e resultam num comportamento não linear. A maior diferença entre elas está na faixa de suas saídas, entre 0 e 1 para a logística, e entre –1 e 1 para a tangente hiperbólica.
A função de transferência mais comum é a logística. A fórmula da função logística é:
xe11x)Logística(
Onde x é o resultado da função de combinação, tipicamente é a soma ponderada das entradas nas unidades.
Redes neurais diretas (“Feed-forward Neural Networks”)
A figura no próximo slide ilustra como uma rede neural direta calcula os valores de saída a partir dos valores de entrada. A topologia ou arquitetura desta rede é bem típica das redes usadas para predição e classificação. As unidades são organizadas em três camadas. A camada da esquerda é conectada às entradas, cujos valores foram transformados para estar dentro da faixa de 0 e 1. Estas unidades são a camada de entrada da rede. Cada unidade na camada de entrada é conectada exatamente a uma variável de entrada.
A próxima camada é chamada de camada escondida.
Esta rede contém unidades padrões. As unidades na camada escondida calculam sua saída multiplicando o valor de cada entrada pelo seu correspondente peso, fazendo a soma dos resultados, e aplicando a função logística.
Uma rede neural pode ter qualquer número de camadas escondidas, porém, geralmente, uma camada é suficiente.
Num_apartments 1 0 Year_Built 1923 0,5367
Plumbing_Fixture 9 0,3333 Heating_type B 1
Basement_garage 0 0,0000 Attached_garage 120 0,5263
Living_area 1614 0,2593 Deck_area 0 0,0000 Porch_area 210 0,4646
Recrron_area 0 0,0000 Basement_area 175 0,2165
0,0000
0,5328
0,3333
1,000
0,000
0,5263
0,2593
0,0000
0,4646
0,0000
0,2165
-0,2164
0,0002
Saída da unidade
Pesos entrada
-0,231Constante(viés)
0,332
0,479
$176,20,49815
Camada escondida
Camada entrada
Camada saída
0,4213
0,335
0,573
0,583
Se aumentar o número de unidades da camada escondida, maior é a capacidade da rede de reconhecer padrões. Porém isto pode acarretar um problema: desejamos que a rede aprenda a generalizar os resultados sobre o arquivo de treinamento, e não que ela memorize (decorre) o arquivo de treinamento. Portanto, a rede não deve ter uma camada escondida muito grande.
A última unidade à direita (com um só neurônio) é a camada de saída (“output layer”) pois ela está ligada à saída da rede neural.
Na maioria das vezes, a rede neural é usada para calcular um valor, assim, só há uma unidade na camada de saída e o valor por ela fornecida está dentro da faixa de 0 a 1. Nós devemos transformar este valor para interpretá-lo. Na figura o valor 0,49815 para $176,228, o qual está bem próximo do seu valor real $171,000.
Camada de saída com mais de uma unidade.
Exemplo: Uma loja de departamentos deseja predizer a probabilidade dos consumidores comprarem produtos de vários departamentos (roupas femininas, móveis e entretenimento). As lojas desejam estes resultados para planejar promoções e fazer uma lista para enviar os catálogos.
Na próxima figura temos a rede com mais de uma saída usada, para predizer o departamento onde os consumidores irão fazer sua próxima compra.
Última
compra
Saldo
cartão
Gênero
Idade Propensão para móveis
Propensão para roupas femininas
Propensão para entretenimento
Após fornecer as entradas de um fornecedor na rede, ela calcula os três valores de saída. Dados estes valores, como pode a loja de departamentos determinar a promoção correta, ou promoções, para oferecer ao consumidor? Alguns métodos são:
pegar o departamento correspondente à unidade com valor máximo;
pegar todos os departamentos correspondentes às unidades que excedem algum determinado valor ;
pegar todos os departamentos correspondentes às unidades que são alguma porcentagem da unidade com valor máximo.
Na prática tentamos várias dessas possibilidades no arquivo de teste para saber qual funciona melhor na presente aplicação.
Como a rede neural aprende usando retropropagação?
Treinar a rede é o processo de encontrar os melhores pesos para as entradas de cada uma das unidades. O objetivo é usar o arquivo de treinamento para produzir pesos, onde a saída (output) da rede seja bem próximo do desejado para muitos exemplos do arquivo de treinamento. A técnica mais comum para fazer isso é a retropropagação.
Três passos:
1. A rede pega um exemplo do arquivo de treinamento e, usando os pesos atuais da rede, calcula a saída ou saídas para o exemplo.
2. Retropropagação então calcula o erro, fazendo a diferença entre o resultado calculado e o resultado real.
3. O erro é usado pela rede e os pesos são ajustados para minimizá-lo.
O algoritmo de retropropagação calcula um erro geral da rede neural comparando os valores produzidos sobre cada exemplo de treinamento para o valor real. Ela então ajusta os pesos da camada de saída para reduzir, mas não eliminar, o erro. Entretanto, o algoritmo ainda não terminou. Ela então atribui a “culpa” para os nós anteriores da rede e ajusta os pesos conectando aqueles nós, adicionalmente reduzindo o erro geral.
A escolha do arquivo de treinamento
O arquivo de treinamento consiste de registros cujos valores de predição ou classificação já são conhecidos. A escolha de um bom arquivo de treinamento é crucial.
Abrangência dos valores para todas as características
A consideração mais importante é que o arquivo de treinamento precisa cobrir a faixa completa dos valores para todas as características que a rede pode encontrar, incluindo a saída. Por exemplo, incluir casas com valores baixos e altos, casas grandes e pequenas, casas com e sem garagem. Em geral, é uma boa idéia ter vários exemplos no arquivo de treinamento para cada valor de uma característica categorizada e para uma faixa de valores para características discretas ordenadas e contínuas.
As entradas na rede neural devem estar na faixa 0 e 1. Entretanto é recomendável deixar uma folga ao redor desses limites, considerando os valores mínimo e máximo como sendo 0,1 e 0,9.
O número de características (variáveis)
O tempo necessário para treinar uma rede está diretamente relacionado com o número de variáveis de entrada usadas na mesma; quanto mais características (variáveis) são usadas, maior é o tempo para a rede convergir.
Um grande problema é que quanto mais aumenta o número de variáveis de entrada, a chance da rede convergir para uma solução de qualidade inferior aumenta.
Descartar características que não tenham poder preditivo ajuda a aumentar o poder preditivo da rede neural. Tente outras variáveis e verifique quais delas melhora a rede. Em muitos casos é necessário calcular novas variáveis que representam aspectos particular do problema. Por exemplo, R$/m2.
Pode-se usar outras técnicas para determinar quais características são importantes para o propósito de predição. Pode-se usar, por exemplo: correlações ou árvores de decisão.
Quanto maior o número de variáveis de entrada, maior deverá ser a rede neural, aumentando o risco de supertreinamento da rede e necessidade de maior número de registros de treinamento.
O número de exemplos de treinamentoGeralmente, quanto mais características há na rede neural, mais exemplos de treinamento são necessários para abranger os padrões nos dados.
Geralmente um mínimo de poucas centenas de exemplos são necessários para cada característica.
Quando o tamanho do arquivo de treinamento não é grande o suficiente, a rede tende a decorar os dados.
O número de saídas
Por exemplo, se a rede neural vai ser usada para detectar eventos (saídas) raros e caros, tais como: taxa de falhas de motores a diesel, uso fraudulento do cartão de crédito; então você precisa ter certeza que o arquivo de treinamento tem um número suficiente de exemplos desses eventos raros.
Uma amostra aleatória dos dados disponíveis não é suficiente, pois os exemplos não raros (comuns) vão “afundar” os exemplos raros.
Para contornar este problema, o arquivo de teste precisa ter muitos exemplos raros, portanto deve-se fazer uma amostragem estratificada. Por exemplo, tomar 10.000 “bons” exemplos e 10.000 “maus” exemplos.
Preparando os dados
Preparar os dados de entrada é freqüentemente a parte mais complicada do uso de uma rede neural.
Uma parte do problema é a transformação das variáveis de tal forma que os seus valores fiquem dentro da faixa de 0 a 1.
Variáveis contínuas (Intervalares)
Exemplos:
valores em reais (preços de venda, vendas semanais, rendimentos)
médias (volume médio de vendas)
taxas
medidas físicas (áreas, temperaturas)
Quando as características tem um amplitude bem definida, com valores mínimos e máximos, como por exemplo, preços de venda da casa, então podemos facilmente transformar os valores fazendo:
mínimo valor - máximovalor mínimovalor -originalvalor ado transform valor
O que fazer se os valores máximos e mínimos não forem conhecidos? Alguém poderia construir uma casa nova com 5,000 s.f. (s.f.=square feet) de área de living, enquanto que a rede foi treinada para valores na faixa de 714 a 4185 s.f., portanto, não podemos usar os resultados da rede.
Algumas abordagens do problema podem ser:
• Planejar para uma faixa maior. Ao invés de usar para os valores mínimo e máximo 714 e 4185, respectivamente, usar 500 a 5000.
• Rejeitar valores fora da faixa de estudo. Apenas use a rede para faixas pré-definidas de valores de entrada.
• Para valores menores do que o mínimo, designar o valor mínimo e para valores maiores do que o máximo, designar o valor máximo(Problema se tiver correlação: área e preço).
• Estipular para o mínimo o valor 0,1 e para o máximo o valor 0,9 ao invés de 0 e 1 respectivamente. Com isso use a seguinte fórmula:
10mínimovalororiginalvalor1090dotransformavalor ,mínimovalor -máximovalor
) )(,,(
Outro problema: distribuições assimétricas
Por exemplo, se a distribuição da variável rendimento é assimétrica, a rede é incapaz de usar efetivamente esta importante variável. A rede neural vai ter dificuldade para usar este importante campo.
A maneira mais comum de resolver este problema é discretizar a variável. Por exemplo (Percentis):
$10,000-$17,999 muito baixo ( 20% menores)
$18,000-$31,999 baixo (> 20% a 40%)
$32,000-$63,999 médio (> 40% a 60%)
$64,000-$99,999 alto (> 60% a 80%)
$100,000 ou mais muito alto(> 80% a 100%)
Esta transformação não muda a distribuição dos dados.
Outra maneira de resolver o problema é fazer uma transformação, por exemplo, a transformação logarítmica (log base 10).
Fazendo o log das vendas vai convertê-las na faixa de 4 a 6. A tabela compara os resultados.
Tabela. Diferentes maneiras de transformar a variável rendimento Renda Renda
transformada Log(renda) Log(renda)
transformado $ 10,000 0,0101 4,0000 0,0000 $ 18,000 0,0182 4,2553 0,1276 $ 32,000 0,0323 4,5051 0,2526 $ 63,000 0,0636 4,7993 0,3997
$ 100,000 0,1010 5,0000 0,5000 $ 250,000 0,2525 5,3979 0,6990 $ 800,000 0,8081 5,9031 0,9515
$ 1,000,000 1,0101 6,0000 1,0000
Variáveis ordinais, discretas
Exemplos de variáveis ordinais:
• Contagens (número de crianças, número de itens comprados, meses passados desde a última compra)
• Categorias ordenadas (baixo, médio, alto)Por exemplo, o número de crianças pode ir de 0 até 4; qualquer valor maior do que 4 podemos considerar como sendo igual a 4. A transformação é simples. Primeiro contamos quantos valores diferentes existem. Neste caso existem 5 valores diferentes: 0, 1, 2, 3, 4. Desejamos atribuir valores igualmente espaçados na faixa de 0 a 1. Temos, portanto:
• 00,00
•10,25
•2 0,50
•3 0,75
•4 1,00
Isto preserva a ordem, ou seja, não há perda de informação.
Variáveis categorizadas (nominal)
Exemplos:
• gênero, estado civíl
• códigos de produtos
• CEP
Embora CEP seja número, ele é uma variável nominal, pois a ordenação tem pouco significado.
Existem duas maneiras de tratar com variáveis categorizadas:
I. A primeira delas é tratar os códigos como variáveis discretas, valores ordenados, e atribuir valores usando o método discutido na seção anterior. Infelizmente a rede neural não entende que os códigos não são ordenados. Assim, se nós estamos tentando transformar os códigos para estado civíl: solteiro, divorciado, casado, viúvo e desconhecido, então essas categorias são transformadas em: 0,00, 0,25, 0,50, 0,75 e 1,00, respectivamente. Veja que solteiro está bem distanciado de desconhecido e bem próximo de divorciado. As vezes isto pode confundir a rede. Ela não entende que os códigos não são ordenados>
II. A segunda maneira é através da criação de variáveis dummy(zero e um), uma variável dummy para cada categoria. Por exemplo, considere que temos 3 categorias para gênero: masculino, feminino e desconhecido. Para cada categoria podemos considerar uma variável dummy conforme a tabela:Uso de variáveis binárias
Variável binária Gênero Masculino Feminino Desconhecido
Masculino 1 0 0 Feminino 0 1 0 Desconhecido 0 0 1
Outros tipos de variáveisPor exemplo, datas ou tempo podem ser representados como o número de dias ou segundos a partir de um determinado ponto, permitindo, assim, que os dados sejam transformados e utilizados na rede.
Interpretando os resultados
Foi realizado a transformação dos dados para entrarem na rede neural, portanto, precisamos calcular os seus valores inversos para interpretá-los.
Por exemplo, a rede pode ter sido usada para calcular o valor de uma casa. No arquivo de treinamento, para o valor $103,000 (valor mínimo) é atribuído o valor 0,1, e para o valor $250,000 (valor máximo) é atribuído o valor 0,9.
Posteriormente, se o modelo é aplicado para uma outra casa e a saída da rede for 0,5, então devemos saber que (transformação inversa):
500176000103000250
00010350
.valor...valor,
mínimomáximomínimovalordotransforma
Variáveis binárias ou categorizadas
Na predição com variáveis binárias ou categorizadas a rede apresenta valores contínuos, no intervalo de zero(0) a um (1) a saída precisa ser calibrada para determinar qual faixa corresponde para qual valor.
Abordagem simplista: arbitrariamente estabelecer que qualquer valor menor que 0,5 corresponde a um valor, e que qualquer valor acima de 0,5 corresponde ao outro valor. O valor 0,5 pode ir para qualquer dos dois valores.
Outra abordagem: dividir o intervalo em três partes, qualquer valor menor do que 0,33 é designado a uma categoria, qualquer valor maior do que 0,67 vai para a outra, e o resto declarado desconhecido.
Existe uma abordagem melhor? Sim.
Para descrever como interpretar os resultados de uma rede neural utiliza-se o arquivo de teste.
A figura no próximo slide mostra alguns resultados típicos de uma rede neural.
1,0
0,5
0,0AAA
B
BAA
B
B
B
Figura. Rodando uma rede neural com 10 exemplos de teste, do arquivo de teste, pode ajudar a determinar como interpretar os resultados.
Neste caso a rede neural está classificando os dados em duas classes. A maioria dos registros da categoria A está na parte inferior da figura, enquanto a maioria dos registros da categoria B está na parte superior da figura. Porém existem algumas exceções. Podemos ver que qualquer registro com valor inferior a 0,62 deveria pertencer a categoria A, e que qualquer registro com valor maior do que 0,64 deveria pertencer a categoria B, então vamos decidir que o ponto de corte deveria ser o valor 0,63.
Uma outra abordagem que poderia ser dada para variáveis binárias é usar uma rede neural que produza duas saídas (2 outputs), uma para a categoria A e outra para a categoria B. Assim, se a saída fosse, por exemplo, 0,8 e 0,2, então diríamos que o registro tem 80% de chance de ser da categoria A e 20% de chance de ser da categoria B.
O problema são resultados do tipo 0,1 para A e 0,3 para B. Vamos designá-lo à classe B com 30% de confiança? Ou, vamos dizer que ele tem 3 vezes mais chance de ser da categoria B e, portanto, tem 75% de chance de ser desta categoria?
Novamente, o arquivo de teste pode ajudar a determinar qual faixa de valores pode fornecer os melhores resultados. Rodando a rede com o arquivo de teste, pode-se entender a precisão dos seus resultados.
A abordagem é a mesma para três ou mais categorias em consideração. Aqui também aparece o problema da rede fornecer valores intermediários.
Aqui também deve-se usar o arquivo de teste para saber-se dos valores de saída que a rede neural está produzindo. Interpretando estes resultados, o analista pode definir faixas corretas para fazer, por exemplo, segmentação de mercado. O processo é o mesmo ilustrado na figura do slide número 40.
Observação: considere que a rede está sendo usada para predição de 3 categorias, ou seja, deseja-se fazer uma campanha com três segmentações. Uma sugestão é planejar a rede para ter três saídas.
Heurísticas para o uso de redes neurais diretas com retropropagação.
Provavelmente, a principal decisão é sobre o número de unidades na camada escondida. Quanto mais unidades, mais padrões a rede pode reconhecer. O uso de um grande número de unidades tem alguma desvantagem. A rede pode decorar o arquivo de treinamento, assim, perdendo o poder de generalização. Felizmente é possível saber se uma rede está supertreinada. Se a rede tiver um desempenho muito bom no arquivo de treinamento, porém, não apresenta resultados tão bons no arquivo de validação, isto é sinal que a rede memorizou o arquivo de treinamento.
Qual deveria ser o tamanho da camada escondida? Depende dos dados, do padrão a ser determinado e do tipo de rede. Uma boa indicação é começar com uma camada escondida que não seja maior do que o tamanho da camada de entrada. Na maioria dos problemas pode-se começar com uma, duas ou três unidades na camada escondida. Pode-se diminuir ou aumentar a camada escondida caso a rede esteja supertreinada ou com pouca precisão, respectivamente.
Quando se está usando uma rede para problemas de classificação, deve-se iniciar com uma unidade escondida para cada classe.
Outra decisão é quanto ao número de exemplos de treinamento.
Deve ser o suficiente para cobrir a faixa de entradas disponíveis para cada característica.
Considere (exemplos de treinamento para cada peso):
S como sendo o número de variáveis de entrada (número de unidades na camada de entrada);
H como sendo o número de unidades escondidas; Uma saída.
1H1SH *
Exemplo: considere S=15 e H=10.
17111011510 *Assim, a rede tem 171 pesos. Deveria ter pelo menos 30 exemplos para cada peso, porém o ideal seria 100. Assim, o arquivo de treinamento deveria ter 17.100 exemplos.
Existe
pesos na rede (cada nó da camada escondida tem 1 peso para cada conexão com a camada de entrada, 1 peso adicional para o viés, e então uma conexão com a camada de saída e o seus viéses.
A taxa de aprendizagem e os parâmetros de momento são importantes para a convergência da rede, ou seja, para se chegar a uma solução mais rapidamente. Uma sugestão é utilizar uma taxa de aprendizagem na faixa de 0,05 até 0,25. Usar parâmetro de momento como 0,80 ou 0,90.
Taxa de aprendizagem: controla a rapidez com que os pesos se alteram. A melhor abordagem é começar com taxa alta e ir vagarosamente diminuindo.
Momento: controla a direção, isto é, cada peso lembra se ele ficou maior ou menor, e o momento mantêm os pesos irem na mesma direção. Momento alto a rede responde vagarosamente para novos exemplos de treinamento. Momento baixoos pesos oscilam mais livremente.
Uma técnica para ajustar os pesos é o delta generalizado.
Poder das redes neurais artificiais
As redes neurais são aplicadas numa gama bastante grande de problemas
Elas produzem bons resultados mesmo em domínios complicados
Podem ser utilizadas tanto para variáveis categorizadas como contínuas
Estão disponíveis em diversos pacotes computacionais
As redes neurais são aplicadas numa gama bastante grande de problemas
Quando a saída de uma rede é uma variável contínua, como o valor de uma casa, então ela esta resolvendo um problema de predição. Quando a saída são valores discretos, então ela está fazendo uma classificação. Ela pode também fazer uma análise de agrupamentos.
Elas produzem bons resultados mesmo em domínios complicados
Análise de séries temporais
Podem ser utilizadas tanto para variáveis categorizadas como contínuas
Embora os dados precisem ser transformados, as redes neurais podem ser usadas para variáveis categorizadas ou contínuas, tanto como variáveis de entrada (input) ou saída (output).
Estão disponíveis em diversos pacotes computacionais
Devido a sua versatilidade e bons resultados, muitos vendedores de software disponibilizam a ferramenta de redes neurais. Muitas bases de dados estão localizadas em mainframes ou sistemas de base de dados relacionais. Existe ferramenta de redes neurais para esta situação.
Aplicação das redes neurais artificiais
As redes neurais não trabalham bem quando existem centenas ou milhares de variáveis de entrada. Isto dificulta muito a rede a encontrar padrões e a fase de treinamento pode ficar muito longa, não convergindo para a melhor solução. Aqui, redes neurais podem trabalhar melhor quando em combinação com árvores de decisão. As árvores de decisão são boas para a escolha das variáveis mais importantes e, estas podem então ser usadas para treinar a rede neural. Pode-se usar a técnica estatística de componentes principais.
ExemploA base de dados que será estudada é relativa à valores de imóveis de um determinado município. O objetivo é predizer o valor de um imóvel em função de variáveis de entrada, tais como: área total do imóvel, localização, padrão do imóvel, etc. Uma parte dos dados é:
