SISTEMAS DE RECOMENDAÇÃO

Mineração de Dados na Web

EQUIPE

Lais Varejão (lvv)

Paulo Oliveira (phslfo)

Victor Lorena (vlfs)

Victor Acioli (vaca)

ROTEIRO Introdução

Coleta de Informações

Estratégias

Técnicas

Arquitetura

Passo a Passo

Aplicações

Conclusão

INTRODUÇÃO

MOTIVAÇÃO

A Era da Inteligência Coletiva

MOTIVAÇÃO

Sob o aspecto tecnológico, Inteligência Coletiva é o conjunto de comportamentos, preferências

e ideias de um grupo de pessoas para criar novas introspecções.

MOTIVAÇÃO Atualmente existe uma grande quantidade de

informação disponibilizada de forma facilitada.

MOTIVAÇÃO

Ao mesmo tempo...

MOTIVAÇÃO O usuário tem dificuldade de encontrar

informações que são relevantes para ele.

PROBLEMA

Como identificar quais conteúdos são

relevantes para cada usuário em meio a um mar de informação?

SISTEMAS DE RECOMENDAÇÃO Sistemas de recomendação realizam a filtragem

da informação para recomendar itens, que possam ser interessantes para o usuário.

SISTEMAS DE RECOMENDAÇÃO

Qual livro eu devo ler?

Para onde eu devo sair?

Que filme eu devo ver?

SISTEMAS DE RECOMENDAÇÃO

“Muitas vezes as pessoas só sabem o que querem depois que você mostra a elas.”

Steve Jobs

SISTEMAS DE RECOMENDAÇÃO

Existem empresas que investem em sistemas de recomendação?

SISTEMAS DE RECOMENDAÇÃO

DESAFIO NETFLIX Netflix

É uma locadora de DVDs online, com entrega a domicílio, que recomenda filmes de acordo com locações prévias dos clientes.

Dos filmes alugados, 60% vêm de recomendações.

Em 2006, ela anunciou o prêmio de 1 milhão para a primeira pessoa que melhorasse a precisão do seu sistema de recomendação em 10%.

QUEM FORAM OS PIONEIROS? Nos anos 90, foi desenvolvido o Tapestry.

Um sistema de email que avaliava a relevância dos documentos recebidos.

Em 1996, o My Yahoo surgiu. O primeiro website a utilizar recomendação em

grandes proporções.

A técnica customização era utilizada.

COLETA DE INFORMAÇÕES

COLETA DE INFORMAÇÕES

É indispensável conhecer quem é o usuário.

COLETA DE INFORMAÇÕES O usuário deve ser identificado no momento

em que ele acessa o sistema.

Identificação no servidor É necessário fazer um cadastro. Provê maior precisão.

Identificação no cliente Utiliza cookies para identificar a máquina. Menos confiável.

COLETA DE INFORMAÇÕES As informações podem ser coletadas de forma

explícita ou implícita.

COLETA DE INFORMAÇÕES Coleta Explícita

O usuário indica o que lhe interessa.

COLETA DE INFORMAÇÕES Coleta Implícita

A partir do comportamento do usuário, infere-se suas necessidades e preferências.

TURISMO

PROBLEMAS DE PRIVACIDADE Informações do usuário são coletadas e

armazenadas sem que ele perceba.

Existem empresas que vendem esses dados.

POLÍTICAS DE PRIVACIDADE É uma exigência legal que as políticas de

privacidade dos sites sejam disponibilizadas. Aumenta a proteção do usuário.

POLÍTICAS DE PRIVACIDADE Algumas organizações propõem selos que

regulam a política de privacidade de um website.

ESTRATÉGIAS

ESTRATÉGIAS

Diferentes estratégias podem ser usadas para personalizar ofertas para o usuário.

Listas de Recomendação

Avaliação de Usuários

Suas Recomendações

Produtos Similares (X Y)

Associação por Conteúdo

ESTRATÉGIAS Listas de Recomendação

São mantidas listas de itens organizadas por tipos de interesse.

ESTRATÉGIAS

Avaliação de Usuários Além de comprar, o usuário deixa sua avaliação sob

o item adquirido. É importante que haja veracidade na opinião.

SUAS RECOMENDAÇÕES Itens são oferecidos de acordo com o interesse

do usuário.

PRODUTOS SIMILARES (X Y) Indica itens similares ao que está sendo

comprado no momento.

ASSOCIAÇÃO POR CONTEÚDO São utilizados os dados dos próprios produtos e

não do usuário.

Exemplo: Autor Editora Tema Assunto

TÉCNICAS

FILTRAGEM DE INFORMAÇÃO

É o nome utilizado para descrever uma variedade de processos que envolvem a entrega de

informação para as pessoas que realmente necessitam delas.

Belvin and Croft - 1992

FILTRAGEM BASEADA EM CONTEÚDO

É a forma mais simples de recomendação

Considera que usuários sempre gostaram de coisas que gostaram no passado.

Analisa apenas os itens e o perfil do usuário.

FILTRAGEM BASEADA EM CONTEÚDO

Funcionamento: Usuários devem avaliar itens de acordo com seu

interesse.

O sistema correlaciona os itens em sua base de dados, considerando características de cada item.

E indica novos itens que apresentem alto grau de similaridade.

EXEMPLO

REC

Hangover

X-men

O exorcista

Gostei

Recomendado

sim(REC, Exoc)

Usuário Atual

FILTRAGEM BASEADA EM CONTEÚDO

Dificuldades:

Cálculo da similaridade

Análise dos dados restrita

Super Especialização

Efeito Portfólio

FILTRAGEM COLABORATIVA Fechar as lacunas que a filtragem baseada em

conteúdo não soluciona.

Não exige a extração de características dos itens.

O sistema se baseia na troca de experiências entre usuários com gostos similares.

FILTRAGEM COLABORATIVA Funcionamento:

Usuários devem avaliar itens de acordo com seu interesse.

O sistema descobre usuários com padrões similares de comportamento ao do usuário atual.

Processa as avaliações feitas por esse subconjunto de usuários.

E recomenda itens que o usuário atual ainda não avaliou.

EXEMPLO

Usuário Atual Usuário X Usuário Y

Filme 1

Filme 2

Filme 3

Filme 4

Similares

Gosta:1. Filme A2. Filme B3. Filme C

Gosta:1. Filme A2. Filme B3. Filme C

FILTRAGEM COLABORATIVA Dificuldades:

Necessita de vasta base de dados

Escalabilidade/estabilidade

Partida fria (Usuários e itens novos)

Popularidade

Ovelha negra

Demonstração Facebook

FILTRAGEM HÍBRIDA

Combina as duas técnicas, para obter um sistema mais eficiente.

COMPARATIVO

FBC FC FHPartida fria (Item)Partida fria (Usuário)SimilaridadeDados restritosEspecializaçãoEfeito PortfólioVasta base de dadosPopularidadeOvelha negra

CUIDADOS

Solicitada ou espontânea?

Rodar online ou offline?

Recomendar tudo ou filtrar?

Só itens novos?

Explicar o motivo da escolha?

Necessidade ou interesse?

ARQUITETURA

ARQUITETURA

Recommender Server Utilizado para dar acesso aos SessionsControllers

e às rotinas de recomendações.

EXEMPLO

SessionController Ao entrar no site as

informações do usuário são armazenadas sobre sua interação atual.

E comparadas com o seu histórico dentro do site.

EXEMPLO

StrategyList Guarda vários modelos de recomendação.

Baseado em listas armazenadas pelo sistema. Itens mais comuns

Baseado em preferências explícitas ou implícitas. Itens mais específicos

Diferentes estratégias podem ser criadas e utilizadas em paralelo em um mesmo website.

EXEMPLO

InterestList Mantém as preferências.

Essas preferências podem ser utilizadas em conjunto.

EXEMPLO

FindingList

Informações básicas sobre os usuários.

Armazena características demográficas e hábitos.

Recomendação com precisão.

EXEMPLO

RECOMENDAÇÃO PASSO A PASSO

Do que as pessoas gostam?

Preferências de produtos, serviços e interesses.

Como e onde pegar essas informações.

PASSO A PASSO

Como as pessoas se parecem? Grupos de pessoas com interesses em comum.

Métricas de Similaridade: Coeficiente de Pearson. Distância Euclidiana.

PASSO A PASSO

Recomendar itens Mostrar algum item que uma pessoa parecida

com você viu e você não viu. Tabela de Pesos.

PASSO A PASSO

Comparação entre itens Encontra a similaridade entre os itens. Ajuda a oferecer um item que você

provavelmente queira ver.

PASSO A PASSO

APLICAÇÕES

APLICAÇÕES Aardwark:

Sugestões de perguntas a pessoas certas. Associação por Conteúdo.

APLICAÇÕES

YouTube:

Sugestão de vídeos.

Lista de recomendação.

Associação de conteúdo.

APLICAÇÕES Facebook:

Sugestão de pessoas que o usuário possa conhecer. Usuários que se interessam por “X” também se

interessam por “Y”.

APLICAÇÕES Match.com:

É uma comunidade mundial de solteiros em busca de um parceiro.

Lançado em 1995, foi pioneiro em sites de relacionamentos.

Possui mais de 29 milhões de usuários.

APLICAÇÕES Match.com:

Sugere pessoas através do Daily 5. Suas Recomendações.

APLICAÇÕES Amazon:

Inicialmente, era uma livraria online. Atualmente, é a maior empresa de comércio eletrônico dos EUA.

Realiza grandes investimentos em recomendação, possuindo todas as estratégias.

Cerca de 38% de suas vendas provêm de suas sugestões.

APLICAÇÕES

Amazon: Sugestão de itens que o

usuário posso querer comprar.

Lista de recomendação.

APLICAÇÕES Amazon:

Avaliação de Usuários

APLICAÇÕES Amazon:

Suas Recomendações

APLICAÇÕES Amazon:

Usuários que se interessam por “X” também se interessam por “Y.”

APLICAÇÕES Amazon:

Associação por conteúdo

DESAFIOS E TENDÊNCIAS

TENDÊNCIAS

Pesquisa social Busca na web considera as

redes sociais que o usuário faz parte.

Ex: O sistema responde a uma consulta de um usuário com links relacionados às avaliações dadas por colegas do usuário.

TENDÊNCIAS

Google Social Search

DESAFIOS Melhoria nos algoritmos de recomendação:

Eficiência Qualidade do resultado.

CONCLUSÃO Sistemas de recomendação

podem ser usados para que se possa conhecer melhor os hábitos dos usuários.

Aplicar estrategicamente o conhecimento dos hábitos dos usuários, pode melhorar a lucratividade de uma empresa.

CONCLUSÃO A tendência é que todos os programas web

utilizem recomendação.

DÚVIDAS

Obrigado!

REFERÊNCIAS http://dsc.upe.br/~tcc/20092/TCC_final_AndersonBerg.pdf

http://en.wikipedia.org/wiki/Recommender_system

Programming Collective Inteligence - OReilly

Artigo 2 (Incluir)

Artigo 3 (Incluir)