orientador: prof. msc. silvio césar cazella um protótipo de aplicação para recomendação de...

Orientador:Orientador:

Prof. Msc. Silvio César CazellaProf. Msc. Silvio César Cazella

Um protótipo de aplicação Um protótipo de aplicação para recomendação de para recomendação de produtos baseado no produtos baseado no

interesse e comportamento interesse e comportamento de consumo do usuáriode consumo do usuário

01/33

Aluno:Aluno:

Fábio BresslerFábio Bressler

RoteiroRoteiro Sobrecarga de InformaçãoSobrecarga de Informação Motivação e ObjetivosMotivação e Objetivos Filtragem de InformaçãoFiltragem de Informação Sistema de RecomendaçãoSistema de Recomendação Mineração de DadosMineração de Dados Metodologia AplicadaMetodologia Aplicada ProtótipoProtótipo ExperimentoExperimento ConclusãoConclusão Trabalhos FuturosTrabalhos Futuros

02/33

SobrecargaSobrecargadede

InformaçãoInformação

03/33

Grandes quantidades e Grandes quantidades e variedades de informações variedades de informações disponíveis na Internetdisponíveis na Internet

Dificuldade de filtrar as Dificuldade de filtrar as informações desejdasinformações desejdas

A revolução dos códigos de A revolução dos códigos de barras em supermercados e barras em supermercados e o comércio eletrônicoo comércio eletrônico

…………..………

04/33

MotivaçãoMotivaçãoee

ObjetivosObjetivos

05/33

A principal motivação do trabalho A principal motivação do trabalho concentra-se em criar uma forma concentra-se em criar uma forma

diferenciada para fazer diferenciada para fazer recomendações de recomendações de softwaressoftwares aos aos

usuários que utilizam sites de usuários que utilizam sites de downloadsdownloads de de softwaressoftwares

06/33

Criar um protótipo de um sistema de Criar um protótipo de um sistema de recomendação baseado nos interesses recomendação baseado nos interesses e no comportamento dos usuáriose no comportamento dos usuários

Criar interfaces de captura de informaçõesCriar interfaces de captura de informações

Analisar as ações de Analisar as ações de downloadsdownloads dos usuários dos usuários através da produção de dados sintéticosatravés da produção de dados sintéticos

Aplicar tarefas de minerção de dados na busca de Aplicar tarefas de minerção de dados na busca de similaridades entre usuários e ações de usuáriossimilaridades entre usuários e ações de usuários

Criar agente de comunicação via tecnologia Criar agente de comunicação via tecnologia pushpush

Objetivo principalObjetivo principal::

Objetivos secundários:Objetivos secundários:

07/33

FiltragemFiltragemdede

InformaçãoInformação

08/33

Como encontrar Como encontrar o que interessa?o que interessa?

Esforço próprio?Esforço próprio?

Sorte?Sorte?

Recomendações de Recomendações de conhecidos?conhecidos?

Técnicas Existentes:Técnicas Existentes: Filtragem Baseada em ConteúdoFiltragem Baseada em Conteúdo Filtragem Colaborativa (Social)Filtragem Colaborativa (Social)

09/33

Recomenda itens para o usuário baseado na Recomenda itens para o usuário baseado na correlação entre o conteúdo dos itens e as correlação entre o conteúdo dos itens e as preferências dos usuários e/ou consumos preferências dos usuários e/ou consumos

anterioresanteriores

Quais os itens que melhor atendem as minhas

necessidades de acordo com o seu conteúdo?

Filtragem Baseada em ConteúdoFiltragem Baseada em Conteúdo

Item => Caixa-BrancaItem => Caixa-Branca

10/33

Itens são recomendados a um usuário de Itens são recomendados a um usuário de acordo com as avaliações feitas por usuários acordo com as avaliações feitas por usuários

com preferências silimarescom preferências silimares

Quais os itens que melhor atendem as minhas

necessidades de acordo com a opinião do grupo?

Filtragem Colaborativa (Social)Filtragem Colaborativa (Social)

Item => Caixa-PretaItem => Caixa-Preta

11/33

Filtragem HíbridaFiltragem Híbrida

Baseada em Baseada em ConteúdoConteúdo

ColaborativaColaborativa

Bons resultados para usuários incomuns

Precisão independente do número de usuários

Recomendações de itens diretamente relacionado ao histórico de consumo

Descoberta de novos relacionamentos entre usuários

Recomendação de itens diretamente relacionado ao histórico de avaliações comuns

12/33

SistemaSistemadede

RecomendaçãoRecomendação

13/33

Podem ser baseados na:Podem ser baseados na: Identificação do perfil do usuário (FBC)Identificação do perfil do usuário (FBC) Identificação dos gostos semelhantes dos usuários Identificação dos gostos semelhantes dos usuários (FC)(FC)

Processo sistematizado para Processo sistematizado para predizer itens que devem ser predizer itens que devem ser

recomendados aos usuários, pois recomendados aos usuários, pois considera-se que estes teriam considera-se que estes teriam

interesse nos mesmosinteresse nos mesmos

14/33

Sistemas existentes:Sistemas existentes:

Ringo Ringo (filtragem social)(filtragem social) Recomendações de músicas por e-mail.Recomendações de músicas por e-mail.

GroupLens GroupLens (filtragem social) (filtragem social) Encontrar artigos para o usuário em um sistema de Encontrar artigos para o usuário em um sistema de newsnews..

Fab Fab (filtragem híbrida)(filtragem híbrida) Recomendação de documentos encontrados na Recomendação de documentos encontrados na WebWeb..

Amazon.comAmazon.comTMTM Comércio eletrônico com recomendação de itens.Comércio eletrônico com recomendação de itens.

eBayeBayTMTM Leilões Leilões onlineonline com avaliações de parceiros de negócio. com avaliações de parceiros de negócio.

15/33

MineraçãoMineraçãodede

DadosDados

16/33

Os sistemas de recomendação Os sistemas de recomendação utilizam algoritmos próprios para a utilizam algoritmos próprios para a geração das recomendações, mas, geração das recomendações, mas,

devido a quantidade de dados devido a quantidade de dados gerados, pode-se aplicar a mineração gerados, pode-se aplicar a mineração

de dados em busca de padrõesde dados em busca de padrões

A mineração de dados é uma das A mineração de dados é uma das etapas do processo de Descoberta etapas do processo de Descoberta

de Conhecimento em Banco de de Conhecimento em Banco de Dados (DCBD)Dados (DCBD)

17/33

Regras de ClassificaçãoRegras de Classificação

Descoberta de relacionamento entre Descoberta de relacionamento entre atributos preditivos e o objetivoatributos preditivos e o objetivo

Regras de AssociaçãoRegras de Associação

Padrão de relacionamento Padrão de relacionamento entre itens de dados em uma entre itens de dados em uma

base de dados (base de dados (basket analysisbasket analysis))

Tarefas de Mineração de DadosTarefas de Mineração de Dados

18/33

MetodologiaMetodologiaAplicadaAplicada

19/33

Para contemplar os objetivos Para contemplar os objetivos propostos as seguintes etapas propostos as seguintes etapas

metodológicas foram cumpridas:metodológicas foram cumpridas:

Criação de páginas Criação de páginas WebWeb (PHP) associados ao (PHP) associados ao banco de dados PostgreSQLbanco de dados PostgreSQL

Criação de Criação de scriptsscripts (Perl) automatizados gerando (Perl) automatizados gerando valores aleatórios para simular a realidadevalores aleatórios para simular a realidade

Utilização das ferramentas de mineração de Utilização das ferramentas de mineração de dados C4.5 e WEKA para encontrar regras de dados C4.5 e WEKA para encontrar regras de classificação e associação respectivamenteclassificação e associação respectivamente

Contrução do agente de comunicação em Contrução do agente de comunicação em linguagem Java através de linguagem Java através de socketssockets utilizando o utilizando o modelo cliente/servidormodelo cliente/servidor

20/33

ProtótipoProtótipo

21/33

Recomendações Macro (Categorias)Recomendações Macro (Categorias)Cadastro de UsuáriosCadastro de Usuários

Descoberta de Classificações (Categorias)Descoberta de Classificações (Categorias)

Recomendações de CategoriasRecomendações de Categorias

Recomendações Micro (Softwares)Recomendações Micro (Softwares)DownloadsDownloads de de SoftwaresSoftwares

Descoberta de Associações (Descoberta de Associações (SoftwaresSoftwares))

Recomendações de Recomendações de SoftwaresSoftwares

22/33

Recom

en

dações

Recom

en

dações

Macro

Macro

Recom

en

dações

Recom

en

dações

Mic

roM

icro

23/33

ExperimentoExperimento

24/33

Os perfis dos usuários foram gerados Os perfis dos usuários foram gerados de forma proporcional em relação a de forma proporcional em relação a cada atributo, mas em relação a sua cada atributo, mas em relação a sua totalidade os usuários ficaram bem totalidade os usuários ficaram bem

diferenciadosdiferenciados

5 x 1.000 => 5.000 usuários5 x 1.000 => 5.000 usuários

Valor suficiente para uma população de Valor suficiente para uma população de 1 milhão de usuários com uma 1 milhão de usuários com uma

confiança de 99% com variação de 2% (+/-)confiança de 99% com variação de 2% (+/-)

Valores sintéticos (perfis)Valores sintéticos (perfis)

25/33

Os perfis dos usuários sofreram a ação da Os perfis dos usuários sofreram a ação da mineração de dados para recomendar mineração de dados para recomendar

novas categorias de novas categorias de softwaressoftwares

Erro / Acerto das regras = 59% / 41%Erro / Acerto das regras = 59% / 41%

Regras = 35% => 1.399 recom.Regras = 35% => 1.399 recom. Oportunidades = 45% => 1.552 recom.Oportunidades = 45% => 1.552 recom.

Novas Recomendações => 2.951 recom.Novas Recomendações => 2.951 recom.

Utilização da ferramenta C4.5 para Utilização da ferramenta C4.5 para encontrar regras de classificaçãoencontrar regras de classificação

Recomendações MacroRecomendações Macro

26/33

Esta enorme quantidade de Esta enorme quantidade de downloadsdownloads simulou uma grande simulou uma grande

participação dos usuários participação dos usuários cadastrados no sistema propostocadastrados no sistema proposto

1-10 x cat-usr => 56.402 downloads1-10 x cat-usr => 56.402 downloads

Valor gerado a partir da simulação onde cada Valor gerado a partir da simulação onde cada categoria macro de cada usuário pode gerar categoria macro de cada usuário pode gerar

entre 1 e 10 entre 1 e 10 downloadsdownloads

Valores sintéticos (downloads)Valores sintéticos (downloads)

27/33

Os Os downloadsdownloads dos usuários sofreram a dos usuários sofreram a ação da mineração de dados para ação da mineração de dados para

recomendar novos recomendar novos softwaressoftwares

Suporte mínimo = 5%Suporte mínimo = 5%Confiança = 80%Confiança = 80%

=> 14.232 recomendações de => 14.232 recomendações de softwaressoftwares

Utilização da ferramenta WEKA para Utilização da ferramenta WEKA para encontrar regras de associaçãoencontrar regras de associação

Recomendações MicroRecomendações Micro

28/33

ConclusãoConclusão

29/33

Este trabalho proporcionou um Este trabalho proporcionou um modelo diferenciado de modelo diferenciado de

recomendar produtos baseado recomendar produtos baseado no perfil (macro) e nas no perfil (macro) e nas

colaborações (micro) através de colaborações (micro) através de um agente de comunicação um agente de comunicação

autônomoautônomo

A funcionalidade do protótipo foi A funcionalidade do protótipo foi comprovada pela sua execução comprovada pela sua execução de forma simulada com dados de forma simulada com dados

sintéticossintéticos30/33

TrabalhosTrabalhosFuturosFuturos

31/33

Execução do sistema com usuários reaisExecução do sistema com usuários reais

Experimentar diferentes algoritmos de Experimentar diferentes algoritmos de mineração de dadosmineração de dados

Inclusão de módulo de avaliação (rating) Inclusão de módulo de avaliação (rating) de recomendações em escala (feedback)de recomendações em escala (feedback)

Refinamento da interface de Refinamento da interface de recomendaçãorecomendação

Incluir algoritmos que permitam calcular Incluir algoritmos que permitam calcular a confiança entre usuários que recebem e a confiança entre usuários que recebem e recomendam itensrecomendam itens

Trabalhas recursos que foquem na Trabalhas recursos que foquem na explanação da recomendaçãoexplanação da recomendação

32/33

Perguntas?Perguntas?

33/33