recomendação de ponta a ponta na globo.com

Recomendação

Recomendação de conteúdo

Em 2010...

Por dentro

Coleta de atividades antes

página visitada Papalog

página visitada Papalog

página visitada Papalog

Coleta de atividades atual

página visitada

tempo assistindo video

compartilhamento

comentário

tempo lendo matéria

HorizonGateway

porcentagem de scroll

Parquet e Spark SQL

df.groupBy(df("user"), df("object")) .agg(first("user"), first("object"), max("scroll")) .where(df("scroll") > 50)

Processamento paralelo

yarn

Tipos de algoritmos

● Content based

● User based

● Cold start

Content based

Preferências do usuário

TF-IDF

Importância do termo no documento

Quão incomum é o termo no acervo

Entidades semânticas

Encontrando a notícia certa

+BBB

+Edredon

Notícia c

Notícia B

Notícia AUsuário

User based

Collaborative filtering

Matriz de preferências

Preferências implícitas

Porcentagem de scroll

Temo de página visivel

Matriz de preferências implícitas

0,9 0,8

0,8

Fatores latentes

Previsão n-dimensional

Duas dimensões:f(x) = a + bx

Três dimensões:f(x) = a + bx'1 + cx'2

N dimensões:f(x) = a + bx'1 + cx'1 + … nx'n

Validação

Cross validation

K-fold cross validation

Força bruta

for (maxIter <- Array(5, 10, 15, 20)) { for (feature <- Array(10, 20, 30, 40)) { for (alpha <- Array(0.01, 0.1, 0, 1, 10, 100)) { for (regParam <- Array(0.01, 0.1, 0, 1, 10, 100)) {

Root mean square error

Precision and recallQuanto dos documentos recomendados acertamos

Quanto dos documentos relevantes acertamos

F-measure

Métricas por algoritmo

Baseada em testes AB

Resultados

Globo Esporte

BUG :(

Globo Esporte

GShow

75% a mais de conversão em mobile que outras ofertas automáticas

173% a mais de conversão em desktop que outras ofertas automáticas

GShow

TechTudo

TechTudo

+195%

na partipação na retenção do usuárioem 2014

TechTudo: Home

TechTudo: Home50% a mais de conversão em mobile que outras ofertas automáticas

32% a mais de conversão em desktop que outras ofertas automáticas

Globosatplay

GlobosatPlay

45% de melhoria de conversão

@timotta