recomendação na globo.com
TRANSCRIPT
Recomendação
Recomendação de conteúdo
Em 2010...
Por dentro
Coleta de atividades antes
página visitada Papalog
página visitada Papalog
página visitada Papalog
Coleta de atividades atual
página visitada
tempo assistindo video
compartilhamento
comentário
tempo lendo matéria
HorizonGateway
porcentagem de scroll
Parquet e Spark SQL
df.groupBy(df("user"), df("object")) .agg(first("user"), first("object"), max("scroll")) .where(df("scroll") > 50)
Processamento paralelo
yarn
Tipos de algoritmos
● Content based
● User based
● Cold start
Content based
Conceito
BBB
Edredon
A
B
C
TF-IDF
Importância do termo no documento
Quão incomum é o termo no acervo
Entidades semânticas
User based
Collaborative filtering
Matriz de preferências
Preferências implícitas
Previsão n-dimensional
Duas dimensões:f(x) = a + bx
Três dimensões:f(x) = a + bx'1 + cx'2
N dimensões:f(x) = a + bx'1 + cx'1 + … nx'n
Fatores latentes
Validação
Cross validation
K-fold cross validation
Força bruta
for (maxIter <- Array(5, 10, 15, 20)) { for (feature <- Array(10, 20, 30, 40)) { for (alpha <- Array(0.01, 0.1, 0, 1, 10, 100)) { for (regParam <- Array(0.01, 0.1, 0, 1, 10, 100)) {
Root mean square error
F-Score
Métricas por algoritmo
Baseada em testes AB
Resultados
Globo Esporte
BUG :(
Globo Esporte
GShow
75% a mais de conversão em mobile que outras ofertas automáticas
173% a mais de conversão em desktop que outras ofertas automáticas
GShow
TechTudo
TechTudo
+195%
na partipação na retenção do usuárioem 2014
TechTudo: Home
TechTudo: Home
50% a mais de conversão em mobile que outras ofertas automáticas
32% a mais de conversão em desktop que outras ofertas automáticas
Globosatplay
GlobosatPlay
45% de melhoria de conversão
@timotta