9/28/2012

1

AVANÇOS NA ANÁLISE SENSORIAL

DISCRIMINATIVA

WORKSHOP 18/09/2012

Profª Silvia Deboni Dutcosky

ROTEIRO DA APRESENTAÇÃO

• Revisão - Panorama geral dos critérios de análise atuais para os testes de diferença e de similaridade

• Novas propostas:

– Critério d’ – Curso IFT e The Institute for Perception

– Hipótese de Equivalência

• Considerações finais

9/28/2012

2

MÉTODOS DISCRIMINATIVOS

Métodos de

diferença

Saber se é

possível a

discriminação

entre duas

amostras

similares ou

confundíveis

TESTE Apresentação das amostras

Triangular Qual amostra é diferente?

Duo – trio Qual é igual a referência? Ref.

“A” ou não “A” Esta amostra é “A” ou não “A”?

Dois em cinco Qual par de amostras é diferente?

Comparação pareada-direcional

Qual amostra é a mais forte?

Triangular direcional

Qual amostra é a mais forte?

Percepção e julgamento para testes de diferença

9/28/2012

3

Teste de hipótese Regra de decisão estatística que permite, com base em

informações contidas nos dados amostrais, concluir sobre parâmetros da população.

Hipótese nula Ho: A = B

Hipótese alternativa H1: A B hipótese monocaudal ou unilateral A B hipótese monocaudal ou unilateral A B hipótese bicaudal ou bilateral

Mecanismo dos erros

“REALIDADE”

Ho verdadeiro Ho falso

Correto Erro II Aceitar Ho “DECISÃO”

Erro I Correto Rejeitar Ho

“REALIDADE”

Réu inocente Réu culpado

Correto Erro II (Beta) Aceitar Ho “DECISÃO

Erro I (Alfa) Correto Rejeitar Ho DO JURI”

9/28/2012

4

Erro tipo I e tipo II • O erro tipo I é a probabilidade de rejeitar a hipótese nula quando ela é

verdadeira. Isto significa que duas amostras similares são consideradas diferentes quando elas, na realidade, não são. O risco de erro do tipo I é chamado de erro alfa e a maioria dos procedimentos estatísticos objetivam minimizá-lo. Este é o tipo de erro que nós queremos minimizar na situação do teste de diferença.

• O erro tipo II é a probabilidade de não rejeitarmos a hipótese nula quando ela é falsa. Isto significa que duas amostras que são diferentes são consideradas similares, quando elas não são similares. O erro do tipo II é chamado beta. Este é o tipo de erro que nós queremos minimizar na situação do teste de similaridade.

• Portanto, nós iremos focar em minimizar alfa (α) ou beta(β), dependendo da situação do teste, se este é de diferença ou de similaridade.

Testes de diferença

Podem ser classificados em:

Testes de diferença

Testes de similaridade

9/28/2012

5

A Potência (ou Poder) de um Teste:

A potência de um teste é definida como:

P= 1 – β

Ou seja, é a probabilidade de fazer a decisão correta quando duas amostras são perceptivelmente diferentes.

A potência P é dependente:

da magnitude da diferença entre as duas amostras,

do tamanho de alfa

do número de julgadores.

A Potência (ou Poder) de um Teste:

Os erros tipo I e II são inversamente relacionados e, à medida que o erro tipo I se torna mais restritivo (se aproxima de zero), o erro tipo II aumenta.

Assim o pesquisador deve jogar com o equilíbrio entre o nível alfa e a potência do teste.

Realidade H0 :sem diferença H1 :com diferença

Decisão

Estatística

H0 : sem

diferença 1 - α β

Erro tipo II

H1 : com

diferença α

Erro tipo I

1 – β Potência do

teste

9/28/2012

6

No de julgadores para testes de diferença e

de similaridade

O número de julgadores requeridos para um teste de diferença não é crítico como para um teste de similaridade.

• Se você quer demonstrar que uma nova formulação é mais macia que a velha, por exemplo, você pode usar um teste de diferença com o objetivo de minimizar alfa. O erro do tipo I é minimizado neste caso porque os analistas sensoriais querem ter a certeza de que a amostra nova é diferente da velha, portanto o poder do teste não é crítico.

• Quando o objetivo do teste é que a diferença não seja perceptível, nós queremos minimizar o erro beta. Este erro é o de decidirmos incorretamente que as amostras são similares, quando na realidade elas são diferentes. A potência (1- beta) é crítica e deve ser maximizada, o que significa que o número de julgadores deverá ser suficientemente grande para este fim.

Outra distinção entre testes de diferença e de similaridade

• Em testes de diferença nós utilizamos estatística binomial para desenvolver as tabelas que determinam o número mínimo de respostas corretas para estabelecer diferença e testamos contra as chances de acerto ao acaso.

• Em testes de similaridade, nós iremos testar contra algum nível mais alto de proporção esperada de respostas corretas e ver se nós estamos significativamente abaixo desse, a fim de chegarmos à conclusão de que as duas amostras são similares. Nós chamamos isto de proporção de discriminação permitida.

Como nós descobrimos qual é a proporção que deveria ser? Nós podemos optar por uma situação conservadora, na qual nós permitimos apenas 10% de julgadores discriminadores, ou por uma situação menos crítica e permitir 30% de julgadores discriminadores.

9/28/2012

7

APLICAÇÕES TESTE DE SIMILARIDADE Programas de RC – Redução de Custos ou

Gerenciamento de margem

Substituição de ingredientes

Alterações de embalagens

Estudos de vida de prateleira

Controle de qualidade

Substanciação de alegações (claims) Tão bom quanto o líder

Limpa tão bem como o produto original

Cenário comum

Redução de custos ou substituição de ingredientes em um produto com considerável market share e uma boa base de consumidores fiéis. – Objetivo: o produto em questão deve manter seu

padrão de qualidade sensorial.

• O QUE ACONTECE SE NÓS NÃO IDENTIFICARMOS A DIFERENÇA? – RISCO: Decepção do consumidor fiel – heavy users

9/28/2012

8

TESTE TRIANGULAR Número de julgadores

Será de acordo com o nível de sensibilidade requerida.

A sensibilidade de um teste é função de três valores:

o risco α ,

o risco β ,

a proporção máxima de discriminadores (Pd).

Proporção de discriminadores na população Ex: 32 julgadores, teste triangular, obtendo-se 20 respostas corretas

20 corretas

12 erradas

20 corretas (62,5%) (alguns discriminadores, outros adivinhadores)

12 erradas (37,5%) (apostadores errados)

Triangular Acerto ao

acaso = 1/3

9/28/2012

9

Proporção de discriminadores na população

14 discriminadores (44%) 18 apostadores (56%)

Proporção de discriminadores para o Teste Duo-Trio

Ex. 50 consumidores realizaram um teste duo-trio, obtendo-se 37 respostas corretas

Duo trio Acerto ao acaso = ½

37 corretas (74%) alguns discriminadores, outros apostadores

13 erradas (26%) apostadores errados

24 discriminadores (48%) 26 apostadores (52%)

9/28/2012

10

Teoria Thurstoniana Thurston (1927)

Introduzindo o conceito d’

Ao comermos o mesmo alimento várias vezes, a resposta poderia ser medida pelo número de impulsos por segundo do sistema nervoso que alcançam o cérebro. Quando degustamos um alimento, a resposta atual irá variar ligeiramente da próxima em que o alimento será degustado, podendo acontecer o efeito de adaptação ou alguns ruídos nas sinapses do sistema nervoso, pois todos os sinais dos estímulos que alcançam o cérebro podem ser acompanhados de ruídos.

Estas variações das intensidades percebidas dos sinais podem ser representadas em uma curva chamada distribuição das freqüências. A maioria das vezes o sinal do estímulo irá ocorrer num nível médio, mas algumas vezes o sinal será percebido mais forte e outras vezes mais fraco.

Teoria Thurstoniana Respostas não confundíveis X confundíveis

Para dois alimentos A e B não confundíveis

Para dois alimentos A e B confundíveis

9/28/2012

11

Introduzindo o conceito δ e d’

δ = distância entre as médias ( μx e μy ) calculada em termos do número de desvios padrões pelos quais as duas distribuições são separadas.

d‘ = valor experimental de δ Assume-se que ambos os produtos (X e Y) têm o mesmo desvio padrão. Como o estímulo avaliado é o mesmo, assume-se que as distribuições serão similares.

Quando δ é menor do que 1, significa que os dois estímulos podem ser confundíveis e quando δ é maior do que 1 será mais fácil distinguir os dois estímulos. O δ= 2 apresentará uma probabilidade de 92% de resposta correta. O δ= 3 dará uma probabilidade de 98% de resposta correta.

Relação quanto à variância

Quanto à variância, se a distribuição tiver variância maior, o d’ será menor, ou seja, suas distribuições de frequência terão mais sobreposição. Podemos dizer que as curvas de distribuição acima são de um julgador mais consistente, com menor variação, indicado por um d’ maior.

9/28/2012

12

Relação entre δ e Pc ou Pd pode ser obtida através de curvas psicométricas

Exemplo: Teste de Comparação Pareada

Diferentes respostas ao estímulo mais fraco (A) e ao estímulo mais forte (B) em um teste pareado

9/28/2012

13

Exemplo: Teste Triangular Convencional x Direcional

Diferentes respostas ao estímulo mais fraco (N) e ao estímulo mais forte (F) em um teste triangular

Teste Triangular Convencional X Direcional

Diferentes respostas ao estímulo mais fraco (N) e ao estímulo mais forte (F) em um teste triangular

9/28/2012

14

Simulação: respostas ao estímulo mais fraco (N) e ao estímulo mais forte (F)

Para δ=1,5 e n= 100.000 teste triangular

48,0%

21,1%

28,5%

2,3%

Processo de decisão

Triangular (não direcional): Resposta errada 3-AFC (direcional): Resposta certa

Comparação entre distâncias

Magnitudes

28,5%

9/28/2012

15

Proporção de respostas corretas e valores de d’ para teste triangular direcional X Não direcional

Se você alcança 70% de respostas corretas, o d’ será 1,24 para o teste triangular direcional. Nós conseguimos analisar melhor em um teste direcional, pois para o teste não direcional precisaremos que d’ seja 2,50 para alcançar os mesmos 70% de respostas corretas.

d

primo

Proporção de respostas

corretas Triangular

Não

direcional

Direcional

0,00 33,3% 33,3%

0,43 35% 46%

0,88 40% 60%

1,00 42% 64%

1,52 51% 77%

2,03 61% 87%

Proporção

respostas

corretas

d primo

Não

direcional

Direcional

33% 0,00 0,00

40% 0,88 0,23

50% 1,47 0,56

60% 1,98 0,89

70% 2,50 1,24

80% 3,13 1,65

90% 4,03 2,23

Os custos do processo de decisão

• Tamanho da diferença: 76% resp. corretas no 2-AFC (δ = 1,0)

• Potência: 80%

• Nível = 5%

• Quantidade necessária de julgamentos →

0

50

100

150

200

250

2-AFC Duo-trio 3-AFC Triangular

26

241

22

220

9/28/2012

16

Os custos do processo de decisão

• Tamanho da diferença: 86% resp. corretas no 2-AFC (δ = 1,5)

• Potência: 80%

• Nível = 5%

• Quantidade necessária de julgamentos →

0

10

20

30

40

50

60

70

2-AFC Duo-trio 3-AFC Triangular

13

65

9

57

ROTEIRO DA APRESENTAÇÃO

• Revisão/ Panorama geral dos critérios de análise atuais para os testes de diferença e de similaridade

• Novas propostas: – Critério d’ - Curso com The Institute for Perception

– Hipótese de Equivalência

• Considerações finais

9/28/2012

17

Pre-Annual Meeting Short Course

Sensory Testing for Product Development and Claims Support

Dr. Daniel Ennis

Dr. John Ennis

Dr. Benoit Rousseau

O critério Pd é método específico e também não é um critério que descreve acuradamente a habilidade discriminativa de consumidores.

Assumir que alguns consumidores vão sempre discriminar enquanto que outros vão sempre acertar “no chute” é uma hipótese irreal.

9/28/2012

18

Projeto de redução do amargor de cookies Teste de diferença

Amostras Teste Resp. corretas

N Pc Pd Diferença? d'

A - B 2-AFC 24 42 57% 14% Não (p> 0,05) 0,25

A - C 3-AFC 32 51 63% 44% Sim (p< 0,001) 0,98

Valor histórico de d’ = 0,40

Amostras: A – cookie atual B – cookie reformulação 1 ( 5% custos) C – cookie reformulação 2 ( 10% custos)

Projeto de alteração de ingredientes nos cookies. Teste de similaridade

Teste Resp. corretas

N Pc Pd Diferença? d'

Duo-trio 55 100 55% 10% Não (p = 0,18) 0,76

2-AFC (dureza)

21 30 70% 40% Sim (p = 0,02) 0,74

Triangular 91 240 38% 7% Não (p = 0,08) 0,73

Valores d’ muito similares Valor histórico de d’ = 0,26

Conclui-se que esta diferença é significativa e será percebida pelos consumidores. Não foi possível comprovar a similaridade

9/28/2012

19

ROTEIRO DA APRESENTAÇÃO

• Revisão/ Panorama geral dos critérios de análise atuais para os testes de diferença e de similaridade

• Novas propostas: – Critério d’ - Curso com The Institute for Perception

– Hipótese de Equivalência

• Considerações finais

Teste de Hipótese Regra de decisão estatística que permite, com base em informações contidas nos dados amostrais, concluir sobre parâmetros da população.

Teste de diferença

Hipótese nula Ho:

Os produtos são iguais

Hipótese alternativa H1:

Os produtos são diferentes

9/28/2012

20

Teste de Hipótese Teste de equivalência

Não é possível simplesmente fazer o reverso Entretanto é necessário desenvolver os limites para definir a equivalência

Hipótese nula Ho:

Os produtos não são equivalentes

Hipótese alternativa H1:

Os produtos são equivalentes

Não são equivalentes

H0

Teste de Hipótese de Equivalência

Estabelecimento dos limites de referência Ennis & Ennis (2009)* *CIS, 38, p.1792-1803

Não são equivalentes

H0

Equivalentes

H1

Escolha forçada 45% 55%

Diferença entre médias -0,3 0 +0,3

9/28/2012

21

Literatura: Hipótese de equivalência

• Bi, J. 2011. Similarity testing using forced choice methods in terms of Thurstonian discriminal distance, d’. Journal of Sensory Studies, 26, 151 – 157.

• Ennis, D. M. and Ennis, J. M. 2009. Hypothesis testing for equivalence defined on symmetric open intervals. Communications in Statistics, 38, 1792-1803.

• Ennis, D.M. and Ennis, J.M. 2010. Equivalence hypothesis testing. Food Quality and Preference, 21, 253-256.

• Bi, J. 2011. Bayesian approach to sensory preference, difference and equivalence tests. Journal of Sensory Studies, 26, 383 – 399.

ROTEIRO DA APRESENTAÇÃO

• Revisão/ Panorama geral dos critérios de análise atuais para os testes de diferença e de similaridade

• Novas propostas: – Critério d’ - Curso com The Institute for Perception

– Hipótese de Equivalência

• Considerações finais

9/28/2012

22

Para testes de diferença a análise está ajustada, enquanto que para testes de similaridade (ou equivalência) podemos dizer que:

O critério atual Pd é método específico e também não é um critério que descreve acuradamente a habilidade discriminativa de consumidores;

O critério δ se ajusta melhor, porém exige um valor histórico de controle para cada produto;

A hipótese de equivalência pode justificar para substanciação de alegações, porém é inviável para P&D. Tabelas iniciam c/ 400 julgamentos e é normal precisar de 1000 julgamentos.

CONSIDERAÇÕES FINAIS

Muito obrigada!!!

silvia@aboutsolution.com.br