utilizaÇÃo do modelo kano para classificar importÂncia de funcionalidades em ambientes virtuais...

UTILIZAÇÃO DO MODELO KANO PARA CLASSIFICAR IMPORTÂNCIA DE

FUNCIONALIDADES EM AMBIENTES VIRTUAIS DE APRENDIZAGEM

Silvio Carvalho Neto

Hiroo Takaoka

2Problema e Objetivo de Pesquisa

Quais são os principais atributos de um AVA que remetem a satisfação do usuário discente?

captar os atributos que o usuário percebe como significativos e

relevantes para a qualidade final dos sistemas e estabelecer fatores de

importância com base nos atributos avaliados.

3Delimitação do Estudo

IES com sistemas web Educacionais de Apoio ao

Ensino Presencial

EDUCAÇÃO CORPORATIVA

Ensino Presencial Ensino à Distância

EDUCAÇÃO PROFISSIONAL E TECNOLÓGICA

EDUCAÇÃO SUPERIOR

EDUCAÇÃO BÁSICA (NÍVEL MÉDIO E FUNDAMENTAL)

PÓS-GRADUAÇÃO

GRADUAÇÃO

EDUCAÇÃO ESPECIAL (INCLUSIVA)

FOCO DO ESTUDO

• cursos de graduação – volume de cursos oferecidos– alta demanda– primeiro contato acadêmico

profissional do discente. • área de ciências sociais aplicadas

– aprofundamento do conhecimento do processo de ensino na administração

– conveniência no processo de amostragem da pesquisa de campo

4Método

• não-experimento• natureza exploratória descritiva• abordagem quantitativa• survey, com corte transversal• aplicação de questionários auto-preenchíveis com os discentes• avaliação de atributos de características de qualidade em AVAs• questões de captação de importância são divididas em três partes• Modelo Kano de captação de requisitos (KANO et al, 1984)

– questão funcional do atributo– questão disfuncional– terceira solicita a atribuição da importância do atributo em uma escala de 11

graus (crescente)

Amostragem• questionários retornados = 238• 10 questionários – respostas inconsistentes. • tamanho final da amostra = 228 respondentes

5Modelo Kano

Demais Requisitos

- Indiferentes

- Reversos

- QuestionáveisWiki O AVA deve disponibilizar ferramentas Wikis para construção coletiva de textos na web em formato multimídia Se o AVA disponibilizar ferramentas Wikis para construção coletiva de textos na web em formato multimídia, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente

Poderia conviver com isso

Ficaria Insatisfeito

Se o AVA NÃO disponibilizar ferramentas Wikis para construção coletiva de textos na web em formato multimídia, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente



Qual o nível de importância desta característica? Sem importância / Irrelevante (0%) 0 1 2 3 4 5 6 7 8 9 10 Muito Importante (100%)

Comunicador Instantâneo O AVA deve disponibilizar uma área de conversa e troca de arquivos em tempo real para os usuários online Se o AVA disponibilizar uma área de conversa e troca de arquivos em tempo real para os usuários que estão online, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente



Se o AVA NÃO disponibilizar uma área de conversa e troca de arquivos em tempo real para os usuários que estão online, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente




Chat textual O AVA deve disponibilizar salas de bate papo (chat) textual para interação em grupo em tempo real Se o AVA disponibilizar salas de bate papo (chat) textual para interação em grupo em tempo real, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente



Se o AVA NÃO disponibilizar salas de bate papo (chat) textual para interação em grupo em tempo real, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente




Whiteboard O AVA deve disponibilizar uma área para edição colaborativa entre os participantes em tempo real

Se o AVA disponibilizar uma área para edição colaborativa entre os participantes em tempo real, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente



Se o AVA NÃO disponibilizar uma área para edição colaborativa entre os participantes em tempo real, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente




Vídeo conferencia O AVA deve disponibilizar salas de bate papo em que é possível o uso de texto e também o uso de vídeo, voz e sons Se o AVA disponibilizar salas de bate papo em que é possível o uso de texto e também o uso de voz e sons, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente



Se o AVA NÃO disponibilizar salas de bate papo em que é possível o uso de texto e também o uso de voz e sons, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente




Áudio conferencia O AVA deve disponibilizar salas de bate papo em que é possível o uso de texto, voz e som Se o AVA disponibilizar salas de bate papo em que é possível o uso de texto e também o uso de voz e sons, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente



Se o AVA NÃO disponibilizar salas de bate papo em que é possível o uso de texto e também o uso de voz e sons, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente




6Questionário de Pesquisa

Questionário de Pesquisa – Pesquisa Quantitativa – ALUNOS Nos enunciados das questões a seguir a grafia AVA se refere aos Ambientes Virtuais de Aprendizagem, sistemas de gerenciamento de cursos

disponíveis na internet. Esta pesquisa tem como objetivo identificar as principais características de qualidade esperada em tais sistemas. Por favor, considere suas respostas tendo em vista os Ambientes Virtuais de Aprendizagem como apoio ao ensino presencial. As questões de atribuição de importância estão em uma escala de 11 graus (de 0 a 10) que representa valores de 0% a 100%.

Marque o valor de acordo com a sua opinião em relação as afirmações negativas = 0% ou positivas = 100%

(0%) 0 =0% 1=10% 2=20% 3=30% 4=40% 5=50% 6=60% 7=70% 8=80% 9=90% 10=100% (100%) Afirmação Negativa Afirmação Positiva

Em relação a avaliação dos atributos, cada característica contém duas questões. Por favor responda as duas questões de acordo com sua opinião.Marque, em cada questão somente um dos com os valores: 1 – Ficaria Satisfeito 2 - Deveria ser assim 3 – Seria Indiferente 4 - Poderia conviver com isso 5 - Ficaria Insatisfeito

AVALIAÇÃO DA IMPORTÂNCIA DAS CARACTERÍSTICAS

Atualidade As informações no AVA devem ser atuais Se o AVA tiver informações atualizadas, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente



Se o AVA NÃO tiver informações atualizadas, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente



Qual o nível de importância desta característica?

Sem importância / Irrelevante (0%) 0 1 2 3 4 5 6 7 8 9 10 Muito Importante (100%)

Autoria As informações no AVA devem apresentar referências à sua autoria e fonte de origem Se as informações no AVA apresentarem referências à sua autoria e fonte de origem, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente



Se as informações no AVA NÃO apresentarem referências à sua autoria e fonte de origem, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente





Completude As informações no AVA devem ser concisas, mas suficientes, na quantidade adequada Se as informações no AVA forem concisas, mas suficientes, na quantidade adequada, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente



Se as informações no AVA NÃO forem concisas, nem suficientes e na quantidade adequada, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente





Confiabilidade As informações no AVA devem ser confiáveis e representar a realidade Se as informações no AVA forem confiáveis e representar a realidade, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente



Se as informações no AVA NÃO forem confiáveis e representar a realidade, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente




Facilidade de Acesso As informações no AVA devem estar disponíveis e serem facilmente encontradas Se as informações no AVA estiverem disponíveis e facilmente encontradas, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente



Se as informações no AVA NÃO estiverem disponíveis e facilmente encontradas, como você se sentiria?

Ficaria Satisfeito

Deveria ser assim

Seria Indiferente




Coleta de dados = questionário auto-preenchível

Instrumento de coleta – parte inicial - descrição dos

objetivos da pesquisa e instruções

– primeiro bloco - captação da importância das características (Modelo Kano)

– segundo bloco contém variáveis a respeito do uso, da intenção de uso, da satisfação e do nível de importância geral dado aos sistemas.

Pré-Teste • 7 alunos de graduação

escolhidos por conveniência • diversas questões revistas na

redação (margem a dupla interpretação)

7Características de Qualidade

Total = 52

8Procedimentos de Análise - Características

Tarefa Procedimento

1- Descrever os resultados obtidos

Análise Descritiva dos Dados da Pesquisa

2- Classificar as características pelo Modelo Kano

Elaboração de uma matriz de classificação das características com base no Modelo Kano, que classifica as variáveis como Atrativas, Obrigatórias, Normais ou Indiferentes, com base no sistema de classificação Kano.

3- Identificar a importância das características

Análise das medidas de tendência central e de dispersão dos valores atribuídos à importância das características. Realização do Teste t de média em relação ao valor intermediário neutro de 5, na escala de 11 graus.

4- Comparar a importância por categorias

Comparação das médias das características com base na classificação a partir do Modelo Kano e das categorias de características. Será realizada Análise de Variância ANOVA com as médias das importâncias categorizadas pelos níveis do Modelo Kano e das categorias QI, QS, FT, e FC

9Análise 1 – Descrever os resultados obtidos

Questionários Válidos

Motivos de acesso ao AVA

Médias de Notas em relação ao AVA

10Análise 2 – Classificação Modelo Kano

Características de Qualidade da Informação e do Sistema


Características de Funcionalidades de Trabalho Individual


Características de Funcionalidades de Interação e Comunicação

13Análise 3 - Importância das Características

Tabela 23 – Notas Atribuídas à Importância das Características Test Value = 5 95% Intervalo de confiança da diferença

média

desvio padrão

erro padrão t gl

Sig. (2-tailed)

Dif. Méd. abaixo acima

QINFO4 confiabilidade 8,89 1,69 0,11 34,50 224 0,000 3,89 3,67 4,11 QINFO1 atualidade 8,84 1,63 0,11 35,56 227 0,000 3,84 3,63 4,06 QINFO6 interpretabilidade 8,54 1,81 0,12 29,23 222 0,000 3,54 3,30 3,78 QINFO5 exatidão 8,21 2,06 0,14 23,39 223 0,000 3,21 2,94 3,49 QINFO3 completude 7,80 1,94 0,13 21,68 223 0,000 2,80 2,55 3,06 QINFO7 precisão 7,56 2,14 0,14 17,96 224 0,000 2,56 2,28 2,84 QINFO2 autoria 7,07 2,12 0,14 14,76 226 0,000 2,07 1,80 2,35

média 8,13 1,91

QSIST3 disponibilidade 8,95 1,63 0,11 35,95 218 0,000 3,95 3,74 4,17 QSIST4 facilid. acesso 8,90 1,57 0,10 37,32 225 0,000 3,90 3,69 4,10 QSIST8 performance 8,74 1,57 0,10 35,69 223 0,000 3,74 3,53 3,94 QSIST9 segurança 8,52 1,81 0,12 29,10 223 0,000 3,52 3,28 3,76 QSIST7 navegação 8,44 1,69 0,11 30,47 222 0,000 3,44 3,22 3,66 QSIST6 intuitividade 8,35 1,73 0,12 29,05 223 0,000 3,35 3,13 3,58 QSIST5 interatividade 7,63 1,99 0,13 19,72 220 0,000 2,63 2,37 2,90 QSIST1 atratividade visual 7,58 2,15 0,14 18,03 225 0,000 2,58 2,30 2,86 QSIST2 consistência 7,19 2,12 0,14 15,38 222 0,000 2,19 1,91 2,47 média 8,26 1,81

Características de Qualidade da Informação e do Sistema



média

desvio padrão

erro padrão t gl

Sig. (2-tailed)



média 8,13 1,91

FTI14 material para download 8,87 1,62 0,11 35,74 221 0,000 3,87 3,66 4,09 FTI07 func. retorno 8,71 1,53 0,10 35,91 220 0,000 3,71 3,50 3,91 FTI06 func. acesso 8,49 1,95 0,13 26,76 223 0,000 3,49 3,23 3,75 FTI11 informações gerais 8,30 1,90 0,13 26,03 224 0,000 3,30 3,05 3,55 FTI08 glossário 8,11 2,07 0,14 22,36 220 0,000 3,11 2,84 3,39 FTI12 links externos 8,02 2,04 0,14 21,99 220 0,000 3,02 2,75 3,29 FTI15 mecanismos de busca 7,80 1,98 0,13 21,18 223 0,000 2,80 2,54 3,06 FTI05 controle operacional 7,13 2,39 0,16 13,24 220 0,000 2,13 1,81 2,44 FTI01 acompanhamento 6,99 2,52 0,17 11,73 220 0,000 1,99 1,66 2,33 FTI16 personalização 6,96 2,49 0,17 11,73 223 0,000 1,96 1,63 2,28 FTI03 auto avaliação 6,46 3,38 0,23 6,45 221 0,000 1,46 1,02 1,91 FTI02 atividades e jogos 6,45 2,93 0,20 7,39 222 0,000 1,45 1,06 1,83 FTI13 lista de participantes 6,27 2,96 0,20 6,36 218 0,000 1,27 0,88 1,67 FTI04 bloco de notas 6,07 2,94 0,20 5,44 223 0,000 1,07 0,68 1,45 FTI09 histórico 6,00 2,66 0,18 5,62 222 0,000 1,00 0,65 1,35 FTI10 idiomas 5,80 2,91 0,19 4,12 224 0,000 0,80 0,42 1,18 média 7,28 2,39

Características de Funcionalidades de Trabalho Individual



média

desvio padrão

erro padrão t gl

Sig. (2-tailed)



média 8,13 1,91

FIC15 mural 8,70 1,81 0,12 30,74 224 0,000 3,70 3,46 3,94 FIC10 faq ajuda 8,08 1,96 0,13 23,33 220 0,000 3,08 2,82 3,34 FIC11 faq inteligente 7,96 2,08 0,14 21,13 219 0,000 2,96 2,69 3,24 FIC17 sala de aula virtual 7,76 2,43 0,16 16,93 222 0,000 2,76 2,44 3,08 FIC06 comunicador inst. 7,51 2,36 0,16 15,96 224 0,000 2,51 2,20 2,82 FIC12 fóruns 7,45 2,44 0,16 15,09 224 0,000 2,45 2,13 2,77 FIC07 comunidades de aprend. 7,38 2,35 0,16 15,06 221 0,000 2,38 2,07 2,69 FIC08 correio eletrônico 7,26 2,45 0,16 13,74 221 0,000 2,26 1,94 2,59 FIC14 multimídia 7,02 2,25 0,15 13,38 222 0,000 2,02 1,72 2,32 FIC05 chat textual 6,95 2,44 0,16 12,05 226 0,000 1,95 1,63 2,27 FIC13 m-learning 6,86 2,51 0,17 11,06 221 0,000 1,86 1,53 2,20 FIC03 áudio conferencia 6,60 2,54 0,17 9,41 223 0,000 1,60 1,26 1,93 FIC09 diversão 6,60 2,52 0,17 9,58 227 0,000 1,60 1,27 1,92 FIC18 vídeo conferencia 6,58 2,62 0,17 9,06 225 0,000 1,58 1,24 1,92 FIC02 área do estudante 6,57 2,65 0,18 8,81 221 0,000 1,57 1,22 1,92 FIC19 whiteboard 6,55 2,44 0,16 9,44 221 0,000 1,55 1,22 1,87 FIC04 blog 6,47 2,59 0,17 8,41 219 0,000 1,47 1,12 1,81 FIC16 perfil do aluno 6,28 2,82 0,19 6,85 225 0,000 1,28 0,91 1,65 FIC01 ambiente 3D interativo 6,27 2,54 0,17 7,45 221 0,000 1,27 0,93 1,61 FIC20 wiki 6,21 2,45 0,17 7,27 214 0,000 1,21 0,88 1,54 média 7,05 2,41

Características de Funcionalidades de Interação e Comunicação

16Análise 4 – Comparação por Categorias

Soma dos

Quadrados gl Média Quadrada F Sig. Entre Grupos 33,132 1 33,132 149,369 ,000 Com Grupos 11,091 50 0,222

Anova por Categorias Kano (Indiferentes x Normais)

Total 44,222 51 Entre Grupos 12,676 3 4,225 6,429 ,001 Com Grupos 31,546 48 0,657

Anova por Categorias de Características

(QINFO, QSIST, FTI, FIC) Total 44,222 51

(I) categorias (J) categorias Dif. Médias

(I-J) Erro

Padrão Sig. 95% Intervalo de

Confiança QINFO QSIST -,12556 ,40855 0,990 -1,2128 ,9617

FTI ,85313 ,36737 0,107 -,1246 1,8308 FIC 1,07700(*) ,35602 0,020 ,1295 2,0245

QSIST QINFO ,12556 ,40855 0,990 -,9617 1,2128 FTI ,97868(*) ,33778 0,028 ,0797 1,8777 FIC 1,20256(*) ,32540 0,003 ,3366 2,0686

FTI QINFO -,85313 ,36737 0,107 -1,8308 ,1246 QSIST -,97868(*) ,33778 0,028 -1,8777 -,0797 FIC ,22388 ,27191 0,843 -,4998 ,9475

FIC QINFO -1,07700(*) ,35602 0,020 -2,0245 -,1295 QSIST -1,20256(*) ,32540 0,003 -2,0686 -,3366 FTI -,22388 ,27191 0,843 -,9475 ,4998

normalindiferente

cat

9,00

8,00

7,00

6,00

med

ia

FCFTQSQI

categorias

9,00

8,00

7,00

6,00

me

dia

QINFO QSIST FTI FIC

normais

indiferentesqinfo qsist

ftific

17Conclusão

Característica Média Clas. Kano confiabilidade 8,89 normal

atualidade 8,84 normal interpretabilidade 8,54 normal

exatidão 8,21 normal completude 7,80 normal

precisão 7,56 normal autoria 7,07 indiferente

• Quais são as dimensões e as características de qualidade dos AVAs?

Característica Média Clas. Kano disponibilidade 8,95 normal

facilid. acesso 8,90 normal performance 8,74 normal

segurança 8,52 normal navegação 8,44 normal

intuitividade 8,35 normal interatividade 7,63 indiferente

atratividade visual 7,58 indiferente consistência 7,19 indiferente

Característica Média Clas. Kano

material para download 8,87 normal func. retorno 8,71 normal func. acesso 8,49 normal

informações gerais 8,30 normal glossário 8,11 normal

links externos 8,02 normal mecanismos de busca 7,80 normal controle operacional 7,13 indiferente

acompanhamento 6,99 indiferente personalização 6,96 indiferente auto avaliação 6,46 indiferente

atividades e jogos 6,45 indiferente lista de participantes 6,27 indiferente

bloco de notas 6,07 indiferente histórico 6,00 indiferente idiomas 5,80 indiferente

Característica Média Clas. Kano mural 8,70 normal

faq ajuda 8,08 normal faq inteligente 7,96 normal

sala de aula virtual 7,76 normal comunicador inst. 7,51 indiferente

fóruns 7,45 indiferente comunidades de aprend. 7,38 indiferente

correio eletrônico 7,26 indiferente multimídia 7,02 indiferente

chat textual 6,95 indiferente m-learning 6,86 indiferente

áudio conferencia 6,60 indiferente diversão 6,60 indiferente

vídeo conferencia 6,58 indiferente área do estudante 6,57 indiferente

whiteboard 6,55 indiferente blog 6,47 indiferente

perfil do aluno 6,28 indiferente ambiente 3D interativo 6,27 indiferente

wiki 6,21 indiferente

qinfo qsist

fti

fic

Conclusão18

1. QSIST e QINFO são dimensões de maior importância em AVA

2. funcionalidades obtiveram níveis mais baixos de importância, embora tenham ainda ficado em um patamar acima do nível médio.

3. maioria das funcionalidades enquadrou-se na categoria de requisitos indiferentes

4. ferramentas de comunicação e interação não se mostraram tão relevantes quanto às ferramentas de trabalho individual

5. funcionalidades da Web 2.0, como wikis e blogs, ambiente em 3 dimensões, e whiteboard foram consideradas como indiferentes aos discentes (recebendo também baixos níveis de importância).

6. principais funcionalidades são as relativas à dimensão trabalho individual

7. disponibilização de materiais de aula para download, retorno de atividades, acessibilidade, glossário, informações gerais, links, mural e mecanismos de busca são as mais valorizadas pelo corpo discente.

8. estas características devem ser consideradas como prioritárias no desenvolvimento de AVAs.

19Limitações da Pesquisa

• respostas são baseadas em julgamentos dos discentes

• levantamento (caráter não-experimental)– manipulação das variáveis independentes não é possível– Relativização das relações causais

• corte transversal da amostra estudada, portanto, a premissa de antecedência temporal deve ser descartada

• possibilidade de não inclusão de variáveis que poderiam ser preditoras de outras dependentes– modelo e resultados ficam restritos às variáveis incluídas

• não-normalidade das variáveis da pesquisa

Obrigado

Silvio Carvalho [email protected] ou [email protected]

utilizaÇÃo do modelo kano para classificar importÂncia de funcionalidades em ambientes virtuais...

Documents