analÍse estatÍstica do progresso do aluno sobre conceitos de engenharia de ... · 2016-02-01 ·...

18
ANALÍSE ESTATÍSTICA DO PROGRESSO DO ALUNO SOBRE CONCEITOS DE ENGENHARIA DE PRODUÇÃO COM O USO DE DINÂMICA DE ENSINO Paula Carneiro Martins (UNIFEI) [email protected] Fabiano Leal (UNIFEI) [email protected] Luiz Gonzaga Mariano de Souza (UNIFEI) [email protected] Jose Henrique de Freitas Gomes (UNIFEI) [email protected] Carlos Eduardo Correa Molina (UNIFEI) [email protected] Este artigo visa analisar de forma estatística o desempenho dos alunos em questionários aplicados antes/depois da apresentação de uma dinâmica que transmite conceitos sobre Sistema Toyota de Produção, Just-in-time (JIT), tempo de setup, metodologia 5S e nivelamento de produção. A dinâmica de ensino utiliza bloquinhos de montagem LEGO® e é batizada como MIB - Montagem Interativa de Bloquinhos . O artigo descreve as etapas utilizadas na dinâmica e a analíse estatistica de melhora significativa de desempenho dos alunos entre o pré e o pós teste. Palavras-chave: Educação na Engenharia de Produção, Avaliação, Dinâmicas de Ensino XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

Upload: lydieu

Post on 08-Nov-2018

214 views

Category:

Documents


0 download

TRANSCRIPT

ANALÍSE ESTATÍSTICA DO PROGRESSO DO

ALUNO SOBRE CONCEITOS DE ENGENHARIA

DE PRODUÇÃO COM O USO DE DINÂMICA DE

ENSINO

Paula Carneiro Martins (UNIFEI)

[email protected]

Fabiano Leal (UNIFEI)

[email protected]

Luiz Gonzaga Mariano de Souza (UNIFEI)

[email protected]

Jose Henrique de Freitas Gomes (UNIFEI)

[email protected]

Carlos Eduardo Correa Molina (UNIFEI)

[email protected]

Este artigo visa analisar de forma estatística o desempenho dos alunos em

questionários aplicados antes/depois da apresentação de uma dinâmica que

transmite conceitos sobre Sistema Toyota de Produção, Just-in-time (JIT),

tempo de setup, metodologia 5S e nivelamento de produção. A dinâmica de

ensino utiliza bloquinhos de montagem LEGO® e é batizada como MIB -

Montagem Interativa de Bloquinhos . O artigo descreve as etapas utilizadas

na dinâmica e a analíse estatistica de melhora significativa de desempenho

dos alunos entre o pré e o pós teste.

Palavras-chave: Educação na Engenharia de Produção, Avaliação, Dinâmicas

de Ensino

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

2

1. Introdução

A metodologia de ensino vem sendo alvo de várias discussões no âmbito acadêmico. As

ideias se dividem entre o tradicional método de aprendizado, em aulas utilizando quadro,

pincel e exercícios de fixação, e entre as formas alternativas de ensino visando um

aprendizado mais eficaz das distintas matérias e ideais. Dentre os métodos alternativos é

possível destacar alguns como o uso de vídeos para ilustração e melhor visualização de

conceitos, o maior envolvimento dos alunos como a divisão de tópicos da matéria para os

alunos apresentarem, e dezenas de estrátegias são criadas pelos docentes a cada dia afim de

conseguirem a maior participação e envolvimento dos alunos. O presente trabalho visa

comprovar a eficácia de um desses métodos alternativos de ensino: dinâmicas educacionais.

Segundo Lee e Hammer (2011), o sucesso dos jogos em ambientes sociais e para o

entretenimento de forma geral faz com que pesquisadores acreditem que estes podem ser

usados na educação como uma ferramenta para aumentar o envolvimento ou engajamento dos

alunos e assim estimular comportamentos de aprendizagem desejáveis. Nesse caso a dinâmica

apresentada é conhecida como „Montagem Interativa de Bloquinhos‟ (MIB), aplicada em

turmas da disciplina „Sistemas de Produção‟ ou disciplinas similares, na Universidade Federal

de Itajubá. A Dinâmica MIB, além de abordar os principais conceitos sobre o Sistema de

Toyota de Produção (STP), também trata dos conceitos de Just in Time (JIT), tempo de setup,

metodologia 5S e nivelamento de produção (Heijunka).

Esse trabalho terá como objeto de estudo uma dinâmica de ensino de conceitos de Engenharia

de Produção com o uso de peças de LEGO®. A dinâmica MIB propõe o ensino de alguns

conceitos da manufatura enxuta através da participação direta do aluno na gestão operacional

de uma linha de montagem utilizando-se peças Lego®. O objetivo do presente trabalho é

focar na analíse estatística das respostas dos alunos antes e depois da apresentação da

dinâmica, a fim de mensurar as características favoráveis ou não ao processo de

ensino/aprendizagem e subsidiar melhorias em novas versões da dinâmica. Assim utilizou-se

a aplicação de pré e pós testes para avaliar o grau de aprendizado antes e depois da mesma. Os

questionários foram levados a análise estatística a fim de determinar uma melhora no

conhecimento dos alunos após a dinâmica.

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

3

2. Referencial teórico

2.1. Metodologia de ensino na engenharia

A metodologia de ensino é um dos tópicos de grande enfâse na vida acadêmica. Ao tratar do

tema “Educação na Engenharia” na atualidade é reconhecer a necessidade de um currículo

que proporcione aos futuros engenheiros oportunidades de aprendizagem que utilizem as mais

recentes tecnologias, visando com isso enriquecer e ampliar o aporte de conhecimento para

que os graduados sejam mais bem preparados para trabalhar em uma economia global e em

constante mudança (NAE, 2005). Assim, docentes se desdobram para utilizarem métodos

eficazes de transmissão de conhecimento para os alunos.

Alguns modelos como o modelo de Gestão do Conhecimento de Nonaka e Takeuchi (1995)

tem sido um importante aporte teórico por apresentar o fluxo entre os processos de

conhecimento explícito e tácito. Enquanto o conhecimento explícito pode ser facilmente

expresso em linguagem formal e sistemática, o conhecimento tácito é muito mais difícil de

articular, pois requer que o conhecimento ganhe vida através de “fazer as coisas” e mediante a

interação e participação das outras pessoas. O modelo consiste em quatro modos de conversão

do conhecimento: socialização, exteriorização, combinação e internalização. O conhecimento

produzido por meio do “fazer as coisas” é apresentado também por Ríos et al. (2010), uma

vez que o trabalho descreve as discussões realizadas em um workshop sobre o uso de jogos,

simulações e dinâmicas na formação de engenheiros. O workshop apresenta a realidade em

que várias instituições de ensino estão se dirigindo para uma mudança em direção ao uso de

métodos de ensino que envolvam a aprendizagem experiencial.

Assim, o aprendizado experimental é muito utilizado na engenharia. Em laboratórios de

prática como os de química , física, mecânica e elétrica. A aprendizagem experiencial

segundo Kolb (1976) nada mais é que a forma natural pela qual os seres humanos aprendem,

crescem e se desenvolvem. Os conceitos da engenharias têm alto nível de complexidade a

serem passados aos alunos, assim certas estraatégias de ensino tenham maior utilidade para

despertar a atenção dos alunos. Segundo Molina.(2015) as muitas estratégias de aprendizagem

contemporâneas tem em comum a preocupação dos estudiosos e práticos, em geral docentes,

com o alcance do sucesso dos profissionais em cada área do saber.

2.2. Métodos interativos de ensino

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

4

Há inúmeras maneiras de instrução para o aprendizado de um tópico (VON WANGENHEIM;

SAVI & BORGATOO, 2011). Essas estratégias são dividas em 5 categorias ilustradas na

Figura 1.

Figura1 – Categorias de estratégias instrucionais

Fonte: Adaptado de Saskatchewan Education (1991)

Dentre as categorias de estratégias instrucionais temos a “Experimental Learning”, que está

diretamente relacionada com o uso de métodos alternativos e práticos, ou seja, fazer com que

os alunos participem de uma maneira ativa para a transferência de conhecimento. Há indícios

de que jogos e dinâmicas educacionais sejam ferramentas capazes de aprimorar o processo de

ensino-aprendizagem (VON WANGENHEIM; SAVI & BORGATOO, 2011), assim eles vem

sido usados em transferência de conceitos em muitos situações. Desde de treinamentos em

empresas à aulas diferenciais em algumas universidades . Segundo Pinho,Leal & Almeida

(2005) com a utilização da dinâmica foi possível transmitir de maneira relativamente fácil

conceitos de tópicos de Engenharia na Univerisadade Federal de Itajubá(UNIFEI). Outros

trabalhos como na Universidade Federal de Santa Catarina(UFSC) também utilizaram de

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

5

métodos alternativos para a transferência de conhecimento teóricos no curso de Computação

com o uso de Jogos. Torna-se comum a busca por metódos alternativos de fixação de

conceitos, de maneiras que comprovem o maior envolvimento dos alunos no conteúdo e

maior efetividade da fixação da matéria a ser ensinada. Para Lee e Hammer (2011), é o

sucesso dos jogos em ambientes sociais e para o entretenimento de forma geral que faz com

que pesquisadores acreditem que estes também possam ser usados na educação como uma

ferramenta para aumentar o envolvimento/engajamento dos alunos e estimular

comportamentos de aprendizagem desejáveis.

2.3. Efetividade de um método

Estudos na literatura apresentam alguns métodos alternativos como capazes e responsáveis

por aumentar a motivação dos aprendizescomo por exemplo, Kebritchi, Hirumi e Bai (2010),

Papastergiou (2009), Prensky (2001), Randel et al. (1992) e Rosas et al. (2003); por aumentar

o envolvimento dos mesmos, como por exemplo, Barab et al. (2012); e, finalmente, por

incrementar a aprendizagem, como por exemplo, Terrell e Rendulic (1996).

Em controversa, há quem apresente resultados em que a adoção de práticas de ensino lúdicas

não acrescenta, necessariamente, à aprendizagem. Como exemplo, Ebner e Holzinger (2007)

apresentaram uma implementação bem-sucedida de ensino por meio de um jogo centrado no

usuário para 121 alunos do sétimo período de engenharia civil. Então a efetividade do método

de ensino se faz necessária para a propagação desse. Alguns autores com o objetivo de

conseguir instrumentos de avaliação de metódos didáticos buscam criar soluções para

impasses de relativo aprendizado ou não. Segundo Molina (2015) , a avaliação de práticas de

ensino pode ser feita utilizando o modelo multimensional na Figura 2.

Figura 2 – Representação esquemática do Modelo Mutidimensional para Avaliação de

Ensino

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

6

Fonte: Adaptado de Molina (2015)

A comprovação da efetividade de um metódo de ensino é importante para a sua utilização.

3. Materiais e métodos

Tendo em vista o objetivo geral do presente trabalho, de entender e construir mecanismos

para mensurar o potencial impacto positivo da utilização de dinâmicas de ensino na

Engenharia de Produção. Assim há uma avaliação em dinâmicas de ensino específicas. A

abordagem é qualitativa, uma vez que o pesquisador coletou dados e em cima desses tirou

interpretação de aumento de conhecimento baseado em analíses estatísticas dos dados.

Trata-se de um estudo de caso, método este que permite a investigação de um dado fenômeno

dentro de um contexto real contemporâneo por meio de análise aprofundada de um ou mais

objetos de análise (YIN, 2008); sendo que a unidade de análise (caso) é a “Dinâmica MIB”,

aplicada em turmas da Engenharia de Produção da Universidade Federal de Itajubá (UNIFEI)

com o objetivo de mensurar o nivel de conhecimento adquirido.

Em relacão às fontes de evidências, o presente trabalho usa a melhora significativa do

desempenho no questionário como um nivel de aprendizado com a apresentação da dinânima.

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

7

Após a coleta de dados a pesquisa prevê a avaliação do desempenho, no caso a soma de todas

as notas de cada questão, do aluno nos questionários antes e depois. Assim, fez-se o uso do

software estatística Minitab com o objetivo de avaliar alguns parâmetros como: tamanho da

amostra, diferença significativa .

3.1. Apresentação da dinâmica

Na dinâmica, acontecem quatro rodadas pelas quais são reforçados aos alunos os conceitos

apresentados e trabalhados em aula anteriormente ou, mais frequentemente, como introdução

ao conteúdo. No decorrer das quatro rodadas, as equipes de alunos podem tomar diferentes

decisões e acompanhar os resultados de suas decisões em um sistema de produção simulado

em cada rodada, pois cada rodada trata-se de uma etapa de um processo de melhoria que a

linha vai receber. É dessa forma que os conceitos descritos anteriormente são transmitidos aos

alunos participantes.

Tal dinâmica vem sendo aplicada na Universidade Federal de Itajubá (UNIFEI) desde junho

de 2003, na graduação e na pós-graduação em Engenharia de Produção, tendo sido premiada

em 2005, na sessão de Ensino de Engenharia do Encontro Nacional de Engenharia de

Produção (ENEGEP) (PINHO et al., 2005).

A dinâmica representa um sistema de produção que é inicialmente caracterizado por ser do

tipo “empurrado” (quando um trabalho é finalizado num posto, o resultado da operação é

“empurrado” para a próxima estação ou para o inventário final), e que, ao final, torna-se um

sistema do tipo “puxado” (cada estação “puxa” o resultado da montagem da estação anterior,

de acordo com o necessário, e os produtos finais da operação são “puxados” pelo cliente de

acordo com sua demanda). Esta dinâmica se caracteriza por ser um modelo de aprendizagem

vivencial, pois segundo Kolb & Kolb (2005) e Kolb & Kolb (2006), enfatiza a experiência no

processo de aprendizagem.

Para que ocorra o aprendizado é necessário, que as pessoas se envolvam completa e

abertamente em novas experiências concretas. Em seguida, é necessário refletir sobre essas

experiências e observá-las a partir de outras perspectivas. Depois, as conclusões obtidas

devem ser generalizadas, criando-se novos conceitos que consigam integrar as observações

em teorias lógicas. No final, deve-se transferir, ou mesmo testar, estes conceitos em novas

situações, modificando procedimentos, tomando decisões ou resolvendo problemas.

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

8

A MIB se baseia em uma dinâmica utilizada pelo grupo ALCOA (agora como PKC Group),

porém adaptada ao cenário acadêmico. Consiste na montagem de bloquinhos LEGO®,

representando três tipos (três variedades de cores) de produtos finais de uma linha de

montagem. A Figura 3 demonstra as duas etapas de montagem do produto, divididas em

processo A e processo B.

Figura 3 – Processos da dinâmica Montagem Interativa de Bloquinhos

3.2. Modelagem conceitual e aspectos observados

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

9

Ao iniciar a dinâmica, geralmente um grupo de 20 a 30 alunos sentados em mesas de cinco

lugares ocupados por dois operadores diretos, um operador de expedição, um controller e um

gerente. Eram submetidos a uma breve introdução do que seria simulado e como isso iria

funcionar e depois recebiam um reservatório contendo as peças utilizadas para a montagem e

também algumas pecas em excesso ao necessário à produção que visam simular a

desorganização de uma mesa de trabalho e tambem ordens de produção para cada posto de

trabalho, ilustradas na Figura 4.

Figura 4 – Primeira rodada da dinâmica (Grupo PET 2014)

Ao começarmos as rodadas os operadores tinham por volta de 4 minutos para a produção de

30 produtos acabados (conforme Figura 3), usando um takt time de 8s/produto. Cada operador

deve seguir a sua respectiva ordem deprodução. Ao final de cada rodada os gerentes de cada

grupo eram convidados a ir na frente da sala para mostrar seus resultados financeiros e

apresentar os problemas encontrados na respectiva rodada.

No caso da primeira rodada foi comum a reclamação de excesso de peças desnecessárias e

falta de alinhamento entre a ordem de produção do operador A, operador B e expedição, o que

acarretava em um alto estoque intermediário e acabado (elevando custos). Assim, após cada

rodada, eram apresentadas soluções para os problemas, como por exemplo, após a primeira

rodada foi proposto a aplicação do 5 S. A situação da mesa de trabalho dos operários

melhorou de uma maneira significativa para a segunda rodada, como pode-se observar na

Figura 5.

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

10

Figura 5 – Segunda rodada da dinâmica (Grupo PET 2014)

Assim, a cada etapa conceitos eram implentados na linha simulada afim de fazer com que os

alunos observassem diretamente a melhoria causada por uma ferramenta. Dessa forma, cada

rodada se baseava em implementação de pelo menos um conceito, como ilustrado na figura 6.

Figura 6 – Conceitos implementados em cada rodada

4. Analíse dos dados

A coleta dados deu-se da seguinte forma: os 23 alunos do Mestrado da Universidade Federal

de Itajubá foram submetidos a um questionário com cinco questões objetivas, com seis

alternativas variando em uma escala Likert (Discordo completamente até Concordo

completamente), antes da dinâmica.

As questões tinham por objetivo visualizar se o aluno tinha convicção de um conceito da área

de Engenharia de Produção ou não. Após toda a dinâmica, os alunos foram novamente

submetidos a esse mesmo questionário, para que pudéssemos avaliar a evolução de cada

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

11

aluno. A avaliação desses dados foi feita no Software Minitab. Em primeiro lugar, realizou-se

um teste para verificar a adequação do tamanho da amostra. Assim, obtivemos a Figura 7.

Figura 7 – Tamanho da amostra

0,500,250,00-0,25-0,50

1,0

0,8

0,6

0,4

0,2

0,0

Difference

Po

we

r

A lpha 0,05

StDev 0,5

A lternativ e Not =

A ssumptions

23

Size

Sample

Power Curve

E o tamanho da amostra se mostra significativo, pois ele consegue detectar um delta de 0,45

de diferença. E como as respostas variam de 0 a 6, sendo que ou a pessoa responde 0,1,2..,6, a

diferença entre os graus de aprendizado é 1. Outro caso, que deve ser considerado é o caso de

uma questão especifica do questionário.

A questão 3 é um caso especial pois na maioria das questões o concordar completamente era o

máximo de conhecimento do aluno em relação ao tópico, mas nesse trata-se de uma reversa

que quanto mais as pessoas concordavam mais elas estavam erradas, então a escala foi

invertida e quem colocou discordo completamente recebeu 6 e quem colocou concordo

completamente recebeu zero. Assim, os dados foram colocados em uma planilha,

respondentes x questões no próprio Excel, como mostra a Figura 8.

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

12

Figura 8 – Respostas do antes e depois da dinâmica

Com os dados da Tabela 2 foi elaborado um histograma que permitiu a visualização de

evolução entre o antes (Figura 9) e o depois (Figura 10) de cada questão.

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

13

Figura 9 – Histograma das respostas antes da aplição da dinâmica

543

16

12

8

4

05432

10,0

7,5

5,0

2,5

0,054321

8

6

4

2

0

543

20

15

10

5

0543

12

9

6

3

0

Q1AFr

eq

ue

ncy

Q2A Q3A

Q4A Q5A

Histograma das respostas antes da dinamica

Figura 10 – Histograma das respostas depois da aplição da dinâmica

65

20

15

10

5

065

20

15

10

5

06543210

10,0

7,5

5,0

2,5

0,0

654

20

15

10

5

0654

20

15

10

5

0

Q1D

Fre

qu

en

cy

Q2D Q3D

Q4D Q5D

Histograma das Respostas Depois da dinamica

Os resultados sugerem melhora, mas para a sua comprovação é necessario realizar alguns

testes que comprovem a diferenca significativa entre as respostas antes e depois, e evitar erros

do tipo I e II. E para essa avaliação, como os dados não seguem uma distribuição normal por

serem em escala Likert, foi necessário o uso de testes de hipóteses não paramétricos. Os

cálculos subsequentes compreendem a verificação e comparação das amostras obtidas “antes”

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

14

e “após” a aplicação da dinâmica. Para tanto, utiliza-se o Teste de Wilcoxon (Wilcoxon

Signed Rank Test) ou, em português, “Teste de Postos com Sinais”, um equivalente do “Teste

t pareado” para dados não paramétricos, usado para comparar 2 amostras de dados pareados,

não independentes (MILLER; MILLER, 1993; WALPOLE et. al., 2009).

A primeira situação trata-se do prévio questionário e o segunda do posterior à dinâmica.

Assim cada questão foi analisada segundo a diferença de notas entre a situação 2(depois) e a

situação 1(antes).

Wilcoxon

H0: Mediana da diferença = 0 ( Mediana depois =Mediana antes)

H1: Mediana da diferença ≠ 0

Utilizou-se também a confiabilidade de 95% para todos os testes realizados.

5. Resultados e discussões

Os testes supracitados foram realizados nas amostras de cada questão antes e depois da

aplicação da dinâmica. O objetivo desses testes é verificar se há diferença significativa dos

resultados do questionário antes e depois, para comprovar ou não a eficiência do uso da

dinâmica como modo de transmissão de conceitos ligados a uma área específica de

conhecimento. No caso do uso de testes não paramétricos se deve aos testes compararem as

medianas antes e depois para analisar a eficácia de um processo. Na Figura 11, estão as

questões analisadas seguindo o teste de hipotese:

Test of median = 0,000000 versus median ≠ 0,000000

Figura 11 – Respostas das questões 1,2,4,5 analisados no teste Wilcoxon Minitab

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

15

Para as 4 questões acima (Questão 1,2,4,5) como P value < 5%, rejeita-se Ho. Portanto, pode-

se perceber que a diferenca entre as medianas antes e depois da dinâmica é diferente de zero.

Assim, há diferrença significativa entre as respostas antes e depois da dinâmica. E como o

intervalo de confiabilidade da diferença das medianas é maior que zero, pode-se observar

que houve uma melhora de desempenho dos estudantes antes e depois , já que trata-se de uma

análise de diferença(mediana depois-mediana antes). A questão 3 abaixo analisada na Figura

12 trata-se de uma questão de comportamento diferente, seguindo o teste de hípotese:

Test of median = 0,000000 versus median ≠ 0,000000

Figura 12 – Respostas da questão 3 analisada no teste Wilcoxon Minitab

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

16

Na questão 3 como P value >5%, aceita-se Ho. Portanto, pode-se perceber que a diferenca

entre as medianas antes e depois da dinâmica não é significamente diferente de zero. Assim,

não há diferrença significativa entre as respostas antes e depois da dinâmica. E como o

intervalo de confiabilidade da diferença das medianas é menor que zero, não é possível

afirmar um melhor ou pior desempenho de cada estudante nessa questão, já que trata-se de

uma análise de diferença(mediana depois-mediana antes) não consiguimos afirmar se a

diferença está entre -0,5 e zero (piora de rendimento) ou entre 0 e 2 (melhora de rendimento).

Assim na maioria das questões houve um aumento na resposta depois da dinâmica, apenas na

terceira questão o aumento depois da dinâmica não pode ser considerado.

6. Considerações finais

As análises dos testes não paramétricos realizados comprovaram que os alunos melhoraram

suas respostas na maioria das questões apresentadas. As hipóteses apresentadas nos testes

Wilcoxon são:

H0: Mediana da diferença = 0 ( Mediana depois =Mediana antes)

H1: Mediana da diferença ≠ 0

Nas questões 1, 2, 4 e 5 obtivemos P-value < 5%, o que significa que deve-se rejeitar Ho, ou

seja, aceita-se H1. Assim, a mediana das respostas antes da aplicacao da dinamica é menor

que a mediana depois, comprovando que houve uma melhora significativa entre antes e

depois da dinâmica. Na questão 3, o P-value foi maior que 5% o que faz com que aceitemos

Ho. Assim, a mediana antes é maior ou igual a mediana depois, ou seja, nessa questão não

houve uma melhora significativa das respostas dos alunos antes e depois. Alguns motivos

podem explicar o que houve com essa pergunta:

Tratava-se de uma alternativa reversa;

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

17

Indução de respostas;

Má formulação da pergunta.

Alternativas reversas são aquelas que a opção certa é inversamente proporcional à opção

concordo completamente. Assim, quanto mais você concordava mais sua resposta estava

errada.

A indução das respostas e a má formulação da pergunta se deve ao fato de que já que a

maioria das outras respostas que os alunos tinham conhecimento estavam com respostas

semelhantes à concordo e concordo completamente. A questão que gerava dúvida, nesse caso

a questão 3, deveria seguir o mesmo padrão das outras respostas.

Assim, este presente trabalho visou verificar a melhora significativa das respostas de

estudantes ao questionário já que ao visualizarmos apenas gráficos que mostram um

crescimento, não significa que esse seja significativo. É necessário uma prova estatística de

uma melhora no desempenho de cada aluno. A elaboração de uma nova questão 3 com o

objetivo de melhor formular a questão é um ponto a ser considerado para os próximos testes.

7. Referências

BARAB, S., PETTYJOHN, P., GRESALFI, M., VOLK, C., SOLOMOU, M. Game-based curriculum and

transformational play: Designing to meaningfully positioning person, content, and context, Computers &

Education, 58(1), 518-533. 2012.

EBNER, M.; HOLZINGER, A. Successful implementation of user-centered game based learning in higher

education: An example from civil engineering. Computers & Education, v. 49, n. 3, p. 873-890, Nov. 2007.

KEBRITCHI, M., HIRUMI, A., & BAI, H. The effects of modern mathematics computer games on mathematics

achievement and class motivation. Computers & Education, 55, 427–443. 2010.

KOLB, D. A. Learning style inventory: Technical manual. Boston: The McBer and Company. 1976.

KOLB, A. Y., KOLB, D. A. Learning styles and learning spaces: Enhancing experiential learning in higher

education. The Academy of Management Learning and Education, 4(2). 2005.

_________________________. Learning styles and learning spaces: A review of the multidisciplinary

application of experiential learning theory in higher education. In: SIMS, R. R., SIMS, S. J. (Eds.), Learning

styles and learning: A key to meeting the accountability demands in education (pp. 45–92). NY: New Science

Publishers. 2006.

LEE, J. J., HAMMER, J. Gamification in education: what, how, Why Bother? Definitions and uses. Exchange

Organizational Behavior Teaching Journal, 15(2), 1–5. 2011.

MILLER, J. C.; MILLER, J. N.; Non-parametric and robust methods in Statistics for Analytical Chemistry, 3rd

ed. Ellis Horwood PTR Prentice Hall: London, 1993.

XXXV ENCONTRO NACIONAL DE ENGENHARIA DE PRODUCAO Perspectivas Globais para a Engenharia de Produção

Fortaleza, CE, Brasil, 13 a 16 de outubro de 2015.

18

MOLINA, Carlos Eduardo Corrêa. Desenvolvimento de um instrumento multidimensional para avaliação de

práticas de ensino no processo de aprendizagem. 2015. 120 f. Tese (Doutorado em Engenharia Mecânica na área

de Gestão e Otimização) - Universidade Estadual Paulista, Faculdade de Engenharia de Guaratinguetá,

Guaratinguetá. 2015.

NAE. Educating the Engineer of 2020: Adapting Engineering Education to the New Century. The National

Academic Press, Washington, D.C. 2005.

NONAKA, I., TAKEUCHI, H. The knowledge-creating company. New York: Oxford University Press, 1995.

PAPASTERGIOU, M. Digital game-based learning in high school computer science education: impact on

educational effectiveness and student motivation. Computers &Education, 52(1), 1–12. 2009.

PRENSKY, M. Digital game-based learning. New York: McGraw-Hill, 2001.

PINHO, A. F. de ; LEAL, F. ; ALMEIDA, D. A. de . Utilização de bloquinhos de montagem LEGO para o

ensino dos conceitos do Sistema Toyota de Produção. In: XXV Encontro Nacional de Engenharia de Produção.

Porto Alegre. 2005.

RANDEL, J. M., MORRIS, B. A., WETZEL, C. D., & WHITEHILL, B. V. The effectiveness of games for

educational purposes: A review of recent research. Simulation and Gaming, 23(3), 261–276. 1992.

ROSAS, R., NUSSBAUM, M., CUMSILLE, P., MARIANOV, V., CORREA, M., FLORES, P. Beyond

Nintendo: design and assessment of educational video games for first and second grade students. Computers &

Education, 40, 71–94. 2003.

RÍOS, I. D. L., CAZORLA, A., DÍAZ-PUENTE, J. M., YAGUE, J. L. Project–based learning in engineering

higher education: two decades of teaching competences in real environments. Procedia - Social and Behavioral

Sciences, v. 2, n. 2, p. 1368-1378, Jan. 2010.

TERRELL, S., RENDULIC, P. Using computer-managed instructional Software to increase motivation and

achievement in elementary school children. Journal of Research on Computing in Education, 26(3), 403–414.

1996.

VON WANGENHEIM; C. G.; SAVI, R.; BORGATTO, A. F. DELIVER! An educational game for teaching

Earned Value Management in computing courses. Information and Software Technology, v. 54, p. 286-298,

2011.

WALPOLE, R. E.; MYERS, R. H.; MYERS, S. L.; YE, K. Probabilidade & Estatística para engenharia e

ciências. 8a. edição. São Paulo: Pearson Prentice Hall, 2009.

YIN, R. K. Case Study Research: Design and Methods. Fourth Ed. Sage Publications. 2008.