Approaches to E‐learning Quality Assessment 

ABORDAGENS À AVALIAÇÃO DA QUALIDADE EM E‐LEARNING 

   

Maria Pietronilla Penna ** Università degli Studi di Cagliari, Facoltà di Sienze della Formazione 

maria.pietronilla@unica.it     

Vera Stara * Università Plitecnica delle Marche, Facoltà di Ingegneria, DEIT  

v.stara@univpm.it    

Resumo  O campo do e‐learning ainda se carateriza por apresentar muitas questões em aberto, tais  como:  Quem  deve  garantir  a  sua  qualidade?  A  avaliação  da  qualidade  em  e‐learning é uma tarefa difícil, que envolve  intervenção humana e não pode ser baseada somente  numa  metodologia  simples  e  reprodutível.  Neste  sentido,  este  artigo  é dedicado a discutir diferentes abordagens e critérios que poderiam ser utilizados para uma  avaliação da qualidade dentro deste domínio:  ISO/IEC19796‐1: 2005,  European Quality  Observatory  (EQO)  (Observatório  Europeu  da  Qualidade)  e  alguns modelos importantes,  tais  como o Modelo de  Sucesso  em  e‐learning    (Holsapple  e  Lee‐Post, 2006), o modelo de Klein et al (2006) e LCD. A partir desta análise, podemos concluir que, apesar dessas tentativas, a avaliação da qualidade em e‐learning permanece, até agora, uma questão em aberto, e ainda  são necessárias boas práticas em e‐learning que garantam um curso eficaz para os alunos e outros atores envolvidos.    Palavras‐chave: Qualidade em e‐learning, avaliação, fator de qualidade do e‐learning      1. Introdução  Forças económicas, sociais e  tecnológicas  revolucionam diariamente os processos de ensino e aprendizagem nas organizações, universidades e escolas. No que se refere a esta  evolução  do  ensino  e  aprendizagem,  no  entanto,  têm  sido  usadas  diferentes expressões  para  caracterizar  a  inovação.  Entre  eles,  podemos  citar  "e‐learning", "aprendizagem distribuída", "aprendizagem on‐line", "aprendizagem baseada na web" e "ensino a distância" (Wentling et al., 2000). Segundo o Centro Nacional de Estatística para  a  Educação  (National  Center  for  Education  Statistics)  do  Departamento  da Educação  nos  EUA  (US Department  of  Education),  90%  das  instituições  públicas   2‐ years  e  89%  das  4‐years  ofereceram  cursos  de  educação  a  distância  em  2000‐2001 com matrículas no montante de, respetivamente, 1.472.000 e 945.000 de um total de 

3.077.000 matrículas. Dessas escolas, 90% ofereceram  cursos  via  Internet, usando  a instrução assíncrona baseada em computador, e 88% indicaram planos para iniciar ou aumentar a utilização da Internet como principal meio de entrega de instrução (Waits &  Lewis,  2003).  Estas  estatísticas  confirmam  a  ideia  de  que  a  educação  a  distância baseada na Internet é a tecnologia mais prevalecente no e‐learning e de que a Internet causou  mudanças  drásticas  na  educação  em  geral  e  no  ensino  a  distância  em particular.  Como  consequência,  a utilização de  tecnologias da  Internet para  fornecer  formação tem sido anunciada como a "revolução do e‐learning ”  (Galagan, 2000). E‐learning é, essencialmente,  a  transferência  de  habilidades  e  conhecimentos  através  da  rede,  e refere‐se  ao  uso  de  aplicações  e  processos  eletrónicos  para  a  aprendizagem. Aplicações  e  processos  em  E‐learning  incluem aprendizagem  baseada  na  Web, aprendizagem baseada em computador, salas de aula virtuais e colaboração digital. O conteúdo é entregue através da Internet,  intranet/extranet, áudio ou vídeo, televisão por satélite e CD‐ROM.  E‐learning  é  o  preferido  por  uma  variedade  de  razões:  ele  fornece  uma  formação consistente  e,  a  nível  mundial,  reduz  o  ciclo  de  tempo  de  entrega,  aumenta  a conveniência do aluno, reduz a sobrecarga de informações, melhora o rastreamento e reduz despesas  (Welsh et all, 2003). Neste sentido, este artigo dedica‐se a discutir a questão complexa e, talvez mais importante, da avaliação da qualidade em e‐learning. Esta  última  tem  sido  tratada  por  via  do  recurso  a  uma  análise  das  vantagens  e limitações  das  principais  abordagens  introduzidas  para  avaliar  a  qualidade  do  e‐learning. Antes de mais, o que  significa  "qualidade do e‐learning"? A visão predominante  (de acordo com os resultados de um levantamento realizado por Ehlers et al., 2005) é que a qualidade é a obtenção de melhores resultados na aprendizagem (50%), juntamente com algo que é excelente no desempenho  (19%). Esta compreensão essencialmente pedagógica  foi  mais  difundida  do  que  opções  relacionadas  com  a  melhor  relação custo‐benefício  ou  de marketing.  Além  disso,  devemos  ter  em  consideração  que  " qualidade em e‐learning" tem uma dupla importância na Europa. Em primeiro lugar, e‐learning  está  associado  em  vários  documentos  de  reflexão  e  de  planos  com  um aumento na qualidade das oportunidades educacionais, garantindo uma bem‐sucedida adaptação à sociedade da informação. Esse contexto é chamado de 'qualidade através do e‐learning'. Em segundo lugar, há um debate separado, mas associado, sobre como melhorar  a  qualidade  do  e‐learning  em  si  e,  neste  caso,  o  contexto  é  chamado  de "qualidade para o e‐learning" (Ehlers et al., 2005).      2. A qualidade para o e‐learning   De  acordo  com  Pawlowski  (2003),  a  qualidade  no campo  do  e‐learning  não  está associada  a  uma medida  bem  definida.  É  variável  no  que  diz  respeito  ao  âmbito,  à perspetiva,  à  dimensão.  Apesar  deste  problema,  a  avaliação  da  qualidade  está  a tornar‐se  uma  questão  de  importância  crescente,  como  mostrou  o  interesse  da ISO/IEC19796‐1:  2005  e  do  Observatório  Europeu  da  Qualidade  (OEQ).  A ISO/IEC19796‐1:2005  é  um  enquadramento  para  descrever,  comparar,  analisar  e implementar  uma  gestão  da  qualidade  e  abordagens  de  garantia  de  qualidade.  Vai 

servir  para  comparar  as  diferentes  abordagens  existentes  e  para  as  harmonizar  de forma  a  convergirem  para  um  modelo  comum  de  qualidade.  A  sua  principal componente é o Quadro de Referência para a Descrição de Abordagens de Qualidade (QRDAQ). Consiste nos  seguintes  itens: um esquema de descrição para a gestão da qualidade; um modelo  do  processo  definindo  os  processos  básicos  a  serem  considerados  na gestão da qualidade no domínio da aprendizagem, educação e  formação  suportadas pelas  TIC,  e  uma  declaração  de  conformidade  para  o  formato  da  descrição.  A ISO/IEC19796‐1  descreve  os  processos  como  um  ciclo  de  vida  do  e‐learning.  É  um modelo  referenciado com um alto nível de abstração, que deve ser adaptado a uma dada organização. O modelo será utilizado como um enquadramento para a descrição, comparação  e  análise  das  abordagens  de  processos  orientados  para  a  qualidade (Hirata, 2006). Consiste essencialmente em duas partes:      • Um esquema de descrição para abordagens da qualidade.     • Um modelo de processo como classificação de referência.   O  Modelo  de  Descrição  é  um  esquema  para  descrever  interoperativamente abordagens de qualidade (tais como linhas orientadoras, guias de design, requisitos) e documenta  todos  os  conceitos  de  qualidade  de  forma  transparente.  O Modelo  do Processo  é  um  guia  dos  diferentes  processos  de  desenvolvimento  de  cenários  de aprendizagem e inclui os processos relevantes dentro do ciclo de vida dos sistemas de informação e comunicação para a aprendizagem, educação e formação. O Modelo do Processo  é  dividido  em  sete  partes.  Os  subprocessos  estão  incluídos  fazendo referência a uma classificação de processos. Em relação ao grupo de trabalho sobre a qualidade, está atualmente baseado em três subtarefas subsequentes, desenvolvendo mais ferramentas e suporte:   Parte 2: O "Modelo de Qualidade" harmonizará os aspetos dos sistemas de qualidade e as suas relações, e fornecerá orientação para todos os intervenientes. Não vai impor uma  implementação particular mas, ao  invés,  focar‐se‐á nos  seus efeitos. O modelo será extensível aos requisitos de determinadas comunidades.   Parte  3:  As  "  Referências  de Métodos  e Métricas"  harmonizarão  os  formatos  para descrever os métodos e as medidas para a gestão e garantia da qualidade. Fornecerá uma coleção de métodos de  referência que poderá ser usada para gerir e garantir a qualidade em diferentes contextos. Além disso, essa parte fornecerá uma coleção de medidas e indicadores de referência que poderá ser usada para medir a qualidade em processos, produtos, componentes e serviços.   Parte  4:  As  "Boas  Práticas  e  o  Guia  de  Implementação"  fornecerão  critérios harmonizados para a  identificação das melhores práticas,  linhas orientadoras para a adaptação,  implementação  e  uso  deste  padrão,  e  conterá  um  rico  conjunto  de exemplos de boas práticas.   Em relação ao OEQ, tem que ser definido e aplicado um enquadramento comparável e adaptável  visando  estruturar  abordagens  da  qualidade  para  um  mercado  comum 

Europeu  e  global  para  produtos  e  serviços  educacionais.  O  repositório  do  OEQ  é baseado nesta abordagem e conceito. O objetivo principal é fornecer uma plataforma detalhada  para  que  desenvolvedores,  gestores,  administradores,  decisores  e  alunos encontrem  uma  abordagem  de  qualidade  adequada  às  suas  necessidades.  O  OEQ fornece  um  enquadramento  conceptual  para  a  descrição  e  a  harmonização  das abordagens de qualidade. Ou seja, sugere um enquadramento de referência como um padrão  de  qualidade  Europeu.  O  projeto  está  diretamente  ligado  aos  grupos  de padronização do CEN/ISSS (Workshop de Tecnologias de Aprendizagem) e ISO/IEC JTC1 SC36, com o objetivo de transferir resultados das comissões de padronização para os utilizadores e vice‐versa. Assim, disponibiliza um repositório baseado na Internet para a gestão da qualidade, garantia de qualidade e abordagens da avaliação da qualidade no  campo  do  e‐learning.  Além  disso,  fornece  recomendações  para  a  utilização  da gestão da qualidade, garantia de qualidade e abordagens de avaliação da qualidade para  diferentes  grupos‐alvo  (p.  ex.  utilizadores  finais,  administradores  de  HE, desenvolvedores) e para  fins específicos  (p. ex. melhoria de processos, transparência de  produtos,  objetivos  de  domínio  específico,  necessidades  nacionais  /  regionais  / locais). O  projeto  do OEQ  espera  que  as  seguintes  linhas  orientadoras  possam  dar forma à qualidade do e‐learning em 2010:  (a)  os  alunos  devem  desempenhar  um  papel  na  determinação  da  qualidade  dos serviços de e‐learning;  (b) a Europa deve desenvolver uma cultura de qualidade na educação e na formação;   (c)  a  qualidade  deve  desempenhar  um  papel  central  na  política  de  educação  e formação;   (d) a qualidade não deve ser do domínio exclusivo das grandes organizações;   (e)  devem  ser  estabelecidas  estruturas  de  suporte  para  fornecer  assistência competente e orientada para o desenvolvimento da qualidade das organizações;   (f)  os  padrões  de  qualidade  abertos  devem  ser mais  desenvolvidos  e  amplamente implementados;   (g)  a  investigação  interdisciplinar  da  qualidade  deve  estabelecer‐se  no  futuro  como uma disciplina académica independente;   (h) a investigação e a prática devem desenvolver novos métodos de intercâmbio;   (i)  o  desenvolvimento  da  qualidade  deve  ser  concebido  em  conjunto  por  todos  os envolvidos;   (j)  devem  ser  desenvolvidos  modelos  de  negócio  adequados  para  os  serviços  no domínio da qualidade.   

Como é possível  verificar a partir das breves descrições das duas abordagens acima apresentadas,  ambas  tentam  incluir  todos  os  aspetos  a  ter  em  consideração  na avaliação  da  qualidade  do  e‐learning.  O  problema  destes  enquadramentos,  no entanto,  decorre  da  sua  generalidade.  Ou  seja,  eles  pressupõem  a  ocorrência  de processos onde  faltam  indicações concretas. Por outro  lado, cada uma delas  requer, para estar corretamente concebida ou controlada, um profundo conhecimento teórico e experimental em domínios como a psicologia, ciência da informação, engenharia de software e sociologia. Não apenas esse conhecimento não está atualmente disponível, como  também  será  difícil  torná‐lo  acessível mesmo  num  futuro  próximo.  Portanto, essas  abordagens  soam  como  listas  de  recomendações  genéricas,  cuja  aplicação concreta é deixada apenas à fantasia (e não à ciência) de alguns designers.     3. Fatores de qualidade do e‐learning   Outras  abordagens  estão  a  tentar  desenvolver  os  seus  próprios  critérios, mas  eles estão a ser usados a nível nacional, regional,  local (Wirth, 2005) ou consistem apenas em modelos como os descritos a seguir. O Modelo de Sucesso do E‐learning  (Holsapple e Lee‐Post, 2006) é uma descrição de um  processo  dedicado  a  medir  e  avaliar  o  sucesso.  Sucesso  em  e‐learning  é definido como uma construção multifacetada a ser avaliada em três fases sucessivas: a conceção do sistema, o sistema de entrega e os resultados do sistema. Conforme se pode ver na Figura 1, na primeira etapa, o objetivo é alcançar o sucesso da conceção do sistema, maximizando as três dimensões da qualidade: qualidade do sistema, qualidade da informação e qualidade de serviço. A segunda etapa é atingir o sucesso do sistema de entrega, maximizando a utilização e as dimensões de satisfação do usuário. A meta final visa o alcançar do resultado do sistema com sucesso através da maximização  da  dimensão  dos  benefícios  líquidos. Cada  dimensão  de  sucesso  é medida como uma única medida numérica, agregando as avaliações de seu conjunto de fatores de atribuição obtidos através de instrumentos de pesquisa. O  sucesso  global  de  e‐learning  pode  então  ser  avaliado para  cada  dimensão.  Uma baixa pontuação para qualquer dimensão de sucesso indica uma deficiência nessa área e os esforços podem ser gastos em concordância a fim de remediar a dita deficiência. O modelo  acima  descrito  sugere  que  um  fator  crítico  de  sucesso  no  e‐learning  é  a 

disponibilidade on‐line dos alunos. A seleção de alunos para cursos on‐line é baseada 

na  avaliação  das  respostas  com  referência  a  quatro  medidas  de  preparação: 

preparação  académica,  competência  técnica,  estilo  de  vida  adequado  e  com 

preferência  para  uma  aprendizagem  para  o  e‐learning.  O  aluno  capacitado  para 

estudar online é caraterizado por um elevado nível em todas as quatro competências. 

A capacidade dos alunos de estudarem online tem um impacto decisivo no sucesso do 

desempenho no curso e satisfação em e‐learning. 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Fig. 1. Modelo de sucesso do E‐learning   Ao  contrário do modelo  apresentado na  Figura 2 que  assume que os  resultados do curso  são  um  resultado  direto  da motivação  para  aprender  (Klein  et  al.,  2006). A motivação  para  aprender  é  um  fator  determinante  das  escolhas  que  os  indivíduos fazem  para  interagir,  participar  e  persistir  em  atividades  de  aprendizagem.  Ela  é influenciada  por  caraterísticas  do  aluno,  características  de  instrução  e  barreiras percebidas e que possibilitam (barreiras percebidas e que possibilitam são eventos ou condições  ambientais  que  se  acreditam  existir  ou  ser  encontradas  e  pensadas  para impedir ou facilitar o progresso). As perceções das barreiras e de  incapacitadores são por si  influenciadas pelo aprendente e pelas características instrucionais. 

Conceção do sistema 

Sistema de entrega

Resultados do sistema 

Qualidade do sistema

1. Fácil utilização 

2. Amigável 

3. Estável 

4. Seguro  

5. Rápido 

6. Recetivo 

Qualidade da 

informação 

1. Bem organizada 

2. Bem apresentada 

3. Do tamanho certo 

4. Escrita de forma 

clara 

5. Útil 

6. Atualizada 

Qualidade do serviço

1.Imediato 

2. Recetivo 

3. Justo 

4. Conhecedor 

5. Disponível 

Utilização

1. PowerPoints 

2. Áudio 

3. Script 

4. Fóruns de discussão  

5. Estudos de caso 

6. Problemas de 

prática 

7. Tutoriais de 

qualidade 

8. Tarefas 

9. Exame de prática 

Satisfação do 

Utilizador 

1. Satisfação Global 

2. Experiência 

agradável 

3. Sucesso Total 

4. Recomenda a outros 

Benefícios líquidos

Aspectos Positivos 

1. Melhorar a 

aprendizagem 

2. Poderes 

3. Economia do tempo 

4. Sucesso académico 

 

Aspectos Negativos 

1. Falta de Contato 

2. Isolamento 

3. Problema de 

Qualidade 

4. Dependência de 

tecnologia 

   Fig. 2. O modelo conceitual de Klein et al. (2006)  Este  modelo  destaca  o  papel  central  da  motivação  do  aluno  para  aprender  e  da perceção de características quer sejam barreiras ou facilitadores: melhorar a perceção dos  facilitadores  dos  estagiários  e  dar  resposta  às  preocupações  sobre  potenciais barreiras são estratégias  importantes para aumentar a motivação para aprender que, por sua vez,  facilita o caminho para  resultados positivos. Segundo Klein et al.  (2006) uma melhor  compreensão  do  impacto  que  o  uso  da  tecnologia  tem  na  eficácia  do ensino  requer  a  análise  dos mecanismos  que  podem  dar  conta  das  diferenças  na aprendizagem,  tais  como  a motivação  para  aprender,  bem  como  efeitos  diretos  da tecnologia na aprendizagem. Uma perspetiva um pouco diferente foi adotada por Lim et al. (2007), que identificam cinco  dimensões  que  afetam a  eficácia  da  formação  on‐line:  a motivação  e  a  auto eficácia do formando, o conteúdo do ensino, o nível de comunicação entre formador e formando,  o  ambiente  organizacional  e  a  facilidade  de  uso  dos  recursos  on‐line  do Website. Quanto  a esta última dimensão, uma estratégia específica pode  garantir  a facilidade de uso: Aprendizagem centrada no aluno (LCD). Uma  abordagem  LCD  baseia‐se  no  conhecimento  dos  utilizadores  e  suas  diferentes características:  como  é  que os  alunos preferem  aprender,  como  é que  eles  estão  a aprender a informação, a que pressões estão os alunos sujeitos no seu dia‐a‐dia, qual a sua motivação ou  incentivo para  se empenharem na aprendizagem on‐line, quais os constrangimentos que enfrentam, que necessidades especiais  têm, em que medidas eles  se  sentem  confortáveis  com  as  aplicações  on‐line  usadas,  que  experiência  têm eles com e‐learning (Miller 2005). Conhecer o perfil dos alunos é a melhor maneira de criar projetos úteis, estilos e tons, mas,  quando  se  ensina  on‐line,  existem  algumas  preocupações  de  design,  que representam  outros  potenciais  benefícios  da  planificação.  Estas  preocupações começam a partir de uma etapa comum: a seleção de uma técnica de entrega ou da combinação de técnicas a fim de definir, a priori, um design de interface de utilizador. A conceção da interface do curso é extremamente  importante  (Jones, 1994), porque 

tem um impacto positivo ou negativo sobre o desempenho do utilizador (Tselios et all , 2001). Então, é desejável usar fontes de visualização amigáveis e cores seguras para a web, a fim  de  criar  um  padrão  consistente  e  proporcionar  tempos  rápidos  de  download  e ajudar os utilizadores,  fornecendo páginas para  impressão.  Segundo Norman  (1998) a interface deve ser  interativa e fornecer também feedback, ter objetivos específicos, motivar, dar uma sensação contínua de desafio, oferecer as ferramentas apropriadas, evitar  qualquer  fator  de  irritação  que  possa  interromper  o  fluxo  de  aprendizagem. LCD deve ter em conta que os alunos são sensíveis à legibilidade do texto no ecrã. Por isso a formatação e espaçamento do texto, bem como as cores, são importantes. Além disso,  um  aspeto  comum  ajuda  os  utilizadores  a  distinguir  as  páginas  do  curso  de páginas externas hiperligadas. As pessoas não gostam de estudar os textos no ecrã e também não querem ir mais longe do que três cliques a partir da página principal, por isso  é  necessário  ter  uma  barra  de  navegação  sempre  disponível.  Os  alunos  estão sempre em busca de algo novo dentro da web. Por  isso, é  importante atualizar com frequência, conteúdo e notícias e  também dar uma  indicação direta do que é novo, logo que possível (Van Rennes et al., 1998).     Conclusão   O  e‐learning  tem  vindo  a  progredir  desde  a  utilização  básica  das  Tecnologias  da Informação  e  da  Comunicação  no  domínio  da  aprendizagem  para  novas  formas  de educação e formação que enfatizam a criatividade e a colaboração, bem como novas habilidades  para  a  sociedade  do  conhecimento. Esta,  por  sua  vez,  requer  uma mudança  significativa  de  perspetiva,  longe  de  um  enfoque  na  tecnologia, conectividade e Internet, para uma maior consideração do contexto da aprendizagem e da necessidade de colaboração, comunicação e inovação. No entanto, esta mudança requer uma quantidade de conhecimentos até então não totalmente disponíveis. Este é o motivo para a dificuldade na avaliação da qualidade do e‐learning. Ou seja, por um lado, temos quadros muito interessantes, tais como os de ISO/IEC19796‐1: 2005, e do EQO, mas que consistem essencialmente numa  lista de  sugestões e prescrições  sem indicações para uma  implementação em termos práticos. Por outro  lado, temos uma série  de  modelos,  como  os  esboçados  na  secção  anterior,  cada  um  associado  a indicações concretas, mas diferentes uns dos outros no que diz respeito às hipóteses de  base  e  aos  contextos  de  aplicação. Neste  sentido,  a  qualidade  do  e‐learning permanece uma questão em aberto, e ainda precisamos de um e‐learning que garanta as melhores práticas que  justifiquem que um curso seja eficiente para o aluno e para os demais atores envolvidos.  Mas tal garantia, contudo, não se pode somente basear na  prática.  Precisamos,  nesta  perspectiva,  de  novas  investigações  científicas  e  de pesquisas ad hoc que envolvam especialistas em educação, equipas e designers de e‐learning.       

Bibliografia   Ehlers U.D., Goertz  L., Hildebrandt  B.,  Pawlowski  J.M.  (2005). Quality  in  e‐learning. Cedefop  Panorama series;  116.  Luxembourg: Office  for Official  Publications  of  the European Communities, 2005.  URL: http://www2.trainingvillage.gr/etv/publication/download/panorama/5162_en.pdf .    Galagan,  P.A.  (2000).  The  e‐learning  revolution.  Training & Development,  v54  n12 p24‐30 Dec 2000.    Hirata K. (2006).   Information model for quality management methods in e‐learning. Proceedings  of  the Sixth  International  Conference  on  Advanced  Learning Technologies (ICALT'06). URL: http://csdl2.computer.org/comp/proceedings/icalt/2006/2632/00/263201147.pdf     Holsapple  C.W.,  Lee‐Post  A.  (2006).   Defining,  Assessing,  and  Promoting  E‐learning Success: An Information Systems Perspective. Decision Sciences Journal of Innovative Education Vol. 4 Number 1 January 2006.    Jones M.G.  (1994).   Visuals  information  access:  a  new  philosophy  for  screen  and interface  design.  In Imagery  and  visual  literacy:  selected  readings  from  annual conference  of  the  international  visual  literacy association,  Tempe,  October  12‐16, 264‐272.    Klein H.J., Noe R.A., Wang C.  (2006). Motivation  to  learn and course outcomes:  the impact  of  delivery mode,  learning  goal  orientation  and  perceived  barriers  and enables. Personnel Psychology 59, 665–702.    Koper  E.R.J.  (2001). Modelling Units  of  Study  from  a  Pedagogical  Perspective:  the pedagogical meta model behind  EML.  URL:  http://eml.ou.nl/introduction/docs/ped‐metamodel.pdf .    Lim  H.,  Lee  S.G.,_,  Nam  K.  (2007).   Validating  E‐learning  factors  affecting  training effectiveness. International Journal of Information Management 27 (2007) 22–35.    Miller M.J. (2005). Usability in E‐learning.  URL:http://www.learningcircuits.org/2005/jan2005/miller.htm.    Norman D. (1998). The invisibile computer. Cambridge MA, MIT Press.    Pawlowski J.M. (2003).   The European quality observatory (EQO): structuring quality approaches for e‐learning. Proceedings of the 3rdIEEE International Conference mon Advances Learning Technologies (ICALT’03).     

Tselios N. K., Avouris N. M., Dimitracopoulou A., Daskalaki  S.  (2001).  “Evaluation of Distance‐learning Environments:  Impact  of  Usability  on  Student  Performance”. International Journal of Educational Telecommunications, Vol. 7, No. 4, pp.355–378.    Van  Rennes  L.,  Collis  B.  (1998).  User  interface  design  for  WWW‐based   courses: Building upon student evaluations. ED428731.    Waits,  T.,&Lewis,  L.  (2003).  Distance  education  at  degree‐granting  postsecondary institutions:  2000–2001, NCES  2003‐017.Washington,  DC:  National  Center  for Education Statistics, U.S. Department of Education.    Welsh E.T., Wanberg C.R., Brown K.G., Simmering M.J.  (2003).   E‐learning: emerging uses,  empirical results  and  future  direction.  International  Journal  of  Training  and Development 7:4.     Wentling T.L., Waight C., Gallaher J., La Fleur J., Wang C., Kanfer A. (2000). E‐learning ‐ A Review of Literature. URL: http://learning.ncsa.uiuc.edu/papers/elearnlit.pd.    Wirth  M.A.  (2005).  Quality  Management  in  E‐learning:  Different  Paths,  Similar Pursuits.  2nd  International SCIL  Congress.  URL:  http://www.scil.ch/congress‐2005/programme‐10‐11/docs/workshop‐1‐wirth‐text.pdf .