avaliação de usabilidade do portal da transparência do brasil

21/06/2016 Revista ESPACIOS | Vol. 37 (Nº 17) Año 2016

http://www.revistaespacios.com/a16v37n17/16371706.html 1/16

Espacios. Vol. 37 (Nº 17) Año 2016. Pág. 6

Avaliação de usabilidade do portal datransparência do BrasilUsability Assessment of Brazilian Transparency PortalIvânia Ramos dos SANTOS 1; Dalila G. Pagnoncelli LAPERUTA 2; Roger Poglia da LUZ 3; Sérgio LuizRibas PESSA 4; Fernando José Avancini SCHENATTO 5; Seis 6

Recibido: 22/02/16 • Aprobado: 23/03/2016

Conteúdo1. Introdução2 Metodologia de pesquisa3 Referencial teórico4 Análise e discussão dos resultados5 Considerações finaisReferências

RESUMO:Para o desenvolvimento de um software dequalidade é fundamental alinhálo àscaracterísticas físicas, cognitivas e culturais deseus usuários, adequação que se torna maiscomplexa em portais governamentais, cujosusuários possuem diferentes características.Este trabalho apresenta uma avaliaçãoergonômica associada à usabilidade, baseada nos18 critérios de Scapin e Bastien, do Portal daTransparência do Brasil. Encontrouse 66% deconformidade geral, 16% de adequação parcial e18% de desconformidades, cujos resultadosforam analisados sob as recomendações da NBRISO 9241151:2011. A partir dessa análise,sugeriuse mudanças a fim de melhorar aapresentação, navegação, leitura e compreensãodas informações disponibilizadas. Palavraschave: Ergonomia, Avaliação desoftware, Usabilidade, Heurística.

ABSTRACT:For the development of a quality software isessential align it to physical, cognitive andcultural aspects of its members, adequacy thatbecomes more complex in government portals,whose users have different characteristics. Thispaper presents an ergonomic assessmentassociated with usability, based on 18 Scapin'sand Bastien criteria, applied in BrazilianTransparency Portal. It was found 66% ofoverall compliance, 16% partial adequacy and18% of nonconformities, whose results wereanalyzed on the recommendations of ISO 9241151: 2011. From this analysis, it has beensuggested changes to improve the presentation,navigation, reading and understanding of theinformation provided. Keywords: Ergonomics, Software Evaluation,Usability, Heuristic.

1. IntroduçãoAs instituições públicas, atualmente, buscam apresentar alternativas de transparência em relaçãoa seus processos, por exigência da população e também da legislação, oportunizando a consultaa dados relevantes. Uma das leis que se destacam no cenário nacional, considerada inovadora,por estar relacionada a ambientes virtuais, é a Lei Complementar 131 (LC 131), de 27 de maiode 2009, que alterou a redação da Lei Complementar 101, denominada Lei de ResponsabilidadeFiscal (LRF), que busca o controle de gastos da União, estados, Distrito Federal e municípios. ALC 131 exige a transparência da gestão fiscal, inovando ao determinar a disponibilização, emtempo real, de informações orçamentárias e financeiras (PORTAL DA TRANSPARÊNCIA,2015).



Todos os órgãos públicos, segundo a lei LC 131, devem disponibilizar em um portal (Portal daTransparência), detalhes de despesas (atos vinculados a despesas, número do correspondenteprocesso, podendo ser relacionados ao bem fornecido ou ao serviço prestado, à pessoa física oujurídica e, quando for o caso, procedimento licitatório) e receitas (recebimento de toda a receitadas unidades gestoras, inclusive referente a recursos extraordinários) (PORTAL DATRANSPARÊNCIA, 2015).A expectativa está em a sociedade acompanhar e fiscalizar a correta aplicação dos recursospúblicos, fomentando a importância de ações como essas, que contam com a participação socialno combate à corrupção, pois todas as informações devem estar disponíveis para toda asociedade, sem nenhuma restrição de acesso ou exigência de senhas (CONTROLADORIAGERAL – DF, 2015).Os órgãos públicos ainda estão se adaptando à legislação, embora seja uma exigência. Mesmoassim, é comum perceber certa dificuldade da população no entendimento das informações e naconsulta dos dados, considerados por ela relevantes, situação que aumenta o desafio de garantirque o portal seja acessível e usual a toda a população.Diante dessas dificuldades, o trabalho proposto teve como principal objetivo avaliar ausabilidade do módulo "Consultas por Função Orçamentária" do site Portal da Transparência doGoverno Federal brasileiro, acessível em www.portaltransparencia.gov.br, que tem como objetivopermitir ao usuário selecionar a função (área) ou subfunção (finalidade), associada adeterminado exercício, que retornará um relatório dos recursos executados pelo governo federal,em âmbito nacional, de acordo com os filtros selecionados. A avaliação foi apoiada pelos 18critérios ergonômicos de Scapin e Bastien (1993) onde, aplicaramse critérios compatíveis comas funções do módulo, resultando em um laudo final que apresenta observações dos autoressobre os pontos mais relevantes da avaliação.

2. Metodologia de pesquisaPor contribuir para geração de conhecimento, além de se basear em delimitações de baseteórica, descrever um fenômeno, explorar profundamente o tema e o ambiente – o novo módulode Consultas do Portal da Transparência – através da análise de como ele se manifesta e dosfatores com que ele se relaciona, este trabalho é classificado como descritivoexploratório(POLIT; HUNGLER, 1995), haja visto que é fundamentado na revisão de literatura, buscandoesclarecer conceitos teóricos e contribuições de pesquisas já realizadas (GIL, 2010).A pesquisa também é caracterizada como aplicada, uma vez que procura solucionar problemaspráticos (GIL, 2002), contribuindo com o conhecimento científico pois, segundo Marconi eLakatos (2006), o que distingue o senso comum do conhecimento científico é a forma, o método e osinstrumentos do "conhecer". A avaliação da qualidade ergonômica da interface do novo módulo de consulta do PortalTransparência foi fundamentada numa técnica analítica de inspeção ergonômica via checklist(SOUZA, 2003), baseado nos critérios ergonômicos de Scapin e Bastien (1993), associados àNBR ISO 9241151.O checklist se trata, basicamente, de uma planilha eletrônica composta por mais de cemquestões, distribuídas entre os critérios ergonômicos. Utilizase a ferramenta para avaliação daergonomia de interfaces homemcomputador, acompanhada de um glossário para esclareceracerca de termos técnicos. Na presente investigação, a sua aplicação foi realizada por umaequipe de três especialistas, dois da área de ergonomia de software e um da área de ergonomia egestão pública.Cada pergunta faz referência a uma característica específica da interface (textos, cores,disposição, conteúdo), cuja resposta é selecionada dentre quatro alternativas: sim, parcialmente,não e não se aplica.O instrumento aplicado, chamado ErgoList, é um serviço disponibilizado via internet, compostode uma base de conhecimento em ergonomia, que inspeciona, através do checklist, interfaceshomemcomputador. Nesse ambiente, os especialistas avaliaram a interface usando o modelo

http://www.portaltransparencia.gov.br/



disponibilizado pelo LabIUtil, cuja base de questões é bastante completa, cobrindo váriosaspectos da usabilidade e experiência de especialistas com conhecimento em ergonomia(ERGOLIST, 2008).Os avaliadores responderam ao checklist durante o uso/observação da interface objeto doestudo, emitindose um laudo com a quantidade de conformidades, conformidades parciais enão conformidades, calculandose, na sequência, o percentual baseado no total de respostas,descontado o total de questões não aplicáveis ao módulo.Quanto à aplicação técnica, conforme Gil (2010), esta pesquisa representa uma observaçãosistemática (estruturada), pois é realizada em condições controladas, a fim de responder apropósitos prédefinidos – no caso, a avaliação ergonômica de interface web – através deinstrumentos objetivos, como é o caso da lista de verificação Ergolist.

3. Referencial teórico3.1 Portal da TransparênciaO Portal da Transparência do Governo Federal, ferramenta tecnológica de transparência pública,é uma iniciativa da ControladoriaGeral da União (CGU), lançada em novembro de 2004, nointuito de assegurar a boa e correta aplicação dos recursos públicos. Tem como principalobjetivo alargar a clareza da gestão pública, de maneira a permitir que o cidadão, públicoalvoinicial dessa ferramenta, sem a necessidade de senhas ou de qualquer tipo de identificação,acompanhe como e onde o dinheiro está sendo utilizado, auxiliando, com base em informações,no controle das ações dos governantes e no combate à corrupção (PORTAL DATRANSPARÊNCIA, 2015).A respeito do contexto inicial do Portal, Freire (2014) afirma que a proposta desse instrumentofrente às demais formas de divulgação das informações governamentais, apresenta comobenefícios fundamentais a condensação de dados sobre projetos e ações do governo em umúnico local, operacionalizada através da publicação dessas informações na internet e; aacomodação dos subsídios técnicos em uma linguagem de fácil compreensão pela população.Segundo Neves (2013), é possível perceber que o intento do Portal se expandiu, indo além davisão única sobre o dinheiro público, adotando como novo objetivo o emprego de recursos públicos, isto é, mais a frente das informações a respeito de receitas e despesas, o website agorainforma sobre imóveis funcionais, quadro de servidores, pessoas e organizações impedidas defazerem contratos com a administração pública e outras operações, que servem como diretrizespara que os gestores apliquem eficaz, eficiente e efetivamente o dinheiro público, uma vez que,acessível a qualquer pessoa, esse instrumento aparece como aliado no controle e prestação decontas, que é indispensável na eventual responsabilização daqueles que cometemirregularidades.Essa expansão das finalidades do portal, em conjunto com a possibilidade de acesso por parteda população, vai de encontro com Castells (2003), quando alega que em vez de o governovigiar a população, as pessoas sim poderiam estar cuidando o seu governo, zelando pelatransparência e excelência na utilização dos recursos públicos, uma vez que é de fato um direitodelas, haja vista que, teoricamente, o povo é soberano.O Portal da Transparência também possui como usuários os gestores públicos, sobretudoaqueles das esferas municipal e estadual, os quais são responsáveis por implementar as políticasdescentralizadas. Com a possibilidade de acompanhar cronogramas de liberações etransferências de recursos para seus Estados ou Municípios, tais gestores usufruem de umamelhor ciência acerca de tais verbas, podendo inclusive monitorar essas concessões (FREIRE,2014).3.1.1 O surgimento do Portal LC 101/2000, LC 131/09 e Decreto 5.482/05A origem do Portal da Transparência do Governo Federal remonta à Lei Complementar nº 101,de 4 de maio de 2000, conhecida como Lei de Responsabilidade Fiscal (LRF), que surgiu no



intuito de impor o controle dos gastos da União, estados, Distrito Federal e municípios, condicionado à capacidade de arrecadação de tributos desses entespolíticos (PORTAL DA TRANSPARÊNCIA, 2015).A LRF também promoveu a transparência dos gastos públicos. A lei obriga queas finanças sejam apresentadas detalhadamente aos Tribunais de Contas a que estão sujeitas.Tais órgãos podem aprovar as contas ou não e, em caso de serem rejeitadas, é instauradainvestigação em relação ao Poder Executivo em questão, podendo resultar em multas ou aindano impedimento de disputar novas eleições.Outra lei que se destaca no cenário nacional por ser considerada inovadora e estar relacionada aambientes virtuais, que ampara a criação do Portal da Transparência, é a Lei Complementar131, de 27 de maio de 2009, também conhecida como Lei Capiberibe, que altera a redação daLei de Responsabilidade Fiscal no que diz respeito à transparência da gestão fiscal,determinando a disponibilização, em tempo real, de informações pormenorizadas sobre aexecução orçamentária e financeira dos organismos de todas as esferas (NAZÁRIO et al.,2010).De acordo com a LC 131, devem ser divulgadas informações referentes às despesas: todos osatos praticados pelas unidades gestoras no decorrer da execução das despesas e; receitas:lançamento e o recebimento de todas as receitas das unidades gestoras, inclusive referente arecursos extraordinários.Em sequência ao lançamento do Portal, no ano de 2004, realizado com um número reduzido deconsultas em relação ao que é disponibilizado atualmente, foi criado o Decreto nº 5.482, em 30de junho de 2005, que normatizou e oficializou o website. Estabeleceu também que a CGUestaria incumbida pela gestão do Portal, além da necessidade de que cada órgão criasse a sua própria Página de Transparência, na qual seriam detalhados gastos da instituição(BRASIL, 2005).O Portal visa ser consultado por toda a população brasileira, o que caracteriza uma diversidadede características em seus usuários, sendo imprescindível a preocupação com a usabilidade, afim de que todos que acessarem realizem as tarefas esperadas com sucesso e sem dificuldades.3.1.2 O módulo de consultas por função orçamentáriaEm nove de dezembro de 2014, o portal da transparência disponibilizou um novo módulo deConsulta por Função Orçamentária, acessível através de sua página principal, na aba"Despesas". Segundo o manual do portal (2015), a nova consulta permite ao cidadão, ver osrepasses federais por Função (Área) e Subfunção (Finalidade) (PORTAL TRANSPARÊNCIA,2015).Este módulo traz os valores referentes aos exercícios de 2013 em diante, tornando público nasconsultas o valor total dos recursos executados pelo governo federal em âmbito nacional, alémde todos os subitens (funções ou subfunções) que compõem a soma, e seus respectivos totais. Orelatório possui um nível de detalhamento, onde apresenta os valores da função, se a consultafor por subfunção, e da subfunção, se a consulta for por função orçamentária.Através da nova modalidade de pesquisa, qualquer cidadão pode ter acesso, por exemplo, aovalor gasto com a função (área) de educação no ano (exercício) de 2015, conforme Figura 1.

http://pt.wikipedia.org/wiki/Tributos



Figura 1 – Resultado de consulta no módulo avaliado do Portal da transparência, que retorna os valores referentes aos gastos com educação do governo brasileiro no ano de 2015.

3.2 UsabilidadeNos anos 80 foi dada maior ênfase a estudos de fatores humanos em layouts de softwares, sendoadotadas disciplinas específicas na ciência da computação, onde em 1988, a IEEE ComputerScience e ACM (Association for Computing Machinery), incluiu como uma de suas subáreas aInteração HumanoComputador (IHC) (SIGCHI, 1992), que toma espaço e se tornapreocupação de outras áreas, como a governamental, que passa a tomar ações de melhoria dedesign de softwares públicos, que devem ter como principal foco o uso humano e a influênciado meio externo (SIGCHI, 1992).O desafio de um sistema público está em atender diversificados usuários, que já possuemcomumente frustrações diárias de rotinas automatizadas por sistemas de informações, que nãorefletem suas reais necessidades (PRESSMAN, 1995) e não se preocupam com a interatividadee os fatores que a influenciam.Em 1960, Licklider inicia estudos sobre interatividade, analisando a relação HumanoComputador. A problemática da interatividade não é criar computadores produtores derespostas, mas computadores que sejam capazes de antecipar e participar na formulação deperguntas (LICKLIDER,1960) e com Clark, em 1962, cria uma lista com 10 sugestões de apoioa deficiências de interatividade, onde os cinco primeiros deveriam ser resolvidos em imediato, osexto em um tempo intermediário e os quatro últimos em prazo mais longínquo (LICKLIDER eCLARK,1962): 1. Partilhar o tempo de utilização dos computadores entre muitos utilizadores;2. Desenvolver processo onde entradasaída para a comunicação seja possível através de dadossimbólicos e gráficos. 3. Acontecer interações no processo em tempo real; 4. Armazenamento



permita rápida recuperação de dados; 5. Facilidade na cooperação entre pessoas no design eprogramação; 6. Reconhecimento por parte dos computadores da voz, da escrita manualimpressa e na introdução de dados; 7. Compreensão da linguagem natural, sintática e semântica;8. Reconhecimento da voz de vários utilizadores pelo computador; 9. Descobrimento,desenvolvimento e simplificação de uma teoria de algoritmos; e 10. Programação heurísticaatravés de princípios gerais.Essas teorias foram evoluídas e, em 1991, Hansen lança o livro "User Engineering Principiesfor Interactive Systems", onde é priorizado o fator de usabilidade, que defende a necessidade depreocupação em Minimizar a memorização, substituindo a entrada de dados pela seleção deitens, prevendo ações do usuário, associando a otimização de operações através da rápidaexecução, verificando a consistência da interface e organizando e reorganizando a estrutura dainformação. Outra preocupação é em relação a erros, permitindo desfazer ações e garantindo aintegridade do sistema em relação a software ou hardware (HANSEN, 1991).Apesar de os conceitos sobre interatividade já terem sido propostos há algum tempo, percebeseaté hoje certa dificuldade com relação à implementação de sites web usáveis. A preocupaçãocom o usuário deve ser um fator primordial de tomada de decisões na construção de interfaceseficientes e eficazes.Um sistema de qualidade está diretamente relacionado à usabilidade, ou seja, ele devepreocuparse com seus usuários específicos para alcançar seus objetivos (ISO 924111),associando suas funções à facilidade de uso (SHACKEL, 1993), diálogo entre interface eusuário (SCAPIN, 1993). Vale ressaltar que a usabilidade não está associada à singularidade, ouapenas à relação interface com usuário, mas à facilidade de aprendizado, à eficiência nautilização e recordação, ao baixo índice de erros e à satisfação na utilização (NIELSEN, 2000;PÁDUA, 2000).Com a popularidade do mercado de websites, onde a interpretação e o uso são disponibilizadossem distinções, a usabilidade se tornou uma necessidade, que ganhou espaço e importância nomercado privado e público, sendo tão importante quanto nos sistemas computacionais(NIELSEN, 2000), mas que não deve ser uma preocupação apenas depois do softwaredesenvolvido, pois se a usabilidade for aplicada em todo o processo de desenvolvimento,aumentase a possibilidade de garantia de adequação ao usuário final (BRINCK, 2002).Nielsen e Tahir (2002) defendem a necessidade de aplicar ações que possibilitem trazerresultados e serem aplicados no processo de desenvolvimento, já Wroblewski (2002) sugere,por exemplo, a utilização de frames, identificação de links e o próprio tamanho da página, sendofundamental abranger casos específicos da organização e suas tarefas, que segundo Krug(2001), devem ser constantemente testadas, garantindo que as páginas da internet sejam claras eautoexplicativas.Holmes (2002) associa um site usual, a aquele que é utilizado de forma efetiva pelo usuário,porém, o desafio está em não oferecer aos usuários experiência com a usabilidade do produtoapenas depois de concluído o software (NIELSEN, 2000) e sim proporcionar a ele, antes dosoftware finalizado, saber exatamente suas funções. Memória (2006) defende a importância deentender o contexto de negócio, principalmente quando sites são reestruturados, sendofundamental coletar de maneira correta os dados, identificando possíveis picos de visitas, asprincipais páginas, além da principal, que são acessadas, identificar características dos usuáriose suas principais buscas, diferenças no número de visitas após redesenho e a análise daconcorrência.3.2.1 Avaliação Ergonômica da InterfaceSegundo Oliveira (2012), desde os primórdios as interfaces são utilizadas, mesmo queinconscientemente, para gravar e transmitir informações, buscando facilidade e atração. Nabusca de garantir a qualidade de interface e do sucesso de utilização do usuário, são várias astécnicas utilizadas para avaliação da interação homemcomputador, focadas em identificar ecomprovar deficiências de interfaces, sendo fundamental a aplicação a partir de critériosergonômicos que busquem medir a usabilidade e identificar causas do problema na interface(CYBIS; BETIOL; FAUST, 2007), como apresenta os capítulos que seguem.3.2.2 As cinco etapas da NBR ISO 9241151



A Organização Internacional para Padronização, popularmente conhecida como ISO, é umaorganização independente formada por 163 países, que formulam especificações de classemundial para produtos, serviços e sistemas, para garantir a qualidade, segurança e eficiência. AISO 9241151:2008 fornece orientações sobre o design centrado no ser humano para interfacesweb, com o objetivo de aumentar a usabilidade, com foco nos aspectos de: decisões de design de alto nível e estratégia de design; design de conteúdo; navegação e depesquisa e apresentação do conteúdo (ISO, 2015). Por ser um site do governo brasileiro,utilizouse a norma brasileira de usabilidade web, a ABNT NBR ISO 9241151:2011, quedefine usabilidade e explica como identificar a informação necessária a ser considerada naespecificação ou avaliação de usabilidade de um dispositivo de interação visual em termos demedidas de desempenho e satisfação do usuário. A orientação orienta a descrição do contextode uso do produto (hardware, software ou serviços) e as medidas relevantes de usabilidade deuma maneira explícita, em forma de princípios e técnicas gerais, em vez da forma de requisitospara usar métodos específicos. Essa regulamentação foi elaborada com foco nosdesenvolvedores, fornecedores, projetistas, avaliadores e compradores de conteúdo/software,sendo idêntica, em conteúdo técnico, estrutura e redação, à ISO 9241151:2008, cujo texto édividido em cinco grandes áreas de recomendações (Quadro 1) para criar um softwareergonômico e de qualidade. Essa norma estabelece diversas recomendações que visam garantiruma interface agradável, funcional e acessível aos diversos públicos, sendo que muitos dessesaspectos também são avaliados pelos critérios ergonômicos de Scapin e Bastien. Ocomplemento da norma em relação aos critérios é a concepção do processo de avaliaçãoergonômica desde o início do projeto, contribuindo para que uma interface web seja pensada,especificada e construída orientada ao usuário, aumentando a usabilidade e a ergonomia dossistemas. Apesar de esta norma oferecer as orientações gerais para interfaces da internet, comoapresentado no Quadro 1, existem diversas normas específicas que regulamentam cadacomponente e característica do layout, como os defendidos por Scapin e Bastien (1993), quandoem 1990, Dominique Scapin realizou um estudo visando organizar osconhecimentos sobre ergonomia de interfaces homemcomputador, de modo a tornálosdisponíveis a todos os interessados, visando facilitar a recuperação de conhecimentoergonômico.

Quadro 1: Fases NBR ISO 9241151:2008. Fonte: NBR, 2015.

Área Escopo Recomendações

1ª Área Decisões de Projeto deAlto Nível

Definição de Objetivos; Propósito do website; Identificação de usuários; Dispositivos de acesso; Priorização de tarefas de desenvolvimento;

Acessibilidade; Identificação de clientes; Metas de design. Objetos de conteúdo e funcionalidade, como texto ou animação, devem serindependentes em conteúdo, permitindo internacionalização e mobilidade; Vídeos podem ser utilizados quando necessário, com visibilidade planejada eassociados à uma descrição, também permitindo controle do usuário (pausar ouparar).

Opções de contato, feedback e políticas de privacidade devem estar disponíveis; Conteúdo adaptado ao usuário, recursos de personalização e observação docomportamento.

2ª Área Projeto de Conteúdo Definição de estrutura de navegação, baseada no modelo mental do usuário. Determinar conteúdo cujo modelo seja organizado, prático e completo no seu



escopo; Conteúdo flexível e de fácil manutenção; Oportunidade ao usuário de feedback a política de privacidade.

Deve ser possível busca e navegação, através de layout, auto descritivo,estruturado, organizado, garantindo que tarefas vão requerer esforço mínimo dosusuários; Considerar o comportamento de usuários; Dar preferência a estruturas mais largas do que profundas. Disponibilizar links relacionados e mapa do site. Mostrar link para a página principal em todas as demais páginas.

3ª Área Navegação e Busca Definições de Mudança de estado de rotinas, ou seja, necessidade de alteração nainformação apresentada, representa a navegação; Definição de Layouts orientado aos objetivos, navegação heurística oumapeamento mental. A navegação em diferentes páginas, com instruções, indicações de posição,controles de "voltar" e "corrigir", e feedback de informação. Páginas principais com informação suficiente para compreensão do conteúdo edestaques. O conteúdo deve ser acessível através de mecanismos de busca simples ouavançado, disponível em todas as páginas e com tolerância a erros de digitação;

Os resultados da busca, devem ser organizados por relevância, exibindoinformações de número de resultados por página, quando necessário.

4ª Fase Orientações sobre aapresentação do conteúdo.

Considerar os princípios de percepção humana; Esquema de layout consistente. Minimizar rolagem vertical e evitar rolagem horizontal. Usar, preferencialmente, não mais do que cinco cores, mantendo contraste entre oprimeiro plano e o de fundo. Se preocupar com acessibilidade, como, daltonismo.

Texto compreensível. Utilizar técnicas apropriadas ao contexto, como, governamental, buscandoapresentar uma identidade visual própria, mantida em todas as páginas, como ologotipo. Espaços em branco, para preenchimento, devem conter somente cor diferenciadae tamanho adequado. Os links precisam ser facilmente reconhecidos pelos usuários, com rótulosobjetivos, separados visualmente em quantidade, diferenciados dos botões edestacando os já acessados. Quando permitir o carregamento de arquivo ou execução de um comando, deve serexibida informação diferenciada.

Objetos de interação (caixa de seleção, radio button, checkbox) devem sercompatíveis com o tipo/tamanho/formato da informação esperada e com claraidentificação. Textos legíveis, claros, em trechos curtos, com idioma identificado, permitindo aousuário configurar.

5ª Área Aspectos gerais do projeto Atender diversas culturas e idiomas, permitindo que as unidades de medida,temperatura, data e hora, números de telefone, endereços ou códigos postais,possam ser utilizados por uma audiência internacional. Informações de ajuda e sessões de perguntas frequentes são consideradas boas



práticas; Interface tolerantes a erros, minimizando a incidência ou facilitando a correção; Fornecimento de mensagens claras (trazer motivos e soluções).

Páginas devem estar de acordo com as expectativas de usuários. Apresentar um tempo de download aceitável; Funcional em diferentes navegadores. Ser robusto (funcionar em diferentes tecnologias e versões); Oferecer independência do dispositivo de entrada (teclado, voz...). Quandoobjetos externos são incorporados, é importante que satisfaçam os mesmos quesitosde usabilidade e ergonomia da interface incorporada.

O conjunto de critérios atual foi definido em 1993 por Dominique Scapin e Christian Bastien eapresentada um total de oito critérios principais, sendo que alguns deles se dividem emsubcritérios, que por sua vez se dividem em critérios elementares. Sendo os critérios principais:Condução, Carga de Trabalho, Controle Explícito, Adaptabilidade, Gestão de Erros,Consistência, Significado dos Códigos e Compatibilidade (ERGOLIST, 2015). Os 18 critérioselementares, aos quais estão associados os checklists do ErgoList, adotados pelos pesquisadores,são: Presteza, Agrupamento por Localização, Agrupamento por Formato, Feedback,Legibilidade, Concisão, Ações Mínimas, Densidade Informacional, Ações Explícitas, Controledo Usuário, Flexibilidade, Experiência do Usuário, Proteção contra erros, Mensagens de Erro,Consistência, Significados e Compatibilidade (ERGOLIST, 2015), como apresentados noQuadro 2.Os critérios defendidos por Scapin e Bastien (1993) buscam facilitar a interação entre usuário einterface, reduzindo a carga de trabalho, sem impacto da adaptação e compreensão, refletindo oambiente real dos usuários.

Quadro 2: Critérios Ergonômicos. Fonte: Elaborado a partir LabUtil (2015) e Scapin e Bastien (1993).

Critério Subcritérios

Condução

Busca conduzirusuários iniciantes,facilitando ainteração com olayout.

Presteza Indução ao usuário em suas ações,disponibilizando informaçõesnecessárias para a execução desuas ações, sendo fundamentalnão haver dúvidas.

Agrupamento/distinção Possibilitar intuitividade rápidaaos usuários, organizar interfacelógica e de localização,associando ao contexto real. Esseitem é subdividido em Agrup/Distpor Localização e por Formato.

Feedback Apresentar resposta imediata àsações dos usuários, com feedbackinstantâneo, mesmo parainiciantes, oferecendo ao usuárioretornos e clara noção sobre oprocesso.

Legibilidade Apresentar informações legíveis,preocupandose comacessibilidade a um grupo deusuários específicos.

http://www.labiutil.inf.ufsc.br/CriteriosErgonomicos/LabIUtil2003-Crit/120agrup_A.html#Agrup121



Carga de Trabalho

Redução dasatividadesrepetitivas,interpretaçõesredundantes.

Brevidade Diminuir atividades que obriguemo usuário a tomar decisões queexijam elevada capacidadecognitiva e motora, ou seja,quanto menos entradas, menorserá a probabilidade de erro etempo de leitura. A intuição e oaprendizado auxiliam o usuário adiminuir a carga de trabalho. Itemcomposto por Concisão e AçõesMínimas.

Densidade Informacional Usuários não devem memorizardados e rotinas complexas, sendofornecido apenas os dadosrealmente relevantes econdizendo com suas rotinasreais. Consultas devem seracessíveis, quando necessário.

Controle Explicito

Principalmente emextensa sequência deações é fundamentalo usuário terautonomia sobre oprocesso. Direito dousuário em controlaro diálogo.

Ações Explicitas O processamento do sistema deveser resultado de ações do usuário,e o mesmo não pode ter dúvidassobre as ações a serem realizadas.

Controle do Usuário O usuário deve ter total domínio,prevendo as próximas ações dosoftware, possibilitando a elecancelar, retornar ou prosseguir.

Adaptabilidade

Os usuários possuemcaracterísticaspróprias. Éfundamental que osistema satisfaça atodos. Devesebuscar layouts que seadaptem a cada tipode usuário.

Flexibilidade Devem ser oferecidas váriasformas de ser realizada a mesmatarefa, como, menus, teclas deatalho ou comando de voz,possibilitando ao usuário adaptaro ambiente a sua necessidade.

Experiência de Usuário A diferença do nível deexperiência do usuário, porém, osistema deve ser usual tanto paraexperientes quando parainexperientes.

Gestão de Erro

Deve ser criada umaestrutura paraevitar/reduzi erros,favorecendo

Proteção contra erros Identificar e prevenir entradas dedados que possam ocasionar erro,como, apresentar mensagem deconfirmação de conclusão deprocesso, rótulo de campos,máscara na entrada de dados,permitir ao usuário a correçãoapós um erro identificado,verificar erros de digitação,agrupar atalhos.

http://www.labiutil.inf.ufsc.br/CriteriosErgonomicos/LabIUtil2003-Crit/211concis_A.html



correções rápidas. Qualidade em mensagens Quando identificado erro, ousuário deve ser informado não sóda inconsistência, mas quais ospassos para resolvêla.

Correções de Erros O sistema deve oferecer aosusuários, alternativas confortáveise ágeis de correção, assegurando asolução do problema.

Homogeneidade Os componentes devem ser identificados pelo contexto, padronizando os objetos, por formato enomes, por exemplo. A homogeneidade facilita o uso e impede a rejeição, também mantem aestabilidade gráfica, garantindo ao usuário ações previsíveis.

Significado dosCódigos e

Denominações

Os códigos e denominações devem respeitar a realidade dos usuários, sendo distintos dos demaiscódigos. As abreviações e contrações devem permitir o entendimento do usuário.

Compatibilidade O layout deve respeitar características psicológicas do usuário e ser organizado conformeexpectativas ou costumes do usuário.

Após a avaliação do módulo através do Ergolist, os resultados serão expostos e confrontados oureforçados com as recomendações presentes na norma de ergonomia para interfaces web.

4. Análise e discussão dos resultadosA tabela 1 apresenta os resultados objetivos após a aplicação do checklist (Ergolist) pelosespecialistas. No critério Condução, foram identificadas 52 conformidades, 13 conformidadesparciais e 11 nãoconformidades, compondo um percentual de 67% de adequação. Dentre ossubcritérios, observouse que o item mais crítico se refere ao Feedback Imediato, uma vez quenão há clareza no retorno a página principal (ausência do botão voltar), mesmo sendo possível avisualização e navegação do fluxo de retorno. Tanto no carregamento de páginas, como naabertura do manual de navegação, não é oferecido o andamento e nem o status do processo deconclusão, apenas o percentual de carregamento no caso de impressões e, em nenhuma situaçãoa mensagem de sucesso ou fracasso do processo é mostrada.

CRITÉRIO%

CONFORMESUBCRITÉRIO Conforme Parcial

Nãoconforme

CONDUÇÃO 67%

Presteza 67% 20% 13%

Agrupamento porlocalização 91% 9% 0%

Agrupamento porformato 56% 25% 19%

Feedback imediato 42% 8% 50%

Legibilidade 82% 18% 0%

CARGA DETRABALHO

64%

Concisão 75% 13% 13%

Ações mínimas 50% 0% 50%

Densidade



informacional 67% 33% 0%

CONTROLEEXPLÍCITO

54%Ações explícitas 75% 25% 0%

Controle do usuário 33% 0% 67%

ADAPTABILIDADE 20%Flexibilidade 0% 0% 100%

Experiência do usuário 20% 20% 60%

GESTÃO DE ERRO 63%

Proteção contra erro 50% 0% 50%

Mensagem de erro 75% 0% 25%

Correção de erro N/a N/a N/a

HOMOGENEIDADE 71% Consistência 71% 14% 14%

SIGNIFICADOS 50% Significados 50% 38% 13%

COMPATIBILIDADE 91% Compatibilidade 91% 9% 0%

PERCENTUAL DE CONFORMIDADE 66% 16% 18%

Tabela 1: Resultado do Checklist em percentual de conformidade por critério e subcritério.

Ainda sobre Condução, quando há itens selecionados na tela principal, as caixas de seleção nãoapresentam realce; não há alteração do cursor durante as diferentes ações do usuário, o quedificulta a identificação da mudança de ação possível. Entre os subcritérios que se destacam poratender maior índice de conformidade estão Agrupamento por Localização e Legibilidade, vistoque na avaliação não foram identificadas desconformidades.Em relação à Carga de Trabalho, o maior índice de conformidade foi alcançado pelo subcritérioConcisão, com um percentual de 75%. Já o subcritério Ações Mínimas atende somente 50% dorecomendado, demonstrando carência de controles e atalhos que agilizam e facilitam anavegação pelo módulo. A avaliação, e também as boas práticas de desenvolvimento, sugeremadicionar foco no primeiro campo da tela, a fim de orientar o usuário por onde começar oprocedimento. No portal, observouse que não há foco nos campos de entrada, tendo em vistaque o módulo avaliado possui subáreas de escolha do usuário, onde cada uma delas possuicampos específicos (painéis) e nenhum estava com realce.Outro ponto negativo da Carga de Trabalho pode ser observado na navegação entre campos pelasequência de tabulações, onde não há uma sequência lógica nem destaque visual em todos eles.Constatouse também não haver um padrão entre o nome dos itens de navegação e o textoinformativo exibido no canto inferior esquerdo da tela, que apresenta o ambiente de localizaçãodo usuário.Referente às Ações Mínimas dos usuários, a estrutura de menus é reduzida em termos de níveis,conforme recomendações contidas na literatura; porém, não é adequada em termos deagrupamento, como por exemplo, o posicionamento distante entre os menus de Ajuda ePerguntas Frequentes.Os critérios referentes a Controles Explícitos não foram aplicáveis por não haver diálogosexplícitos no módulo avaliado.No critério Adaptabilidade, em relação à flexibilidade, o sistema não oferece possibilidade depersonalização das telas e diálogos, nem personaliza valores definidos por padrão (default). Quanto à Experiência do Usuário, o portal não considera os diferentes níveis de conhecimentodo seu públicoalvo – o que poderia resultar numa interface personalizada aos usuáriosiniciantes e outra aos mais experientes – e nem considera os diferentes perfis de usuário. Outrofator relevante é a presença excessiva de termos técnicos, o que dificulta a compreensão da



interface e função por parte da população em geral.A Proteção Contra Erros não apresentou elevados índices negativos, pois as aplicações doscritérios se deram apenas nos campos do módulo avaliado, onde não há apresentação deprocessos passíveis de erros, havendo apenas ações de navegação, não cabendo entrada dedados informados pelo usuário. Por isso observouse um alto nível de conformidade, embora,não haja o detalhamento das mensagens de erros, o que dificulta ao usuário saber exatamentecomo resolvêlo.Um alto nível de conformidade também foi apresentado no critério Consistência, embora tenhasido observada carência na padronização de rótulos, onde alguns aparecem acima e outros aolado do campo correspondente. Apesar de as telas, janelas e caixas avaliadas apresentaremtítulos, algumas replicam a identificação de outras telas, não possuindo identificação única. Emrelação à organização em termos da localização das variáveis, observouse que são mantidasconsistentes de uma tela para outra; porém, notase, que os subtotais não são evidenciadosquando em referência a subgrupos.Quanto aos Significados, foram percebidas não conformidadesnas denominações dos títulos de telas de consulta orçamentária que exibem os resultados, ondea indicação do conteúdo está presente em uma referência do total e não no título. Algunscritérios atenderam parcialmente, como no caso das denominações de menus e vocabulário derótulos, onde, usamse termos técnicos, não familiares aos usuários, embora adequados à áreade negócio.O critério Compatibilidade não foi aplicável a muitos dos itens propostos pela metodologiaadotada, uma vez que o módulo avaliado não apresenta características compatíveis, tais comoapresentações sonoras. Porém, observouse que os significados usuais das cores não foramaplicados para informativos de erros ou outros alertas ao usuário, comumente destacados porcores.Esses resultados, quando confrontados com a norma NBR ISO 9241151:2011, sugerem que aprimeira área – Decisões de Projeto de Alto Nível – foi orientada às exigências da legislação eaos especialistas em gestão do governo, uma vez que os dados apresentados são apenas totaisgerais e os termos são de difícil compreensão. O propósito do website é permitir à populaçãofiscalizar o dinheiro público, porém, é difícil realizar essa inspeção sem detalhamento oulocalização.Por exemplo, um cidadão pode querer saber a quantia gasta pelo governo federal emDesenvolvimento Científico e, deste valor, quanto foi executado em seu estado ou cidade.Tendo em mãos o detalhamento e o contexto, os subtotais o ajudarão a perceber investimentosou solicitar maior orçamento junto aos seus representantes políticos.Outro déficit percebido em confronto a norma é a falta de recursos de acessibilidade paraportadores de necessidades visuais, fator que deveria ter sido considerado no projeto do portal.Quando acessado por dispositivos móveis (Windows phone, Android e IOs), o portal apresentoua mesma interface de navegadores tradicionais, que se auto ajusta à tela do dispositivo.Entretanto, não é uma interface desenvolvida especialmente para mobiles, sendo de difícilvisualização, principalmente nos valores dos relatórios. Também é possível notar falhas gravesno tratamento de erros quando realizadas consultas sem selecionar os campos obrigatórios. Adefinição dos dispositivos móveis de acesso, ainda na fase de projeto, poderia prever essademanda e promover as adequações necessárias, conforme recomendado pela norma deergonomia de interface.Dois aspectos ainda reforçados pela primeira área da norma e que não apresentaram adequaçãosignificativa durante a aplicação do checklist dizem respeito ao feedback e à interfacepersonalizada de acordo com o perfil do usuário.A área seguinte, apresentada pela norma, referese ao Projeto de Conteúdo, que, dentre outrassugestões, recomenda a implementação de mecanismos de busca no site, visando o esforçomínimo. Esta funcionalidade, porém, não está disponível no portal avaliado. A norma tambémressalta a importância do link para a página principal estar presente em todas as demais páginas,o que está parcialmente implementado no site, porém é de difícil identificação.



Quando consideradas a Avaliação e Busca, terceira área, a norma novamente ressalta, emconsonância com os critérios ergonômicos de Scapin e Bastien, a importância dos controlescomo "voltar" presentes nas páginas, não dependendo dos controles do navegador.Na área subsequente, a norma oferece orientações sobre a Apresentação do Conteúdo, havendodestaque negativo para a falta de contraste, de acessibilidade e no difícil reconhecimento delinks. Apesar de atender parcialmente às orientações, o portalpoderia proporcionar textos mais claros e visíveis.Em relação aos Aspectos Gerais do Projeto, quinta área, apesar de não oferecer opções deidioma para acessos internacionais, os avaliadores não consideraram ser relevante, uma vez queo públicoalvo é o brasileiro, e o portal nacional. As mensagens de erro poderiam ser maisclaras, trazendo motivos e soluções. O aspecto robustez, se atendido totalmente, possibilitaria oacesso do portal por meio de diferentes navegadores e dispositivos.

5. Considerações finaisAlém dos aspectos ergonômicos avaliados através da aplicação do checklist, é possívelidentificar outras inconsistências como, por exemplo, as cores utilizadas no ambiente,consideradas pelos autores com baixo contraste, causando fadiga visual e dificuldade dedistinção dentre as áreas.Por ser um portal de acesso público, apresenta acessibilidade visual limitada, não sendoencontrados pelos especialistas recursos de tecnologia assistiva, tais como ampliação de texto ealto contraste, conforme as recomendações contidas no Emag (Modelo de Acessibilidade emGoverno Eletrônico, versão 3.1, de 2014). Este modelo, segundo informações do portalinstitucional, tem o compromisso de ser o norteador no desenvolvimento e adaptação deconteúdos digitais do governo federal, garantindo o acesso a todos, e é uma versãoespecializada do documento internacional WCAG (Web Content Acessibility Guidelines),porém, em análise deste modelo e seus documentos relacionados (leis e decretos), reforçaramseaspectos negativos do módulo avaliado, tal qual a impossibilidade de navegar adequadamenteatravés da tecla tab (para dispensar o uso de mouse), ou ainda, o acesso sem monitor em caso decegueira.As condições identificadas ressaltam que não há uma identidade padrão nos sitesgovernamentais, uma vez que apresentam grandes diferenças de layout entre si, e também não seguem as recomendações estabelecidas pelopróprio governo em relação à acessibilidade.Ao alcançar um percentual de 66% de conformidade e 16% de conformidade parcial durante aaplicação do checklist, os avaliadores consideram que, não apenas o módulo avaliado, mas todoo portal deveria adotar as recomendações apontadas neste estudo, a fim de melhorar aergonomia da aplicação web. Apesar de ser funcional e atender ao proposto, emitindo relatóriosde despesas por função, subfunção e ano/exercício, os problemas de ergonomia e usabilidadepodem impedir que o usuário acesse ou compreenda as funções do portal, e por consequêncianão as utilize, tornando a ergonomia tão importante quanto a própria funcionalidade do sistema.Para projetos futuros, pretendese complementar o trabalho com a apresentação de soluçõesatravés de protótipos, no intuito de auxiliar no avanço ergonômico da interface e, através depesquisas a campo, verificar junto aos usuários se há melhoria na navegação.

6. ReferênciasDecreto nº 5.482, de 30 de junho de 2005. Dispõe sobre a divulgação de dados e informaçõespelos órgãos e entidades da administração pública federal, por meio da Rede Mundial deComputadores – Internet. Diário Oficial da União, Brasília, DF, 1º de julho de 2005. Disponívelem: <http://www.planalto.gov.br/ccivil_03/_Ato20042006/2005/Decreto/D5482.htm >. Acesso19 abr 2015.__________. Lei Complementar nº 101, de 4 de maio de 2000. Estabelece normas de finançaspúblicas voltadas para a responsabilidade na gestão fiscal e dá outras providências. Diário



Oficial da União, Brasília, DF, 5 de mai. de 2000. Disponível em:<http://www.planalto.gov.br/ccivil_03/leis/LCP/Lcp101.htm >. Acesso em 18 abr 2015.__________. Lei Complementar nº 131, de 27 de maio de 2009. 2009b. Acrescenta dispositivosà Lei Complementar nº101, de 4 de maio de 2000, que estabelece normas de finanças públicasvoltadas para a responsabilidade na gestão fiscal e dá outras providências, a fim de determinar adisponibilização, em tempo real, de informações pormenorizadas sobre a execuçãoorçamentária e financeira da União, dos Estados, do Distrito Federal e dos Municípios. DiárioOficial da União, Brasília, DF, 28 de mai. de 2009. Disponível em:<http://www.planalto.gov.br/ccivil_03/leis/LCP/Lcp131.htm>. Acesso em: 18 abr 2015.ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. NBR ISO/IEC 12207:2009 –Engenharia de Sistemas de Software – Processos de Ciclo de Vida de Software. Rio de Janeiro:ABNT, 2009.BASTIEN, J. M. C., & Scapin, D. L. (1993); Preliminary findings on the effectiveness ofergonomic criteria for the evaluation of humancomputer interfaces. Short paper presented atthe Conference on Human Factors in Computing Systems, INTERCHI '93, Amsterdam, TheNetherlandsBRINCK, T., GERGLE, D., WOOD, S. (2002); Usability for the web: designing web sites thatwork, San Diego, Academic Press.CASTELLS, M. (2003); A galáxia da Internet: reflexões sobre a internet, os negócios e asociedade. Trad. Maria Luiza X. de A. Borges. Rio de Janeiro: Jorge Zahar Ed.CGU – CONTROLADORIA GERAL DA UNIÃO. Portal da Transparência. Disponível em: <http://www.portaltransparencia.gov.br >, Acesso em: 18 abr. 2015.CYBIS, W., BETIOL, A. H., FAUST, R. (2007); Ergonomia e Usabilidade: conhecimentos,métodos e aplicações. São Paulo: Novatec.eMAG (2014); Modelo de Acessibilidade em Governo Eletrônico. Versão 3.1. Portal doGoverno Federal. Acesso em junho de 2015. Disponível em:http://emag.governoeletronico.gov.br/FREIRE, F. R. (2014); Desafios para a transparência pública: um estudo com os usuários doPortal da Transparência do Governo Federal. 2014. 283f. Dissertação (Mestrado em CiênciaPolítica) Instituto de Ciência Política, Universidade de Brasília. Brasília.GIL, Antonio Carlos (2002); Como elaborar projetos de pesquisa. 4.ed. São Paulo: Atlas.GIL, Antonio Carlos (2010); Como elaborar projetos de pesquisa. 5. ed. São Paulo: Atlas.HANSEN (1991). In: MANCHON, Eduardo. O que é interação pessoacomputador. 2005.Disponível em http://www.criarweb.com/artigos/472.phpISO 9241:151. International Organization for Standardization. Acessado em: abril de 2015.Disponível em: http://www.iso.org/iso/home/store/catalogue_tc/catalogue_detail.htm?csnumber=37031HOLMES, M. (2002); Web Usability & Navigation: a beginner's guide, Berkeley: McGrawHill.KRUG, Steve (2001); Não me faça pensar: uma abordagem do bom senso à navegabilidade daWeb. São Paulo: Market Books.LICKLIDER (1960). In: MANCHON, Eduardo; O que é interação pessoacomputador. 2005.Disponível em http://www.criarweb.com/artigos/472.phpLICKLIDER E CLARK (1962). In: MANCHON, Eduardo; O que é interação pessoacomputador. 2005. Disponível em http://www.criarweb.com/artigos/472.phpMARCONI, Marina de Andrade. LAKATOS, Eva Maria (2003); Fundamentos de metodologiacientífica, 5ª edição. São Paulo: Editora Atlas, p.159MEMÓRIA, Felipe (2005); Design para a Internet: Projetando a experiência perfeita.Rio deJaneiro: Elsevier.NAZÁRIO, D. C. et al. (2012); Avaliação da qualidade da informação disponibilizada no portalda transparência do governo federal. Revista Democracia Digital e Governo Eletrônico (ISSN

http://www.criarweb.com/artigos/472.php





21759391), n° 6, p. 180199.NEVES, O. (2013); Evolução das Políticas de Governo Aberto no Brasil. In: VI CongressoCONSAD, 1618 abr. 2013, Brasília, Brasil. Anais. Brasília, CONSAD.NIELSEN, Jakob (2000); Projetando websites: A prática da simplicidade. Rio de Janeiro:Campus.NIELSEN, J. & TAHIR, M. (2002); Homepage Usability: 50 Websites Deconstructed,Indianapolis: New Riders.OLIVEIRA, Tiago Gomes de (2012); Engenharia de usabilidade: critérios ergonômicos deScapin e Bastien aplicados ao software. Revista Fasem Ciências. V.2, n.2.PÁDUA, Wilson (2000); Multimídia: conceitos e aplicações. Rio de Janeiro: LTC.POLIT, D. F.; HUNGLER, B. P. (1995); Nursing research: Principles and methods. 5 th edition.Philadelphia: Lippincott.PORTAL DA TRANSPARÊNCIA. Disponível em:http://www.portaldatransparencia.gov.br/faleConosco/perguntastematransparencialeicomplementar.asp#1. Acessado em 09/04/2015.PRESSMAN, R. S. (1995); Engenharia de Software. São Paulo: Makron Books.SCAPIN, D. L. (2008); The need for PsychoEngineering Approach to HCI. In Anais do2° Congresso Brasileiro e 6°Seminário Brasileiro de Ergonomia, Florianópolis.ABERGO/FUNDACENTRO, 1993. In: BOTTENTUIT JUNIOR, Joao B.; COUTINHO, ClaraP. Análise das componentes e a usabilidade das WebQuests em língua portuguesa disponíveis naweb: um estudo exploratório JISTEM J.Inf.Syst. Technol. Manag. (Online) vol.5 no.3 SãoPaulo.SHACKEL, B. (1993); Usability: context, framework, definition and evaluation. In HumanFactors for Information Usability. Cambridge: Cambridge University Press, p. 21 37. In:BOTTENTUIT JUNIOR, Joao B.; COUTINHO, Clara P. Análise das componentes e ausabilidade das WebQuests em língua portuguesa disponíveis na web: um estudo exploratórioJISTEM J.Inf.Syst. Technol. Manag. (Online) vol.5 no.3 São Paul, 2008.SOUZA, Antônio Carlos (2003); et al. Avaliação comparativa da qualidade ergonômica dasinterfaces gráficas do Solidworks 2000 e AutoCAD 2000. ENEGEP 2003 – XXIII EncontroNacional de Engenharia de Produção, Ouro Preto – MG.WROBLEWSKI, L. (2002); SiteSeeing: a visual approach to web usability, New York: HungryMinds.

1. Mestranda do Programa de PósGraduação Stricto Sensu em Engenharia de Produção e Sistemas, UniversidadeTecnológica Federal do Paraná (UTFPR) Pato Branco – PR Brasil. [email protected] 2. Mestranda do Programa de PósGraduação Stricto Sensu em Engenharia de Produção e Sistemas, UniversidadeTecnológica Federal do Paraná (UTFPR) Pato Branco – PR Brasil. [email protected] 3. Mestrando do Programa de PósGraduação Stricto Sensu em Engenharia de Produção e Sistemas, UniversidadeTecnológica Federal do Paraná (UTFPR) Pato Branco – PR Brasil. [email protected]. Doutor em Engenharia de Produção. Professor do Programa de PósGraduação Stricto Sensu em Engenharia deProdução e Sistemas, Universidade Tecnológica Federal do Paraná (UTFPR) Pato Branco – PR Brasil. slpes[email protected]. Doutor em Engenharia de Produção. Professor do Programa de PósGraduação Stricto Sensu em Engenharia deProdução e Sistemas, Universidade Tecnológica Federal do Paraná (UTFPR) Pato Branco – PR Brasil. schenat[email protected]

Revista Espacios. ISSN 0798 1015 Vol. 37 (Nº 17) Año 2016

[Índice]

[En caso de encontrar algún error en este website favor enviar email a webmaster]

http://www.portaldatransparencia.gov.br/faleConosco/perguntas-tema-transparencia-lei-complementar.asp#1

mailto:[email protected]





http://www.revistaespacios.com/a16v37n17/in163717.html


avaliação de usabilidade do portal da transparência do brasil

Documents