* Telecentros para todos
* apresentação * deficiências * educação * trabalho * telecentros * software
Navegação
Indicadores para avaliação de websites
Texto de Clorisval Pereira Jr e Rodolfo Capeto da Rede Nacional de Ensino e Pesquisa
RESUMO
Diversos fatores influenciam a usabilidade de websites. Planejamento e gestão da informação, modelos de navegação e orientação no sistema, prevenção de erros, consistência e flexibilidade, aspectos visuais e estéticos, aspectos tecnológicos, são alguns desses fatores que devem ser observados para garantir a funcionalidade, usabilidade e eficiência de um website. Sendo a Web um veículo ainda em consolidação, é comum encontrar nela projetos que dispõem de grandes investimentos técnicos, humanos e financeiros, mas falham de alguma forma no processo de interação com o usuário.
Este trabalho apresenta indicadores que podem ser usados para avaliar e identificar problemas em diferentes aspectos do projeto de um website, servindo como um instrumento de diretrizes e checklist, auxiliando e complementando avaliações de usabilidade em websites.
INTRODUÇÃO
Indicadores e listas de verificação de diretrizes e critérios para projetos de interface de software são um instrumento prático e de baixo custo para auxiliar avaliações de usabilidade em sistemas computacionais.
Para o desenvolvimento de uma lista de indicadores para avaliação de websites, este trabalho considerou três importantes instrumentos criados para verificação de aspectos de usabilidade em interfaces de software, a saber: o QUIS, Questionnaire for User Interaction Satisfaction, do Laboratory for Automation Psychology, da Universidade de Maryland; o ErgoList, um checklist ergonômico desenvolvido pelo LabiUtil, Laboratório de Usabilidade em conjunto com o Núcleo Softex de Florianópolis, SC; e o WAMMI, Website Analysis and Measurement Inventory, um serviço de avaliação de websites desenvolvido pela Nomos Management AB.
O QUIS e o ErgoList foram desenvolvidos para avaliação de interfaces de software em geral e consideram diversos aspectos ergonômicos do processo interativo. Para o nosso caso, observamos a necessidade de um modelo de avaliação que considerasse aspectos mais específicos e característicos de interfaces de software desenvolvidas para a Web.
O WAMMI é um serviço comercial desenvolvido especificamente para avaliação de websites que permite avaliar a usabilidade de um site a partir de um questionário que é respondido pelos usuários do site. Nielsen (2000) observa que métodos de engenharia de usabilidade contribuem substancialmente em projetos de interface de software desde que sejam realmente usados durante o ciclo de desenvolvimento do projeto, e propõe uma abordagem de baixo custo para realização de inspeções de usabilidade a partir da condução de avaliações heurísticas, que podem ser desenvolvidas por avaliadores especialistas, sem demandar grandes investimentos em tecnologias ou amostragem de usuários.
A partir de lista original de heurísticas (conjunto de regras e métodos) de usabilidade desenvolvidas por Molich e Nielsen (1994), Nielsen (1998) passa a propor um conjunto revisado de 10 heurísticas básicas que podem cobrir os principais problemas de usabilidade em interfaces de software. Este conjunto de heurísticas também foi discutido e revisado por Instone (1997). Uma apresentação detalhada das heurísticas de usabilidade feita pela professora do Instituto de Computação da UNICAMP, Heloísa Vieira da Rocha, está disponível na URL http://www.ic.unicamp.br/~heloisa/mc750/HEURIS/sld006.htm
A partir dos modelos do QUIS, do ErgoList, e do WAMMI, e considerando o modelo de avaliação heurística de Nielsen, este trabalho propõe uma lista de indicadores para avaliação específica de websites considerando aspectos em 11 categorias.
Diferentemente do WAMMI, que coleta os dados a partir de respostas dos usuários, o modelo proposto nesse trabalho pode ser usado como um instrumento de verificação e checklist por um especialista participando do ciclo de desenvolvimento do projeto.
Também foram considerados aspectos relacionados a acessibilidade e conformidade técnica a partir das recomendações do W3C, World Wide Web Consortium, o consórcio responsável pela especificação e manutenção dos padrões internacionais da Web.
Categorias dos indicadores de avaliação
1. Tratamento da informação
Esta categoria avalia como a informação e o conteúdo do site são gerenciados, considerando aspectos como adequação ao perfil da instituição, clareza, relevância e organização.
Questões a serem verificadas:
- as informações disponíveis são adequadas às necessidades do perfil da instituição?
- é possível perceber de forma global a abrangência de conteúdo do site?
- a informação é fornecida em níveis progressivamente mais detalhados, de acordo com a necessidade?
- as informações disponíveis estão atualizadas?
- o site está bem indexado pelos principais engenhos de busca?
2. Compatibilidade do sistema com o contexto e linguagem do usuário
Esta categoria trata do uso de linguagem, sua adequação com o perfil do usuário do site, com o contexto de uso e considerando o bom uso das normas gramaticais da língua.
Questões a serem verificadas:
- os termos usados no site para descrever funções, páginas, seções, vínculos, indicam de forma clara o que eles representam?
- a linguagem utilizada é adequada ao tipo de usuário do site?
- o uso de abreviações é evitado e siglas, símbolos técnicos, unidades de medida são usados de forma padronizada e correta?
- as informações seguem o correto uso de tempos verbais e da gramática do idioma?
3. Reconhecimento e orientação no sistema
Esta categoria avalia o potencial que tem o usuário de navegar no site de maneira eficiente, mantendo o reconhecimento de identificação e hierarquias da informação.
Questões a serem verificadas:
- as páginas possuem títulos de identificação tanto nas barras de janela como na área de conteúdo?
- a estrutura de organização hierárquica das informações do site é de fácil aprendizado e memorização?
- é fácil navegar entre as diferentes seções do site a partir de qualquer página?
- o site fornece identificação da instituição e referências para contato em todas as páginas?
4. Visibilidade do sistema
Esta categoria avalia se o sistema é transparente quanto ao uso de funcionalidades e quanto ao gerenciamento de documentos e arquivos.
Questões a serem verificadas:
- são apresentadas informações de versão e data de atualização tanto para as próprias páginas do site como para os documentos e arquivos disponíveis no site?
- arquivos em formato não HTML e outros documentos disponíveis para download apresentam informação de tipo, formato e tamanho em bytes?
- vínculos para páginas ou aplicativos externos e para acionamento de plug-ins são identificados?
- vínculos e elementos de navegação mostram claramente seu estado (ativo, inativo, visitado)?
5. Consistência e padrões
Esta categoria avalia se o sistema mantém coerência entre as páginas e quanto à forma de apresentação das informações.
Questões a serem verificadas:
- a disposição e localização dos diferentes elementos de interface (cabeçalhos, rodapés, áreas de navegação) são mantidas de forma consistente em todas as páginas do site?
- os formatos de apresentação de informações, estilos de fontes, cores, etc. são usados de forma consistente e padronizada em todo o site?
- há consistência entre títulos dos vínculos, os títulos das páginas vinculadas e o conteúdo acessado?
6. Aspectos visuais, estética, legibilidade e design
Esta categoria avalia a qualidade formal do site e o planejamento visual do arranjo das informações.
Questões a serem verificadas:
- o aspecto visual do site é atraente e adequado ao perfil da instituição?
- os elementos de informação são dispostos nas páginas de forma organizada e racional?
- existe boa distinção visual entre os diferentes elementos de interface, elementos de navegação, elementos de conteúdo?
- são usadas variações de hierarquia tipográfica para distinguir diferentes partes do texto, de forma clara e organizada?
7. Flexibilidade e eficiência
Esta categoria avalia a flexibilidade do uso do site e a eficiência dos processos de interação.
Questões a serem verificadas:
- o site permite atingir conteúdo de interesse com um mínimo de clicks?
- o site é projetado de forma a permitir acesso rápido a informações mesmo em conexões lentas, minimizando o tempo de download das páginas?
- o site permite fazer o ‘bookmark’ das páginas de interesse para consulta futura, garantindo também a manutenção da referência ao longo do tempo?
- o site é projetado de forma a permanecer acessível independentemente de tipos e versões de hardware ou software?
- as páginas do site imprimem sem perder formatação?
8. Controle e liberdade do usuário
Esta categoria avalia se o usuário está sempre consciente de todos os processos envolvidos na interação com o site.
Questões a serem verificadas:
- o usuário pode controlar o processo de navegação de forma conveniente e de acordo com sua necessidade ou interesse?
- funcionalidades ou aplicações externas são executadas sempre a partir da iniciativa ou com o consentimento do usuário?
9. Prevenção de erros e recuperação
Esta categoria avalia se o site administra a ocorrência de erros com eficiência.
Questões a serem verificadas:
- o site é projetado de forma a minimizar a ocorrência de erros?
- na ocorrência de um erro é fornecida uma solução, uma opção de contato técnico ou uma forma de retomar a navegação?
- o texto das mensagens de erro é significativo e identifica o tipo de problema ocorrido?
10. Suporte ao usuário
Esta categoria avalia a qualidade do suporte ao usuário quanto à sua interação com o site.
Questões a serem verificadas:
- são fornecidas referências para contato com a instituição ou com a equipe de manutenção do site?
- as páginas do site apresentam suporte ao esclarecimento de dúvidas?
- o site oferece suporte à busca e recuperação de informações?
11. Conformidade técnica
Esta categoria indica a conformidade do site com padrões e diretrizes de acessibilidade, validação de código e métodos de manutenção.
Questões a serem verificadas:
- o código HTML do site é válido em conformidade com uma das especificações definidas pelo W3C?
- o site fornece aos engenhos de busca palavras-chave e descrição apropriadas aos objetivos e atividades da instituição?
- o site faz bom uso do HTML, dando preferência à marcação estrutural, independente da apresentação?
- o código HTML é adequadamente documentado para melhor manutenção?
Aplicação do método de avaliação
Esta lista de indicadores foi aplicada em uma avaliação do website da Rede Nacional de Pesquisa. Para proceder à avaliação, foram selecionados 5 avaliadores em diferentes setores da instituição: Operações, Informações, Administração, Capacitação, Design. Desta forma buscou-se diferentes perfis de avaliadores para garantir diferentes focos de observação sobre os problemas. Cada questão a ser avaliada recebeu uma pontuação de 0 a 4. Para cada categoria, foram considerados o somatório total de pontos e o número de pontos para extrair o percentual de pontuação de cada categoria. Exemplo de uma avaliação de categoria:
1. tratamento da informação
- as informações disponíveis atendem as necessidades do perfil da instituição?
Apesar de poder melhorar, o trabalho de informações está bem feito. Talvez
pudesse ter mais informações sobre o uso do backbone e os artigos técnicos
mereciam um apuro melhor no tratamento e indexação. - é possível perceber de forma global a abrangência de conteúdo do site?
O site permite uma boa relação entre visão global e visão local. Talvez um
mapa do site bem completo devesse ser explorado com funcionalidade de busca. - o detalhamento da informação é fornecido de acordo com a necessidade?
O site oferece um bom benefício de conteúdo mas os nodos hipertextuais e informações relativas a tópicos de interesse local poderiam ser melhor explorados.
- as informações disponíveis são atuais?
O site tem um bom trabalho de atualização, quase nota máxima, mas as notícias poderiam estar um pouco mais adiante no tempo em vez de correndo atrás do prejuízo. De vez em quando, uma informação desatualizada passa em branco. Poderiam ser estudados controles automáticos de versões e atualizações.
- o site está bem indexado junto aos principais engenhos de busca?
Ele possui boa indexação em alguns, mas vale a pena uma revisão desse aspecto.
pontuação total: 20 - pontuação obtida: 15
porcentagem obtida: 75%
Índices de pontuação:
acima de 96%: ótimo superior
de 91% a 95%: ótimo
de 81% a 90%: bom superior
de 71% a 80%: bom
de 61% a 70%: regular superior
de 51% a 60%: regular
de 41% a 50%: regular inferior
de 31% a 40%: ruim
de 21% a 30%: ruim inferior
de 11% a 20%: péssimo
de 0% a 10%: péssimo inferior
Discussão
Os indicadores apresentados neste trabalho permitiram realizar, com baixo custo, uma avaliação dos principais problemas de funcionalidade e usabilidade no website da Rede Nacional de Pesquisa. Estes indicadores ajudam a observar problemas específicos que podem ocorrer no desenvolvimento de websites e que não se aplicam a outros tipos de interfaces de sistemas computacionais.
Para aplicação desta avaliação, observamos que cada avaliador precisa ter conhecimentos mínimos sobre os critérios sendo avaliados. Em alguns casos, uma pequena preparação a partir de reuniões e discussões sobre os tópicos a serem observados pode ajudar a esclarecer algum ponto da lista de indicadores que não seja de familiaridade do avaliador.
Esta avaliação demanda algumas horas de trabalho de cada avaliador, mas proceder-se a esta avaliação especializada pode trazer bons resultados para o desenvolvimento do projeto, e ela se mostra menos dispendiosa do que trabalhar com uma grande amostra de usuários ou com laboratórios de usabilidade. No entanto, vale ressaltar que esta avaliação pode ser usada de forma complementar a outros testes de usabilidade. O resultado geral obtido a partir destes indicadores pode apontar para avaliações e testes mais específicos a serem desenvolvidos.
Texto apresentado no III workshop sobre Fatores Humanos em Sistemas e Computação, em outubro de 2000, por
Clorisval Pereira Jr.
PUC-Rio/Rede Nacional de Pesquisa
Estrada Dona Castorina, 110
(22460-320) Rio de Janeiro, RJ, Brasil
+ 55 (21) 274-7445 (e 239-2436 FAX)
cjunior@nc-rj.rnp.br
e
Rodolfo Capeto
ESDI-UERJ/Rede Nacional de Pesquisa
Estrada Dona Castorina, 110
(22460-320) Rio de Janeiro, RJ, Brasil
+ 55 (21) 274-7445 (e 239-2436 FAX)
rcapeto@nc-rj.rnp.br
REFERÊNCIAS
Organizações:
LabUtil: Laboratório de Utilizabilidade. INE-CTC-UFSC. http://www.labiutil.inf.ufsc.br/
useit.com: Jakob Nielsen’s Website. http://www.useit.com/
W3C: World Wide Web Consortium. http://www.w3.org/
Modelos de avaliação de interface de software:
ErgoList. LabUtil: Laboratório de Utilizabilidade. INE-CTC-
UFSC. http://www.labiutil.inf.ufsc.br/
QUIS, Questionnaire for User Interaction Satisfaction.
Laboratory for Automation Psychology, University of Maryland; http://www.lap.umd.edu/QUISFolder/; citado por Schneiderman, Ben.
Designing the User Interface. Addison Wesley, Reading, Massachusetts (1998)
WAMMI, Web Analysis and MeasureMent Inventory. Nomos Management AB. Sweden.
http://www.wammi.com/
Publicações:
Instone, Keith. (1997) Usability Heuristics for the Web.
http://webreview.com/97/10/10/usability/sidebar.html (em janeiro, 2000)
Nielsen, Jakob. (1994 e 1998) Heuristic evaluation. Em Nielsen, J and Mack, R (eds.) Usability Inspection Methods. New York: John Wiley & Sons, Inc.
http://www.useit.com/papers/heuristic/
Nielsen, Jakob. (2000) Designing Web Usability. Indiana: New Riders Publishing.