Tarefa: Executar o Conjunto de Testes
Esta tarefa descreve como executar as coletas apropriadas de testes requeridas para avaliar a qualidade do produto e como capturar os resultados de testes que facilitam a avaliação em andamento do produto.
Disciplinas: Teste
Relacionamentos
Etapas
Configurar o Ambiente de Teste para o Estado Conhecido
Finalidade:  Estabelecer com exatidão o ambiente de teste em preparação para a execução do Conjunto de Testes.

Configure o ambiente de teste para assegurar que todos os componentes necessários, (hardware, software, ferramentas, dados, etc.) tenham sido estabelecidos e estejam disponíveis e prontos no ambiente de teste no estado correto para permitir que os testes sejam conduzidos. Normalmente isso envolverá alguma forma de reconfiguração básica do ambiente (por exemplo, Registro e outros arquivos de configuração), restauração de bancos de dados subjacentes para o estado necessário e a configuração de dispositivos periféricos (por exemplo, como carregar papel nas impressoras). Embora algumas tarefas possam executadas automaticamente, alguns aspectos precisam da atenção de alguém.

O uso de ferramentas de suporte do ambiente, como aquelas que permitem a captura e restauração de imagens de disco rígido, é extremamente valioso no gerenciamento eficaz desse esforço.

Configurar Opções de Ferramentas de Execução
Finalidade:  Configurar apropriadamente as ferramentas usadas na execução do Conjunto de Testes.

Definir as opções de execução das ferramentas de suporte. Dependendo do nível de sofisticação da ferramenta, várias opções podem ser usadas. A não definição apropriada dessas opções poderá reduzir a utilidade e o valor dos Logs de Teste e das outras saídas resultantes. Sempre que possível, tente armazenar essas configurações e opções de ferramenta para que elas possam ser recarregadas facilmente com base em um ou mais perfis predeterminados. No caso de ferramentas automatizadas de execução de teste, poderá haver várias configurações diferentes a serem consideradas, como a velocidade em que a execução deve ser executada.

No caso de testes manuais, muitas vezes é simplesmente uma questão de efetuar login nos sistemas de acompanhamento de problemas e de controle de mudanças ou particionar uma nova entrada exclusiva em um sistema de suporte para registrar os resultados. Você deve considerar questões como o nome, local e estado do Log de Teste em que será feita a gravação.

Planejar Conjunto de Testes de Execução
Finalidade:  Determinar a hora apropriada para iniciar a execução do teste.

Em vários casos em que é possível acompanhar a execução do teste, o Conjunto de Testes poderá ser executado relativamente sob demanda. Nesses casos, o planejamento talvez precise considerar o trabalho dos outros testadores, de outros membros da equipe, bem como das diferentes equipes de teste que compartilham o ambiente de teste. Nestes casos, a execução do teste normalmente precisará administrar as reconfigurações infreqüentes do ambiente.

No entanto, nos casos em que é desejável uma execução não assistida de testes automatizados, ou onde a execução de muitos testes feitos simultaneamente em diferentes máquinas deve ser coordenada, pode ser necessária alguma forma de mecanismo de planejamento automatizado. Use as características de sua ferramenta de execução de testes automatizados ou desenvolva suas próprias funções de utilitário para permitir a programação necessária.

Executar o Conjunto de Testes
Finalidade:  Conduzir os testes incluídos no Conjunto de Testes e monitorar sua conclusão.

A execução do Conjunto de Testes varia dependendo se o teste é conduzido automaticamente ou manualmente. Em qualquer um dos casos, os conjuntos de testes desenvolvidos durante as tarefas de implementação de teste são utilizados para executar os testes automaticamente ou para conduzir a execução manual dos testes.

Avaliar a Execução do Conjunto de Testes
Finalidade:  Determinar se o Conjunto de Testes foi executado até a conclusão ou interrompido anormalmente e avaliar se há necessidade de uma ação corretiva.

A execução do teste é concluída ou finalizada em uma destas duas condições:

  • Normal: todos os Testes foram executados conforme planejado até a conclusão. 
  • Anormal ou prematuro: os Testes não foram executados completamente conforme planejado. Quando o teste é concluído de forma anormal, é possível que os Logs de Teste dos quais os Resultados de Teste são derivados não sejam confiáveis. A causa do término anormal precisa ser identificada e, se necessário, o erro deve ser corrigido e os testes devem ser novamente executados.
Recuperar de Testes Interrompidos
Finalidade:  Determinar a ação corretiva apropriada para a recuperação a partir da execução de um Conjunto de Testes interrompido e, se necessário, corrigir o problema, recuperando e executando novamente o Conjunto de Testes.

Para uma recuperação a partir dos testes interrompidos, você deve fazer o seguinte:

Inspecionar os Logs de Teste e Outra Saída Recuperar Testes Interrompidos

Inspecione os Logs de Teste e outra saída para verificar a abrangência e a precisão. Identifique onde ocorreram os erros e inspecione-os.

Ao aplicar a automatização de testes, há duas categorias de testes interrompidos a serem consideradas:

  • Erros fatais - o sistema falha (defeitos de rede, travamentos de hardware, etc.)
  • Defeitos de teste - ocorrem quando alguma parte de um Teste em um Conjunto de Testes não pode ser executada conforme planejado.

Quando a categoria de comportamento anormal ocorre durante a execução do teste, os sintomas a seguir podem ser apresentados:

  • um grande número de ações inesperadas (ocorrência contínua) ou janelas inesperadas ocorrem durante a execução do Conjunto de Testes
  • o ambiente de teste parece que parou de responder, está lento ou está em um estado indesejável (por exemplo, suspenso ou paralisado).

Analise os sintomas até conseguir determinar a causa original do problema.

Corrigir Erros Recuperar Testes Interrompidos

Erros podem ser encontrados nos dados de entrada consumidos pelo teste, no próprio teste ou em outros aspectos do teste, como as definições do ambiente de teste e da ferramenta de tempo de execução. É comum uma correção de um erro em um aspecto do teste exigir que o estado correto esteja presente em todos aspectos gerais do teste.

Uma vez concluída a investigação dos problemas, você pode ter descoberto uma ou mais falhas que precisem de correção. Para fazer correções permanentes no ambiente, nos dados de teste ou no próprio teste, é recomendável restaurar novamente cada aspecto do teste para um estado conhecido antes de aplicar quaisquer correções permanentes. Isso assegura que nenhuma alteração adicional inválida ou não desejada encontre seu caminho no ambiente em estado conhecido.

Depois de efetuar as mudanças necessárias, salve o Teste e faça o backup ou salve os dados de entrada e o ambiente de teste associados, conforme necessário.

Planejar e Executar o Conjunto de Testes novamente Recuperar Testes Interrompidos

Reprograme e execute novamente o Conjunto de Testes. Dependendo do processo de recuperação que está disponível (se houver algum), você pode reiniciar o conjunto de testes a partir de um ponto provisório em vez de iniciar do princípio. Observe que para permitir a recuperação da execução do teste a partir de um ponto no meio do caminho, normalmente são necessárias a implementação e a manutenção contínua de alguma forma de procedimento de recuperação parcial.

Reavaliar a Execução do Conjunto de Testes Recuperar Testes Interrompidos

Confirmar se agora o Conjunto de Testes é executado até a sua conclusão. Se os problemas continuarem, analise novamente as subseções que compõem Recuperar Testes Interrompidos, até que todos os problemas sejam resolvidos.

>Inspecionar os Logs de Teste quanto à Integralidade e Exatidão
Finalidade:  Determinar se a execução do Conjunto de Testes gerou informações de teste importantes e, caso contrário, identificar a ação corretiva apropriada.

Ao concluir inicialmente a execução do teste, é necessário revisar os Logs de Teste para assegurar que sejam confiáveis e que os defeitos, avisos ou resultados inesperados relatados não foram causados por influências externas (ao objetivo do teste), como configuração inadequada do ambiente ou dados inválidos de entrada para o teste.

Para Testes automatizados orientados por GUI, defeitos comuns do Teste incluem:

  • Defeitos de verificação de teste - ocorrem quando o resultado real e o resultado esperado não correspondem. Verifique se os métodos de verificação usados enfatizam somente os itens e/ou propriedades essenciais e faça a modificação, se necessário.
  • Janela da GUI inesperada-ocorre por várias razões. O mais comum é quando uma janela da GUI diferente da esperada está ativa ou o número de janelas da GUI em exibição é maior que o esperado. Certifique-se de que o ambiente de teste tenha sido configurado e inicializado conforme planejado para a execução apropriada do teste.
  • Janelas de GUI ausentes - esse defeito é observado quando uma janela de GUI deveria estar disponível (mas não necessariamente ativa) e não está. Certifique-se de que o ambiente de teste tenha sido configurado e inicializado conforme planejado para a execução apropriada do teste. Verifique se as janelas que estão realmente faltando são / foram removidas do objetivo do teste.

Se os defeitos relatados forem causados por erros identificados nos produtos de trabalho de teste ou devido a problemas com o ambiente de teste, execute a ação corretiva apropriada e execute novamente o teste.

Se o Log de Testes permitir que você determine se os defeitos são realmente dos Itens de Objetivo do Teste, a parte de execução da tarefa estará concluída.

Restaurar o Ambiente de Teste para o Estado Conhecido
Finalidade:  Assegurar que o ambiente seja reconfigurado adequadamente após a execução do Conjunto de Testes.

(Consulte o primeiro passo) Em seguida, restaure o ambiente novamente ao seu estado original. Em geral, esse procedimento envolve alguma forma de redefinição básica do ambiente (por exemplo, o arquivo de Registro e outros arquivos de configuração), a restauração de bancos de dados básicos em um estado conhecido, além de tarefas, como carregar papel nas impressoras. Embora algumas tarefas possam executadas automaticamente, alguns aspectos precisam da atenção de alguém.

Manter Relacionamentos de Rastreabilidade
Finalidade:  Permitir a análise do impacto e a geração de um relatório de avaliação dos itens rastreados.  

Usando os requisitos de Rastreabilidade descritos no Plano de Teste, atualize os relacionamentos de rastreabilidade conforme necessário. Um bom ponto de partida é considerar a rastreabilidade em termos de medir a extensão do teste ou da cobertura do teste. Como regra geral, recomendamos basear a medida da extensão do teste nos motivadores descobertos durante as atividades de planejamento do teste.

Os Conjuntos de Testes também podem ser rastreados para os Casos de Testes que eles realizam. Eles também podem ser rastreados para elementos dos requisitos, especificação de software, design ou implementação.

Quaisquer que sejam os relacionamentos determinados como importantes para rastreio, você precisará atualizar o status dos relacionamentos que foram estabelecidos durante a implementação do Conjunto de Testes.

Avaliar e Verificar os Resultados
Finalidade:  Verificar se a tarefa foi concluída apropriadamente e se os produtos de trabalho resultantes são aceitáveis.

Agora que o trabalho foi concluído, convém certificar-se de que o trabalho foi vantajoso e que não foi apenas um grande consumo de papel. Você deve avaliar se o trabalho é de qualidade adequada e se ele é completo o suficiente para ser útil aos membros da equipe que o utilizarão em seguida como entrada para o trabalho deles. Onde for possível, utilize listas de verificação fornecidas no RUP para verificar se a qualidade e a abrangência são "suficientemente boas".

Faça as pessoas que realizam as tarefas de recebimento de dados, que dependem do seu trabalho como entrada, participarem da revisão do trabalho temporário. Faça isso enquanto você tiver tempo disponível para tomar alguma ação para resolver os problemas delas. Você também deve avaliar o trabalho em relação aos principais produtos de trabalho de entrada para certificar-se de que eles foram representados de modo preciso e suficiente. Pode ser conveniente que o autor do produto de trabalho de entrada revise o seu trabalho nesse sentido.

Não se esqueça que o RUP é um processo de entrega iterativo e que, em muitos casos, os produtos de trabalho evoluem com o tempo. Nem sempre ele é necessário e, criar um produto de trabalho completo geralmente é contraproducente, pois ele será usado apenas parcialmente ou não mais será usado em outros trabalhos. Isso acontece porque há uma grande probabilidade de alteração na situação em torno do produto de trabalho e de que as suposições feitas durante a criação do produto de trabalho estejam incorretas, antes do produto de trabalho ser utilizado, resultando em esforço perdido e, portanto, em retrabalho dispendioso. Evite também a armadilha de gastar muitos ciclos na apresentação em detrimento do valor do conteúdo. Nos ambientes de projeto em que a apresentação tem importância e valor econômico como um produto liberado do projeto, convém utilizar um recurso administrativo para executar as tarefas de apresentação.



Informações Adicionais