Alysson M. Costa – ICMC/USP

Tópicos em otimização combinatória

Heurísticas construtivasAnálise empírica

Aula baseada em material da Professora Vitória Pureza – UFSCAR

Alysson M. Costa – ICMC/USP

Avaliando heurísticas

Slide baseado em material da professora Vitória Pureza - UFSCAR

Alysson M. Costa – ICMC/USP

Análise empírica

Provavelmente o método mais utilizado para comparação de algoritmos.

A ideia básica é testar o algoritmo em um conjunto representativo de instâncias e comparar sua performance com os melhores valores conhecidos.

Alysson M. Costa – ICMC/USP

Dificuldades

1. Nem sempre é fácil saber o que significa um conjunto representativo de instâncias.

É prática comum usar dois tipos de instâncias:

Baseadas em problemas reais. Criadas aleatoriamente.

Para problemas clássicos, existem bases de instâncias disponíveis.

Alysson M. Costa – ICMC/USP

Dificuldades

2. Nem sempre é fácil saber o que é uma comparação justa.

Quanto a implementação computacional influi nos resultados ? (Erros numéricos, empates nos critérios, etc...)

Quanto o ambiente computacional influi nos tempos de execução ?

Quanto parâmetros mal definidos (ou intencionalmente ajustados para cada instância) influem nos resultados ?

Alysson M. Costa – ICMC/USP

Informações comuns

Gap médio e desvio padrão (em relação à solução ótima ou à melhor solução conhecida).

Número de soluções ótimas obtidas. Pior gap. Melhor gap. Tempo de execução médio. Pior tempo de execução. Melhor tempo de execução. ...

Alysson M. Costa – ICMC/USP

Problema

Alysson M. Costa – ICMC/USP

Formas de apresentação

Tabelas Gráficos Conclusões textuais ...

Alternativa interessante: Perfis de desempenhoDolan e Moré (Mathematical Programming, v. 91, p. 201-213, 2002)

4 mar 2009 . 11:37

Alysson M. Costa – ICMC/USP

Uma discussão interessante

A literatura baseia-se sobretudo na questão da performance obtida versus tempo computacional gasto.

Nem sempre (ou quase nunca), estas são as únicas questões.

Cordeau et al. (2002) propõem outras características que devem ser avaliadas, e suas limitações...

Cordeau, J.-F., Gendreau, M., Laporte, G., Potvin, J.-Y., & Semet, F. (2002). A guide to vehicle routing heuristics. Journal of the Operational Research Society, 53, 512-522. doi: 10.1057/palgrave.jors.2601319.

Alysson M. Costa – ICMC/USP

Cordeau et al., 2002

4 mar 2009 . 11:37

Alysson M. Costa – ICMC/USP

4 mar 2009 . 11:37

Alysson M. Costa – ICMC/USP

Alysson M. Costa – ICMC/USP

Alysson M. Costa – ICMC/USP

Alysson M. Costa – ICMC/USP

Leituras

Parte inicial do artigo do Fisher:Fisher, M. L. (1980). Worst-Case Analysis of

Heuristic Algorithms. Management Science, 26(1), 1-17. doi: 10.1287/mnsc.26.1.1.

O artigo de Cordeau et al.Cordeau, J.-F., Gendreau, M., Laporte, G., Potvin, J.-Y.,

& Semet, F. (2002). A guide to vehicle routing heuristics. Journal of the Operational Research Society, 53, 512-522. doi: 10.1057/palgrave.jors.2601319.