Hiperheurísticas: Un Nuevo Enfoque para la Resolución de ...mcriff/IA-avanzada/Hyper_Pres.pdf ·...

IntroducciónMotivación

HiperheurísticasTipos de Hiperheurísticas

Conclusiones

Hiperheurísticas:Un Nuevo Enfoque para la Resolución de

Problemas Complejos

Departamento de InformáticaUniversidad Técnica Federico Santa María

10 de septiembre de 2006

Pablo Garrido mail: [email protected] Hiperheurísticas



Conclusiones

Introducción

1 Motivación

2 Hiperheurísticas

3 Tipos de HiperheurísticasSin AprendizajeCon AprendizajeBasadas en RazonamientoAprendizaje Incremental

4 Conclusiones




Conclusiones

Motivación




Conclusiones

Orígenes

Concepto que nace formalmente en el grupo deinvestigación ASAP en la Universidad de Nottingham amediados del año 2000.

El término hiperheurística, sin embargo, tuvo sus primerosusos a mediados de los 60’ por Fisher y Thompson (1961,1963) y Crowson(1963) enfrentando el problema de JobShop Scheduling (elección de heurísticas en base aprobabilidades).




Conclusiones

Motivación

Diseñar metaheurísticas eficientes requiere incorporarconocimiento específico lo que implica un gran esfuerzoen tiempo y recursos.Consecuencia:

Difíciles de reusar o aplicar en otros problemas.Complicadas de entender.

Estrategia:Optar por usar técnicas simples, baratas y razonablementeeficientes.

Idea:Compromiso entre la calidad de la solución y la rapidez dela implementación y ejecución.




Conclusiones

Motivación

Diseñar metaheurísticas eficientes requiere incorporarconocimiento específico lo que implica un gran esfuerzoen tiempo y recursos. –> necesidad de expertosConsecuencia:







Conclusiones

Motivación

Diseñar metaheurísticas eficientes requiere incorporarconocimiento específico lo que implica un gran esfuerzoen tiempo y recursos. –> gran inversión en dineroConsecuencia:







Conclusiones

Motivación

Diseñar metaheurísticas eficientes requiere incorporarconocimiento específico lo que implica un gran esfuerzoen tiempo y recursos. –> sintonización de parámetrosConsecuencia:







Conclusiones

Motivación

Diseñar metaheurísticas eficientes requiere incorporarconocimiento específico lo que implica un gran esfuerzoen tiempo y recursos. –> elección de heurísticasConsecuencia:







Conclusiones

Motivación

Diseñar metaheurísticas eficientes requiere incorporarconocimiento específico lo que implica un gran esfuerzoen tiempo y recursos.Consecuencia:







Conclusiones

Motivación

¿Es siempre válido aplicar este enfoque? Se debendistinguir 2 escenarios.

Escenario 1: Se busca la mejor solución posible. Se estápreparado para invertir tiempo y dinero para obtener dichasolución.Escenario 2: Se desea ocupar el mismo método en unacantidad considerable de problemas sin gastar muchotiempo y recursos re-adaptándolo. Se desean obtenerresultados de calidad aceptable.




Conclusiones

Hiperheurísticas




Conclusiones

Hiperheurística: Caja Negra




Conclusiones

Definición

Método que “inteligentemente” controla la elección de laheurística (método) de bajo nivel que debiera ser aplicadaen cada punto de decisión dependiendo de lascaracterísticas de las heurísticas y de la región del espaciode solución que se está explorando (estado del problema).Para ello, la hiperheurística debiera tener un mecanismode aprendizaje.




Conclusiones

Definición

Método que “inteligentemente” controla la elección de laheurística (método) de bajo nivel que debiera ser aplicadaen cada punto de decisión dependiendo de lacaracterísticas de las heurísticas y de la región del espaciode solución que se está explorando (estado del problema).Para ello, la hiperheurística debiera tener un mecanismode aprendizaje.︸︷︷︸

Analogía del estratega




Conclusiones

Características

Que puedan ser aplicadas a un amplio rango deproblemas.

Su fin no es vencer a técnicas construidas a la medida,sino demostrar que son competitivas y capaces de generarresultados de calidad.

Que no sean sensibles a perturbaciones del problema y adistintos problemas.




Conclusiones

Requerimientos

No deben tener conocimiento del dominio.

Deben proveer una interfaz genérica y común para cadaheurística de bajo nivel.

Capaces de tomar decisiones dinámicamente en base alestado actual de la búsqueda.




Conclusiones

Estructura




Conclusiones

Sin AprendizajeCon AprendizajeBasadas en RazonamientoAprendizaje Incremental

Clasificación de hiperheurísticas:Sin aprendizaje

AleatoriasGreedy

Con aprendizajeFunción de elecciónMetaheurísticas

Basadas en razonamiento

Aprendizaje incremental




Conclusiones


Sin Aprendizaje




Conclusiones


Aleatorias

Aleatoria Simple

Propuesta por Soubeiga, Cowling, Kendall [1, 2, 3].

Aplicaciones: Sales Summit, Project PresentationScheduling, SMD Multi-Head Placement Machine.

Mecanismo: Aleatoriamente elige la siguiente heurísticade bajo nivel, aceptándola en base a criterios de sólomejora o cualquier movimiento.




Conclusiones


Aleatorias

Aleatoria Descendente


Aplicaciones: Sales Summit, Project PresentationScheduling.

Mecanismo: Aleatoriamente elige la siguiente heurísticade bajo nivel y la aplica hasta que no se produzca unamejora. La elección de cada heurística se realiza mediantecriterios de sólo mejora o cualquier movimiento.




Conclusiones


Aleatorias

Permutación Aleatoria Descendente

Propuesta por Soubeiga, Cowling, Kendall [1, 2, 3].Aplicaciones: Sales Summit, Project PresentationScheduling.Mecanismo:




Conclusiones


Greedy

Greedy


Aplicaciones: Sales Summit, Project PresentationScheduling.

Mecanismo: Evalúa cada heurística y elige la que tenga elmejor desempeño del conjunto.




Conclusiones


Con Aprendizaje




Conclusiones


Función de Elección

Agrupada

Propuesta por Soubeiga, Cowling, Kendall [1, 2, 3, 4].

Aplicaciones: Sales Summit, Project PresentationScheduling, SMD Multi-Head Placement Machine, NurseRostering.




Conclusiones



Agrupada

La elección de la heurística Hk es la que maximiza/minimiza elvalor de:

αf1(Hk ) + βf2(Hj , Hk ) − γf3(Hk )

donde f1 es la mejora reciente de la heurística, f2 es la mejorareciente de dos heurísticas aplicadas secuencialmente y f3 es eltiempo en que la heurística no ha sido aplicada.

Se definen dos versiones:

Con sintonización de parámetros.Con control. Parámetros se ajustan mediante mecanismode aprendizaje reforzado.




Conclusiones



Múltiples Objetivos

Propuesta por Soubeiga y Landa Silva [2, 3, 4, 16].

Aplicaciones: Sales Summit, Project PresentationScheduling, Nurse Rostering, Two-Objective SpaceAllocation.




Conclusiones



Múltiples Objetivos

La elección de la heurística Hk es la quemaximiza/minimiza el valor de:∑

l∈L

[αl f1l(Hk ) + βl f2l(Hj , Hk ) − γl

| L |f3l(Hk )]

donde L es el conjunto de subobjetivos.

Los parámetros de la función son ajustados para enfatizarla búsqueda en ciertos objetivos.




Conclusiones


Elección de Heurísticas Usando Metaheurísticas




Conclusiones



Tabu Search Incremental

Propuesta por Soubeiga y Kendall [16, 20, 21].

Aplicaciones: Examination Timetabling, University CourseTimetabling, Nurse Rostering, Two-Objective SpaceAllocation.




Conclusiones



Tabu Search Incremental




Conclusiones



Algoritmos Genéticos

Propuesta por Han [5, 6, 14] y otros.

Aplicaciones: Trainer Scheduling, Project PresentationScheduling.




Conclusiones




Operadores:Cruzamiento: Simple en un punto sobre grupos de genes ocromosoma completo.Mutación: Inserción/eliminación/modificación de (gruposde) genes.

Se definen versiones con cromosomas de tamaño fijo y variable.




Conclusiones



Ants

Propuesta por O’Brien [17, 18] y otros.

Aplicaciones: Project Presentation Scheduling.




Conclusiones



Ants




Conclusiones



Simulated Annealing Incremental

Propuesta por Ayob [15] y Bai [23].

Aplicaciones: SMD Multi-Head Placement Machine, ShelfSpace Allocation.




Conclusiones



Simulated Annealing Incremental

El vecindario corresponde a un conjunto de heurísticas aaplicar. Se puede elegir la mejor heurística del vecindarioo una al azar. Si la solución mejora se continúa labúsqueda, si empeora se puede aceptar el movimiento porprobabilidad.

Incrementalmente agrega una heurística a la secuencia.




Conclusiones


Basadas en Razonamiento

Case Based Reasoning

Propuesta por Petrovic y Qu [7, 8, 9].

Aplicaciones: University Course Timetabling, ExaminationTimetabling.

Mecanismo: Se emplea un conjunto de instancias deentrenamiento para detectar patrones de estado/solución,posteriormente, los patrones son aplicados sobreinstancias nuevas.




Conclusiones


Basadas en Razonamiento

Case Based Reasoning

En base a casos pasados es capaz de elegir la mejormetodología o heurística para resolver una instancia o elestado actual de un problema.

Para comparar casos ocupa medidas de similaridad.Proceso de entrenamiento de dos etapas:

Selección del conjunto de características que representanbien a todos los problemas (uso de herramientas deselección y extracción de características).Eliminación de casos redundantes (técnicas de edición ycondensado).




Conclusiones


Aprendizaje Incremental

Metodología:A partir de instancias de entrenamiento se deduceniterativamente un conjunto de reglas que posteriormenteson ocupadas para resolver nuevas instancias.




Conclusiones



XCS

Propuesta por Ross [11], Marín-Blázquez [22] y otros.

Aplicaciones: One-Dimensional Bin Packing.




Conclusiones



XCS

El sistema evoluciona un conjunto de reglas que asocianestados con heurísticas a medida que se resuelven instancias.La heurística asociada es la que genera la máxima recompensa(mejor desempeño).

La evolución de las reglas se lleva a cabo con un algoritmogenético (sólo se evolucionan reglas con máxima recompensa).

Se distinguen dos versiones: Entornos en que se evalúa eldesempeño luego de realizar un movimiento (paso simple) oentornos en que se evalúa el desempeño luego de cambiar deestado (múltiples pasos).




Conclusiones


Aprendizaje Incremental: XCS




Conclusiones




Propuesta por Ross [12].

Aplicaciones: One-Dimensional Bin Packing.




Conclusiones




Cada cromosoma es de tamaño variable y contiene unconjunto de reglas que asocian un estado con unaheurística. Así, cada gen es una tupla (estado,heurística).

La regla del cromosoma que está más cercana al estadoactual del problema es la aplicada.

Cada cromosoma es un solucionador del problema.Operadores:

Cruzamiento en un punto (preservando genes).Mutación de alelos.




Conclusiones







Conclusiones

Conclusiones




Conclusiones

Conclusiones

Las hiperheurísticas no son la panacea . Su objetivo no esresolver todos los problemas, sino proveer una interfazuniforme que permita resolver un amplio rango deproblemas.

Una “adecuada” elección de heurísticas de bajo nivel esnecesaria. Deben ser diversas y hacer movimientos que leayuden a la hiperheurística a tomar decisiones según sumecanismo de aprendizaje.




Conclusiones

Conclusiones

Algunas hiperheurísticas tienen el problema de contenerdemasiados parámetros, muchos de los cuales sonsintonizados (por ejemplo: ants y genéticos).

Existen hiperheurísticas que asumen que existe muchainformación que puede ser aprovechada para resolverproblemas.

Lo anterior limita su generalidad.




Conclusiones

Trabajo Futuro

Aún está en duda si pueden ser efectivamente aplicadasen escenarios donde se desea tener la mejor solución.

No se han visto enfoques que junten el aprendizaje con elrazonamiento.

Ocupar metaheurísticas que, en lugar de construir unasecuencia de heurísticas, sean capaces de repararsecuencias (i.e., simulated annealing, tabu search).




Conclusiones

Referencias

P. Cowling, G. Kendall, E. Soubeiga. A Hyperheuristic Approach to Scheduling a SalesSummit. Selected Papers of the Third International Conference on Practice and Theoryof Automated Timetabling, PATAT 2000. LNCS, pp. 176-190, Konstanz, Germany,August 2000. Springer-Verlag.

P. Cowling, G. Kendall, E. Soubeiga. A Parameter-Free Hyperheuristic for Scheduling aSales Summit. In proceedings of 4th International Conference, Porto Portugal, 16-20July 2001, pp. 127-131.

P. Cowling, G. Kendall, E. Soubeiga. Hyperheuristic: A Tool for Rapid Prototyping inScheduling and Optimisation. Second European Conference on EvolutionaryComputing for Combinatorial Optimisation, EvoCop 2002. LNCS, pp. 1-10, Kinsale,Ireland, April 3-5, 2002, Springer-Verlag.

P. Cowling, G. Kendall, E. Soubeiga. Hyperheuristic: A Robust Optimisation Method

Applied to Nurse Scheduling. Parallel Problem Solving from Nature VII, PPSN 2002.

LNCS, pp. 851-860, Granada, Spain, September 7-11 2002, Springer-Verlag.




Conclusiones

Referencias

P. Cowling, G. Kendall, L. Han. An Investigation of a Hyperheuristic Genetic algorithmapplied to a Trainer Scheduling Problem. Accepted for 2002 Congress on EvolutionaryComputation (CEC2002), Hilton Hawaiian Village Hotel, Honolulu, Hawaii, May 12-172002.

P. Cowling, G. Kendall, L. Han. An Adaptive Length Chromosome HyperheuristicGenetic Algorithm for a Trainer Scheduling Problem. Technical ReportNOTTCS-TR-2002-5 (submitted to SEAL 2002 Conference), University of Nottingham,UK, School of Computer Science & IT 2002.

E. Burke, B. MacCarthy, S. Petrovic, R. Qu. Knowledge Discovery in a HyperHeuristicfor Course Timetabling Using Case-Based Reasoning. Proceedings of the FourthInternational Conference on the Practice and Theory of Automated Timetabling(PATAT’02), pp. 90-103, Ghent, Belguium, August 2002.

S. Petrovic, R. Qu. Case-Based Reasoning as a Heuristic Selector in a Hyper-Heuristic

for Course Timetabling Problems. Knowledge-Based Intelligent Information

Engineering Systems and Allied Technologies, Volume 82. Proceedings of KES’02, pp.

336-340, Crema, Italy, September 2002.




Conclusiones

Referencias

E. Burke, S. Petrovic, R. Qu. Case-Based Heuristic Selection for Timetabling Problems.2003.

S. W. Wilson. Generalization in the XCS Classifier System. In Proceedings of the ThirdGenetic Programming Conference (J. Koza ed.), pp. 665-674, Morgan Kaufmann, SanFrancisco, 1998.

P. Ross, S. Schulenburg, J. G. Marín-Blázquez, E. Hart. Hyper-heuristics: Learning toCombine Simple Heuristics in Bin-Packing Problems. Accepted for Genetic AndEvolutionary Computation Conference (GECCO 20020) 2002, New York, July 9-132002.

Learning a Procedure that Can Solve Hard Bin-Packing Problems: A New GA-BasedApproach to Hyper-heuristics. 2003.

E. Burke, J. Newall. A new Adaptive Heuristic Framework for Examination Timetabling

Problems. Technical Report NOTTCS-TR-2001-5, University of Nottingham, UK

February 2002.




Conclusiones

Referencias

L. Han, G. kendall. Guided Operators for a Hyper-Heuristic Genetic Algorithm. InProceedings of AI-2003: Advances in Artificial Intelligence. The 16th AustralianConference on Artificial Intelligence, Perth, Autralia, pp.807-820, 3-5 December 2003.

M. Ayob, G. Kendall. A Monte Carlo Hyper-Heuristic to Optimise ComponentPlacement Sequencing for Multi Head Placement Machine. 2003.

E. Burke, J. D. Landa Silva, E. Soubeiga. Hyperheuristic Approaches for MultiObjectiveOptimisation. The Fifth Metaheuristics International Conference, pp. 052-{1-6}. Kyoto,Japan, August 25-28, 2003.

E. Burke, G. Kendall, R. O’Brien, D. Redrup, E. Soubeiga. An Ant AlgorithmHyperheuristic. The Fifth Metaheuristics International Conference. Kyoto, Japan,August 25-28, 2003.

E. Burke, G. Kendall, D. Landa Silva, R. O’brien, E. Soubeiga. An Ant Algorithm

Hyperheuristic for the Project Presentation Problem. 2005.




Conclusiones

Referencias

E. Bonabeau, M. Dorigo, G. Theraulaz. Swarm Intelligence: From Natural to ArtificialSystems. Oxford University Press, Oxford, New York, 1999.

E. Burke, G. Kendall, E. Soubeiga. A Tabu-Search Hyperheuristic for Timetabling andRostering. Journal of Heuristics, No 9, pp. 451-470, 2003.

G. Kendall, N. M. Hussin. An Investigation of a Tabu Search Based Hyper-Heuristic forExamination Timetabling. 2005.

J. G. Marín-Blazquez, S. Schulenburg. Multi-Step Environment Learning ClassifierSystems Applied to Hyper-Heuristics. GECCO’06, July 8-12 2006, Seatte, Washington,USA.

R. Bai, G. Kendall. An Investigation of Automated Planograms Using a Simulated

Annealing Based Hyper-Heuristic, 2005.




Conclusiones

¿Preguntas?


Hiperheurísticas: Un Nuevo Enfoque para la Resolución de ...mcriff/IA-avanzada/Hyper_Pres.pdf ·...

Documents

Transcript of Hiperheurísticas: Un Nuevo Enfoque para la Resolución de ...mcriff/IA-avanzada/Hyper_Pres.pdf ·...