TITLE 
 Verallgemeinerte individuelle Schrittweitenregelung in der
       Evolutionsstrategie. Eine Untersuchung zur
       entstochastisierten, koordinatensystem-unabh\"angigen
       Adaptation der Mutationsverteilung

 Generalized individual step-size adaptation in the evolution
      strategy. An investigation into the derandomized, coordinate
      system independent adaptation of the mutation distribution

SUMMARY (original german version see below)

 The present thesis investigates coordinate system independent,
 derandomized methods for the adaptation of the mutation distribution
 in the evolution strategy (ES) in regard to the local convergence
 rate of the ES.

 The first part addresses (global) step-size control. The technique of
 cumulative step-size adaptation (CSA) is carried over from the
 $(1,\lambda)$-ES to the $(\mu,\lambda)$-ES and in particular to the
 $(\mu/_I \mu,\lambda)$-ES---an ES with intermediate
 multi-recombination. A theoretical analysis verifies and expands the
 previously proposed setting for the two strategy parameters of
 CSA. The CSA shows, in contrast to mutative step-size control, even
 for $\mu>1$ a reasonable control behavior in the $(\mu/_I
 \mu,\lambda)$-ES.

 In the second part, a generalized individual step-size control
 algorithm, the covariance matrix adaptation (CMA), is developed and
 formulated for the $(\mu/_I \mu,\lambda)$-ES. Like any simple ES the
 CMA-ES uses only the selected points in object parameter space and
 not their function value. The CMA-ES adapts, independently of the
 coordinate system, the covariance matrix of the normal distribution
 reliably and efficiently to the topology of ill-conditioned and/or
 non-separable objective functions. Apart from initialization of
 object and strategy parameters, the CMA-ES achieves invariance under
 any linear transformation of the object parameter space.

 Conversion from simple ES with isotropic mutation distribution to
 CMA-ES is conceptually and in consequence comparable with conversion
 from simple gradient descent to quasi-Newton methods, \ie\ from first
 order method to second order method. CMA-ES and quasi-Newton method
 approximate (in a convex-quadratic environment) the inverse of the
 Hessian matrix of the objective function iteratively.

 In tests of the CMA-ES on a number of objective functions is the
 performance, compared to the simple ES, virtually unchanged on
 well-conditioned problems, while on ill-conditioned problems, the
 convergence rate often increases by orders of magnitude.
 


 ZUSAMMENFASSUNG

 Die vorliegende Arbeit untersucht
 koordinatensystemunabhaengige, entstochastisierte Verfahren
 zur Adaptation der Mutationsverteilung in der
 Evolutionsstrategie (ES) in Hinblick auf die lokale
 Konvergenzgeschwindigkeit der ES.

 Der erste Teil befasst sich mit der (globalen)
 Schrittweitenregelung. Der Ansatz der kumulativen
 Schrittweitenregelung (KSR) in der $(1,\lambda)$-ES wird
 uebertragen auf die $(\mu,\lambda)$-ES und im Besonderen auf
 die $(\mu/_I \mu,\lambda)$-ES---eine ES mit intermediaerer
 Multirekombination. Eine theoretische Analyse verifiziert
 und erweitert die von anderer Seite empirisch gefundene
 Einstellregel fuer die beiden Strategieparameter der KSR. Im
 Gegensatz zur mutativen Schrittweitenregelung zeigt die KSR
 in der $(\mu/_I \mu,\lambda)$-ES auch fuer $\mu>1$ ein
 sinnvolles Regelverhalten.

 Als Algorithmus zur verallgemeinerten individuellen
 Schrittweitenregelung wird im zweiten Teil der Arbeit die
 Kovarianzmatrix-Adaptation (CMA) entwickelt und fuer die
 $(\mu/_I \mu,\lambda)$-ES formuliert. Wie jede einfache ES
 nutzt die CMA-ES ausschliesslich die selektierten Punkte im
 Objektparameterraum und nicht deren Funktionswerte. Sie
 adaptiert koordinatensystemunabhaengig die Kovarianzmatrix
 allgemeiner Normalverteilungen zuverlaessig und effizient
 an die Topologie schlecht konditionierter und/oder
 nicht-separierbarer Zielfunktionen. Bis auf die
 Initialisierung von Objekt-- und Strategieparametern
 erreicht die CMA-ES Invarianz gegenueber jeder linearen
 Transformation des Objektparameterraums.

 Der Uebergang von einer einfachen ES mit isotroper
 Mutationsverteilung zur CMA-ES ist konzeptionell und in
 seiner Auswirkung vergleichbar mit dem Uebergang vom
 einfachen Gradientenverfahren zum Quasi-Newton-Verfahren,
 d.h. von einem Verfahren erster Ordnung zu einem Verfahren
 zweiter Ordnung. CMA-ES und Quasi-Newton-Verfahren
 approximieren (in konvex-quadratischer Umgebung)
 schrittweise die Inverse zur Hesseschen Matrix der
 Zielfunktion.

 Bei Tests der CMAES an einer Reihe von Zielfunktionen ist
 das Verhalten an gut konditionierten Problemen praktisch
 unveraendert gegenueber der einfachen ES, waehrend sich
 an schlecht konditionierten Problemen die
 Konvergenzgeschwindigkeit oftmals um Groessenordnungen
 erhoeht.