Introduction to Machine Learning and Soft Computing

Lecturers:Kókai, G.; Wilke, P.
Coverage:2 SWS (4 ECTS)
Prerequisites:

Inhalt

Diese Vorlesung führt in maschinelles Lernen und Soft-Computing ein. Das Gebiet des maschinellen Lernens befasst sich mit der Frage, wie Computerprogramme zu konstruieren sind, die automatisch ihr Wissen vergrößern. Im ersten Teil der Vorlesung werden die wichtigsten Schlüsselalgorithmen aus diesem Gebiet zusammen mit erläuternden Beispielen ihrer Arbeitsweise und die Theorie vorgestellt, die den Kern des ML ausmacht. Der zweite Teil der Vorlesung behandelt Soft-Computing. Beginnend bei den biologischen Grundlagen werden mathematische Beschreibungen von Neuronen und ihrer künstlichen Gegenstücke entwickelt. Ein wesentlicher Punkt werden das Lernen und die Methoden sein, die zum Trainieren und Konditionieren des Netzes benutzt wurden. Einige Lernverfahren mit praktischer Bedeutung werden im Detail diskutiert, wie etwa Back-Propagation und Kohonen Feature Maps. Unsichere Informationen können mit sogenannten Fuzzy Logik Systemen bearbeitet werden. Basierend auf der Theorie der Fuzzy Mengen kann ein logisches Kalkül abgeleitet werden, welches erlaubt, Fuzzy Informationen zu behandeln. Evolutionäre Algorithmen (EA)m d.h. evolutionäre Strategien (ES) und genetische Algorithmen (GA), können verwendet werden, um eine Sequenz von Verbesserungen zu bestimmen, die immer bessere Ergebnisse erzeugen, bis ein Ergebnis vorgegebener Güte erreicht ist. Zuerst werden die biologischen Begriffe und ihre Bedeutungen im informationsverarbeitenden Kontext eingeführt. Dann wird der mathematische Hintergrund beleuchtet und ES und GA werden verglichen. Praktische Anwendungen wie Optimierungen von Flow-Shops, Finden der kürzesten Rundreise, Optimierung von Linsen, Parken und Fahren von Autos werden demonstriert. Den Studenten werden kleine Aufgaben gestellt, die mit Hilfe einer zur Verfügung gestellten Simulationsumgebung gelöst werden sollen.

Themenbereiche
Die folgenden Themenbereiche werden in diesem Seminar behandelt:

  • Lernen mit Regelmengen
  • Analytisches Lernen
  • Lernen mit Entscheidungsbäumen
  • Konzeptlernen, Lernen vom Allgemeinen zum Speziellen
  • Bayes-Lernen
  • Instanzen-basiertes Lernen
  • Lernen mit Belohnung
  • Künstliche neuronale Netze
  • Stochastisches Suchen und evolutionäre Algorithmen
  • Fuzzy Logik
Dates & location:
  • Wednesday, starting on October 18, 2000, 14:15 - 15:45, 00.152-113
Literature:
  • T. M. Mitchell: Machine Learning, McGraw-Hill, 1997.
  • J. R. Quinlan, C4.5: Programs for Machine Learning, Morgan Kaufmann, 1993.
  • F. V. Jensen, An introduction to Bayesian Networks, UCL Press, 1996.
  • N. Lavrac und S. Dzeroski, Inductive Logic Programming, Techniques and Applications, Ellis Horwood, 1994.
  • J. A. Freeman, Simulating Neural Networks with Mathematica, Addison-Wesley, 1994.
  • J. Hertz, A. Krogh und R. G. Palmer, Introduction to the Theory of Neural Computation, Addison-Wesley, 1991.
  • R. Rojas, Theorie der neuronalen Netze, Springer, 1996.
  • W. Banzhaf, P. Nordin, R. E. Keller und D. Francone, Genetic Programming: An Introduction, Morgan Kaufmann und dpunkt, 1998.1994.
  • M. Mitchel, An Introduction to Genetic Algorithms, MIT-Press, 1996.
  • Michalewicz, Genetic Algorithms + Data Structures = Evolution Programs, Springer, 1992.
Topics:

Introduction:

This lectures will provide an introduction to Machine Learning and Soft Computing.

The field of machine learning (ML) is concerned with the question of how to construct computer programs that automatically improve with experience. In the first part of the lecture the main key algorithms in the field, along with illustrative examples of their operation, and theory that form the core of ML are covered.

Topic

The following topics will be discussed:

  • Learning sets of rules
  • Analytical learning
  • Decision tree learning
  • Concept learning and the general-to-specific ordering
  • Baysian learning
  • Instance-based learning
  • Reinforcement learning

The second part of the lecture deals with Soft Computing Beginning from the biological foundations the mathematical description of neurons and their artificial counterparts will be developed. The main issue will be the learning and the methods used for training and conditioning the networks. Some learning algorithms of practical importance will be discussed in detail, e.g. Back-Propagation, Kohonen Feature Maps. Uncertain information can be processed by FL systems. Founded on the theory of fuzzy sets a logic calculus can be derived which allows to handle fuzzy information. Fuzzy rules and the inference methods used in practical applications will be discussed. EAs, i.e Evolutionary Strategies (ES) and Genetic Algorithms (GA), can be used to determine a sequence of improvements producing better results until a given result is achieved. First the biological terms and their meanings within an information processing context are introdused. Then the mathematical backgroud is discussed and ESs and GAs are compared. Practical applications like optimization of flow-shops, finding shortest roundtrips, optimization of lenses, parking and driving cars will be demonstrated. Small tasks will be assigned to the students which should be solved using a simulation environment provided.

Topics

The following topics will be discussed:

  • Artificial Neural Networks (ANN)
  • Fuzzy Logic (FL)
  • Evolutionary Algorithms (EA).

watermark seal