Präsentiert wird ein Bildverarbeitungssystem, welches farblich markierte Oberflächendefekte auf Stahlknüppel detektiert, dimensioniert und die ermittelten Koordinaten an einen Roboter übermittelt, welcher diese Fehler ausschleift. Diese Arbeit umfasst 3 Teilgebiete: 1) Erkennung von Farbmarkierungen in Echtzeit: Während des Transports eines Knüppels wird dessen Oberfläche von einer Farbkamera, mit dem Ziel der zuverlässigen Detektion der markierten Fehlstellen, überwacht. Durch die Anwendung mehrerer Algorithmen erhält man als Ergebnis die Koordinaten von Rechtecken, welche die Farbmarkierungen umgrenzen. 2) Berechnung von 3D Konturen der Fehlstellen: Nach der Detektion einer Markierung wird der Querschnitt des Knüppels mit einem Lichtschnittsensor vermessen. Basierend auf den Resultaten der Farberkennung und der Geometrievermessung errechnet die Bildverarbeitung 3D Konturen der Fehlstellen. Dabei werden die gemessenen Datenpunkte mittels projektiver Geometrie in ein metrisches Koordinatensystem umgerechnet und der nachfolgende Gebrauch von algebraischen und geometrischen Modellen zur Approximation der Datenpunkte führt zu den gesuchten Konturen. 3) Kalibration: Ein neues Kalibrationsverfahren ermöglicht die Kalibration des Bildverarbeitungssystems und dessen räumliche Korrelation zum Koordinatensystem des Schleifroboters. Das verwendete Verfahren basiert auf der Methode der Direkten Linear Transformation und einer anschließenden nichtlinearen Gauss-Newton Optimierung.