Smart Navigation
Wie ist es möglich einen simplen Roboterarm aufzuwerten – sodass er ein autonom agierender Detektiv wird?
Die Antwort auf diese Frage liefert unser Smart Navigation Showcase!
Ziele des Showcases
Unser Showcase Smart Navigation zeigt, wie es möglich ist auch komplexe Anwendungsfälle, wie das Erkennen und Verfolgen eines beliebigen Gegenstandes auf einem kleinen, simplen Roboterarm zu realisieren – auch wenn man initial nicht mehr als eine serielle Schnittstelle zur Verfügung hat!
Darüber hinaus zeigt er exemplarisch wie mit den daraus resultierenden Live-Maschinendaten des Roboters intelligent verfahren werden kann und wie diese sowohl angereichert wie auch statistisch ausgewertet werden können.
Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.
Mehr erfahren
Der Aufbau
Simpler Roboterarm der Firma UFACTORY (uarm). Aufgewertet mit einer INTEL Realsense Stereo-Tiefenkamera.
Ein NVIDIA Jetson TX-2 – Das Herzstück des Setups.
Hier werden das neuronale Netz ausgeführt und die Robotersteuerung koordiniert.
Eine IOT-Sensornode erweitert das Sensorwert-Spektrum des Roboters. Er ist nun auch in der Lage weitere physikalische Größen wie Temperatur, Luftdruck und Erschütterung zu messen, statistisch auszuwerten und darauf zu reagieren.
Technologie & Software
Die INTEL Realsense Stereo Kamera liefert zwei verschiedene Arten von Videos.
Auf der einen Seite eine RGB-basiertes Video mit einer Auflösung von 640×480.
Der zweite Videostream basiert auf einem Infrarot-Tiefenbild. Hier besitzt jeder Pixel einen definierten Abstandswert der durch eine Farbcodierung dargestellt wird. Ein roter Pixel steht für einen kleinen Abstand zur Kamera, blau für einen größeren Abstand zur Kamera.
Die Basis des Smart Navigation Showcases bildet die Objekterkennung mit tinyYOLO und der programmierten Echtzeit-Koordination des Roboterarms. Um zu zeigen, dass bei der Objekterkennung (fast) keine Grenzen gesetzt sind, haben wir uns für das Training mit unserem dmc-group Logo entschieden.
Nach knapp 300 Bildern im Trainingsdatensatz und einigen Stunden Rechenzeit auf unseren Hochleistungsrechnern in Paderborn war das neuronale Netz ausreichend zur zuverlässigen Erkennung unseres Logos trainiert. Obwohl das Training selbst viele Ressourcen benötigte, lässt sich das neuronale Netz selbst auf kleineren embedded Geräten betreiben – es ist also kein high-end Server notwendig.
Der Betrieb des Roboterarms selbst basiert auf einer Bild-für-Bild Erkennung des Objekts (Kamera liefert stabile 30 fps). Durch Berechnung der Differenz der Positionen des trainierten Objekts im Videostream wird ein Bewegungsvektor (Roter Pfeil) berechnet und für die Maschinensteuerung übersetzt. Nun ist es dem Roboterarm möglich dem trainierten Objekt in Echtzeit (innerhalb seiner Freiheitsgrade) zu folgen.
Das auf Node-RED basierende Dashboard zeigt die Live-Daten des Roboterarms an. Echtzeiterfassung der Maschinenwerte, zum Beispiel die Anzahl der erkannten Objekte, der Azimutwinkel des Arms oder die Distanz zum Objekt, können hier eingesehen werden.
Da das Dashboard frei konfigurierbar in der Darstellung ist, lassen sich nach Belieben nicht benötigte Werte ausblenden oder zusätzliche Werte abbilden (bspw. Input aus den Messwerten des IOT-Sensornode).
Der Roboterarm selbst benötigt keine aktive Cloud-Verbindung um seine Tätigkeit auszuführen.
Falls benötigt lassen sich die Informationen des Roboters über das Web zugänglich machen, indem die Dashboard-Daten in eine Cloud exportieren werden. Dies kann zur Fernüberwachung oder zum Anzeigen der Maschinenwerte auf mobilen Endgeräten genutzt werden.
Analyse & Daten
Diese gesammelten Daten lassen sich nun anzeigen, statistisch aufbereiten und auswerten.
Als erstes Beispiel lässt sich, wie hier gezeigt, die Position des erkannten Objekts über die Zeit graphisch darstellen. So ist es möglich die Trajektorie des Objekts im 3-Dimensionalem Raum darzustellen.
Sobald genügend Daten gesammelt wurden, können diese im zeitlichen Verlauf dargestellt und auswertet werden.
Dies ist nützlich um Korrelationen zwischen verschiedenen Datenströmen bei der Fehleranalyse aufzudecken.
Diese Informationen können zur Vorhersage von Fehlerzuständen genutzt werden (Stichwort predictive maintenance). Hierbei würden die Maschinendaten durch ein trainiertes, neuronales Netz überwacht werden. So können spezifische Fehlermuster einer Maschine erkannt und frühzeitig Warnungen, vor einer bevorstehenden Beeinträchtigung des Betriebs versandt werden.
Weitere Anwendungsfälle
Hier auf der rechten Seite finden Sie einige Beispiele für das Erkennen von Menschen und anderen Objekten, wie Stühlen oder Fahrzeugen.
Für die Erkennung eines unbekannten, neuen Objekts muss das neuronale Netz erneut trainiert werden – wie in unserem Fall zur Erkennung unseres Logos. Dazu wird zunächst ein ausreichend großer und qualitativ hochwertiger Testdatensatz an Bildmaterial benötigt.
Sobald das Training erfolgreich abgeschlossen wurde, lassen sich aber nahezu alle beliebigen Objekte zuverlässig erkennen – die Bandweite reicht von Gesichtserkennung bis hin zur Identifikation von (Teil-)Produkten in einer Fabrik während des Produktionsprozesses zur Qualitätssicherung.
Auch bei Anwendungen, welche die Inspektion schwer erreichbarer Stellen zum Ziel haben, kann Smart Navigation unterstützen. Ein Beispiel wäre die Anwendung im Gebiet der funktionalen Drohnen bei der Inspektion von Windkrafträdern im Fehlerzustand.
Ein weiteres denkbares Szenario wäre die Klärung aus der Luft bei einer unübersichtlichen Situation mithilfe von Thermalbildern.
Beispielsweise wenn bei einem Waldbrand Personen vermisst werden und Rettungskräfte trotz Rauchentwicklung beurteilen müssen, ob sie in ein Gebiet vordringen sollen oder nicht.
