Streszczenie Rozprawy

mgr Piotr Śmigielski

Promotor: Dr hab. Andrzej Bielecki, prof. AGH
Dyscyplina: Informatyka

Systemy wizyjne dla robotów autonomicznych znajdują się w obszarze badań od ponad dwudziestu lat. Osiągnięcie zaawansowanego stopnia autonomii przez roboty mobilne jest szczególnie istotne z punktu widzenia podstawowych zadań jakie są przed nimi stawiane. Należą do nich:

• Zbieranie informacji o otoczeniu
• Wyszukiwanie bezkolizyjnych ścieżek
• Identyfikacja własnego położenia

Zadania te stanowią podstawę do budowy systemów realizujących bardziej złożone zadania, takie jak:

• Inspekcja
• Misje ratunkowe w sytuacjach kryzysowych
• Zastosowania militarne (rozpoznanie terenu, identyfikacja celów bojowych)
• Eksploracja nieznanego terenu (również kosmosu oraz innych ciał niebieskich, jak choćby Mars)

W wymienionych powyżej zadaniach duże znaczenie ma rozumienie otoczenia (sceny) w sensie kognitywnym. Rozumienie takie realizowane może być poprzez efektywne rozpoznawanie obiektów znajdujących się na scenie, budowa modelu sceny uwzględniającego relacje przestrzenne między obiektami oraz zapewnienie możliwości poszerzania wiedzy o otoczeniu przez wzbogacanie reprezentacji otoczenia w trybie ciągłym. Nie bez znaczenia dla realizacji niektórych z wyżej wymienionych zadań jest miniaturyzacja robota co pociąga za sobą konieczność redukcji ogólnej jego masy. Wiąże się to niejednokrotnie z koniecznością ograniczenia liczby sensorów.

Opisane powyżej wyzwania stanowiły motywację dla powstania przygotowanej przeze mnie rozprawy doktorskiej, której teza brzmi następująco:

Możliwe jest stworzenie zestawu efektywnych algorytmów strukturalnej analizy sceny w czasie rzeczywistym dla autonomicznego robota latającego wyposażonego w pojedynczą kamerę

W ramach pracy doktorskiej stworzony oraz przetestowany został system wizyjny dla robota autonomicznego, realizujący następujące zadania:

• Ekstrakcja wizerunku obiektów z obrazu pochodzącego z kamery robota
• Budowa modelu wektorowego obiektów, ukazującego ich geometryczny obrys
• Rozpoznawanie pojedynczych kształtów geometrycznych z wykorzystaniem metod strukturalnych
• Budowa modelu trójwymiarowego obiektów znajdujących się na scenie w oparciu o modele wektorowe ich rzutów uzyskanych ze zdjęć wykonanych pod różnym kątem
• Budowa reprezentacji sceny w oparciu o wprowadzony w rozprawie Graf Bliskiego Sąsiedztwa
• Rozpoznawanie grupy obiektów z uwzględnieniem kontekstu przestrzennego między nimi, realizowane w z wykorzystaniem Grafu Bliskiego Sąsiedztwa

Wszystkie z powyższych zadań zakładają użycie pojedynczej kamery znajdującej się na wyposażeniu robota. Jedynym warunkiem jest możliwość jej obrotu aby uzyskać zdjęcia na wprost lub ku dołowi co może być realizowane przez zastosowanie obrotowego stabilizatora kamery.
Dodatkowo, aby umożliwić robotowi realizację złożonej misji łączącej w sobie wykonywanie opisanych powyżej zadań, system wyposażony został w podstawowy moduł nawigacji. Umożliwia on bezkolizyjne przemieszczanie się robota w obrębie sceny tak aby możliwe było wykonanie właściwych dla danego zadania zdjęć.

W ramach pracy skonstruowany został czterowirnikowy robot latający, który miał za zadanie zrealizować misje ukazujące działanie stworzonego systemu wizyjnego w realnym środowisku. W czasie wykonywania misji algorytmy realizujące działanie systemu wizyjnego wykonywane są na komputerze znajdującym się na ziemi, a komunikacja z robotem odbywa się drogą radiową z wykorzystaniem protokołu komunikacyjnego MavLink. Takie rozwiązanie, w przeciwieństwie do osadzenia mikrokomutera na platformie robota, umożliwia nadzór operatora i monitorowanie działania algorytmów.

W czasie wykonywania testów z wykorzystaniem robota miał on za zadanie wykonać dwie misje. Obie zakładały następujące czynności:

• Identyfikacja obiektów w postaci makiet rozmieszczonych na ziemi w otoczeniu miejsca startu robota
• Przelot nad każdym z obiektów w celu wykonania jego dokładnego zdjęcia od góry
• Konstrukcja modelu sceny w postaci Grafu Bliskiego Sąsiedztwa, który zawiera modele wektorowe każdego z obiektów na scenie oraz uwzględnia ich rozmieszczenie na scenie jak i relacje przestrzenne między nimi
• Rozpoznanie z wykorzystaniem metody strukturalnej wprowadzonego do pamięci obiektu wraz z jego relacjami przestrzennymi z sąsiednimi obiektami (realizowane również z wykorzystaniem Grafu Bliskiego Sąsiedztwa)

Ponadto jedna z misji zakładała konstrukcję modelu trójwymiarowego obiektu na scenie, który został poprawnie rozpoznany. Kolejnym krokiem była identyfikacja czy możliwy jest przelot w bliskim sąsiedztwie makiety, co zostało zrealizowane poprzez przelot robota pod makietą, która przypominała swoją konstrukcją łuk triumfalny.

W trakcie realizacji projektu badawczego opracowany został również symulator przeznaczony do testowania działania robota wyposażonego w kontroler lotu MavLink. Symulator ten umożliwił przetestowanie zaprojektowanych algorytmów w sztucznym środowisku, zanim zrealizowane zostały z wykorzystaniem prawdziwego robota. Ponadto, dzięki implementacji protokołu MavLink w samym symulatorze, możliwe było bezpośrednie przepięcie komunikacji z symulatora na platformę prawdziwego robota.

Rozprawa Doktorska

• dr hab. inż. Leszek J. Chmielewski, prof. SGGW Recenzja nr 1
• dr hab. Grażyna Ślusarczyk, prof. UJ Recenzja nr 2

1. Bielecki A., Buratowski T., Ciszewski M., Śmigielski P. (2016), „Vision based techniques of 3D obstacle reconfiguration for the outdoor drilling mobile robot”, Lecture Notes in Computer Science, vol. 9693, 602–612.
2. Bielecki A., Buratowski T., Śmigielski P. (2012), „Syntactic algorithm for two-dimensional scene analysis for unmanned flying vehicles”, Lecture Notes in Computer Science, vol. 7594, 304–312.
3. Bielecki A., Buratowski T., Śmigielski P. (2013), „Recognition of two-dimensional representation of urban environment for autonomous flying agents”, Expert Systems with Applications, vol. 40, 3623–3633.
4. Bielecki A., Buratowski T., Śmigielski P. (2014), „Three-dimensional urban-type scene representation in vision system of unmanned flying vehicles”, Lecture Notes in Computer Science, vol. 8467, 662–671.
5. Bielecki A., Śmigielski P. (2017), „Graph representation for two-dimensional scene understanding by the cognitive vision module”, International Journal of Advanced Robotic Systems, vol. 14, 1–14.
6. Śmigielski P., Raczyński M., Gosek Ł. (2017), „Visual simulator for MAVlink-protocol-based UAV, applied for search and analyze task”, Proceedings of the 2017 Federated Conference on Computer Science and Information Systems, vol. 1, 193–201.