Akceleracja algorytmów detekcji, analizy i klasyfikacji obiektów na podstawie strumienia wideo w układach reprogramowalnych

mgr inż. Mateusz Komorkiewicz

Promotor: dr hab. inż. Marek Gorgoń, prof. n. – Akademia Górniczo-Hutnicza
Dyscyplina: Automatyka i Robotyka

W rozprawie doktorskiej opisuje się prace badawcze nad akceleracją algorytmów służących do detekcji, analizy i klasyfikacji obiektów w strumieniu wideo przy wykorzystaniu układów reprogramowalnych FPGA. Zaprezentowano sprzętową, w pełni potokową, architekturę umożliwiającą akcelerację algorytmu obliczania przepływu optycznego metodą Horna-Schuncka. W dalszej części pracy opisane zostały nowe architektury sprzętowe realizujące jednoprzebiegową analizę obiektów pierwszego planu. Umożliwiają one obliczenie deskryptora teksturowego GLCM dla obszarów obrazu, którym odpowiadają kolejne segmenty maski binarnej. Przedstawiono również nowatorską metodę zmiany kolejności danych w strumieniu wizyjnym, która umożliwia zaprojektowanie architektur sprzętowych pracujących z wyższymi częstotliwościami. Zaprezentowano przykład zastosowania opisanej metody do rozwiązania problemu obliczania histogramów blokowych. W pracy przedstawiono również wyniki akceleracji algorytmu HOG. Przebadano, jak modyfikacje różnych aspektów obliczeń wpływają na uzyskane rezultaty i rozmiar oraz maksymalną częstotliwość pracy architektury sprzętowej realizującej obliczenia. Opisane implementacje posłużyły do uruchomienia kompletnych torów wizyjnych na rzeczywistych kartach ewaluacyjnych z układami FPGA. Wyniki prac zostały opublikowane na konferencjach oraz w czasopismach naukowych.

Pełna wersja autoreferatu: autoreferat.pdf

1. M. Komorkiewicz, T.Kryjak, M. Gorgoń, „Efficient hardware implementation of the Horn Schunck algorithm for high-resolution real-time dense optical flow sensor”, Sensors, 2014 vol. 14, s. 2860-2891
2. M. Komorkiewicz, M. Gorgoń, “Foreground object features extraction with GLCM texture descriptor in FPGA”, materuały 2013 conference on Design & Architectures for Signal & Image Processing : Cagliari, Włochy, Październik 8–10, 2013
3. M. Komorkiewicz, M. Gorgoń, “Rekonfigurowalny moduł akwizycji i transmisji obrazów dla systemów monitoringu wizyjnego”, Pomiary Automatyka Kontrola, 2013 vol. 59 nr 8, s. 821–823
4. M. Komorkiewicz, “Real-time detection of movement in prohibited direction for video surveillance system” Image Processing & Communications : an International Journal, 2012 vol. 17 nr. 4 s. 251–264
5. M. Komorkiewicz, J. Przybyło, “Pedestrian detection and analysis with scale-space and distance transform” Image Processing & Communications : an International Journal, 2012 vol. 17 nr. 4 s. 283–295.
6. M. Komorkiewicz, M. Kluczewski, M. Gorgoń, “Floating point HOG implementation for real-time multiple object detection” materiały 22nd international conference on Field Programmable Logic and Applications (FPL) : Oslo, 29–31 Sierpień 2012
7. T. Kryjak, M. Komorkiewicz, M. Gorgon, „Hardware-software implementation of vehicle detection and counting using virtual detection lines” materiały 2014 conference on Design & Architectures for Signal & Image Processing : Madryt, Hiszpania, Październik 8–10, 2014
8. T. Kryjak, M. Komorkiewicz, M. Gorgon, „Real-time Foreground Object Detection Combining the PBAS Background Modelling Algorithm and Feedback from Scene Analysis Module”, International Journal of Electronics and Telecommunications, vol. 60, nr. 1, s. 61-72, 2014
9. T. Kryjak, M. Komorkiewicz, M. Gorgon, „Real-time Implementation of Foreground Object Detection From a Moving Camera Using the ViBE Algorithm”, Computer Science and Information Systems DOI 10.2298/CSIS131218055K, 2014
10. T. Kryjak, M. Komorkiewicz, M. Gorgoń, „Real-time background generation and foreground object segmentation for high-definition colour video stream in FPGA device,” Journal of Real-Time Image Processing, 2014, vol. 9, s. 61-77
11. P. Szwed, M. Komorkiewicz, “Object tracking and video event recognition with Fuzzy Semantic Petri Nets”, FedCSIS : materiały Federated Conference on Computer Science and Information Systems : 8–11 Wrzesień 2013, Kraków, Polska.
12. T. Kryjak, M. Komorkiewicz, M. Gorgoń, ”Hardware implementation of the PBAS foreground detection method in FPGA”, materialy Mixed design of integrated circuits and systems (MIXDES 2013) : 20–22 Czerwiec 2013, Gdynia, Polska
13. T. Kryjak, M. Komorkiewicz, “Implementacja obliczania map dysparycji w czasie rzeczywistym dla strumienia wizyjnego 3D zrealizowana w układzie FPGA “, Pomiary Automatyka Kontrola 2013 vol. 59 nr 8, s. 748–750.
14. T. Kryjak, M. Komorkiewicz, „Hardware-software vision system for moving people counting based on 3D information”, Image Processing & Communications, vol. 18, nr. 2-3 s. 71-82, 2013
15. T. Kryjak, M. Komorkiewicz, M. Gorgoń, „Is FPGA a suitable platform for advanced video surveillance systems?”, materiały 2012 conference on Design & Architectures for Signal & Image Processing : Karlsruhe, Niemcy, 23–25 październik 2012
16. T. Kryjak, M. Komorkiewicz, M. Gorgoń, „FPGA implementation of camera tamper detection in real-time”, materiały 2012 conference on Design & Architectures for Signal & Image Processing : Karlsruhe, Niemcy, 23–25 październik 2012
17. T. Kryjak, M. Komorkiewicz, M. Gorgoń, „FPGA implementation of real-time head-shoulder detection using local binary patterns, SVM and foreground object detection”, materiały 2012 conference on Design & Architectures for Signal & Image Processing : Karlsruhe, Niemcy, 23–25 październik 2012
18. T. Kryjak, M. Komorkiewicz, M. Gorgoń, „Rekonfigurowalny system wizyjnego nadzoru do detekcji naruszenia obszarów chronionych”, Pomiary, Automatyka, Kontrola 2012 vol. 58 nr 7 s. 584–586
19. T. Kryjak, M. Komorkiewicz, M. Gorgoń, „Implementacja algorytmu generacji tła wraz z modułem segmentacji obiektów ruchomych i eliminacji cieni w układach FPGA serii Spartan 6”, Automatyka : półrocznik Akademii Górniczo-Hutniczej im. Stanisława Staszica w Krakowie 2011 t. 15 z. 3 s. 197–217
20. T. Kryjak, M. Komorkiewicz, M. Gorgoń, „Real-time moving object detection for video surveillance system in FPGA”, materiały Design & Architectures for Signal & Image Processing : Tampere, Finlandia, 2–4 listopad 2011
21. T. Kryjak, M. Komorkiewicz, M. Gorgoń, „Single low-power FPGA implementation of moving object detection”, FPL 2011 : materiały FPL2011 workshop on Computer vision on low-power reconfigurable architectures : 4 września 2011, Chania, Grecja