Escudo de la República de Colombia
Sistema Nacional de Biliotecas - Repositorio Institucional Universidad Nacional de Colombia Biblioteca Digital - Repositorio Institucional UN Sistema Nacional de Bibliotecas UN

Detection and tracking of motorcycles in urban environments by using video sequences with high level of oclussion

Espinosa Oviedo, Jorge Ernesto (2019) Detection and tracking of motorcycles in urban environments by using video sequences with high level of oclussion. Doctorado thesis, Universidad Nacional de Colombia - Sede Medellín.

Texto completo

[img] PDF - Versión Aceptada
Available under License Creative Commons Attribution Non-commercial No Derivatives.

13MB

Resumen

This thesis presents an investigation into detection, classi_cation and tracking of occluded motorcycles from urban tra_c scenes. The _nal aim is to develop an accurate system that allows automatic detection and tracking of motorcycles, which are the most frequent vulnerable user of urban tra_c in emerging countries. Operators of urban tra_c surveillance system could enhance the monitoring of this users and even prevent the high accidentally rate that they represent. Initially, a Motorcycle classi_er for urban scenarios is implemented using a pre-trained convolutional neural network for feature extraction. Motorcycles and cars are classi_ed by using the extracted features from a CNN network, and classi_ed using an SVM. The strategy is evaluated in an urban tra_c dataset, achieving a 99.4% accuracy working with three classes, and 99.3% accuracy with _ve classes. Given the good classi_cation results, we move to detection and classi_cations of vehicles in a urban dataset. A hybrid strategy, which combines GMM for object detection and use of CNN for feature extraction and posterior classi_cation, is _rst considered. Then, a two stage detector as Faster R-CNN is used for object detection and classi_cation. The pre-trained Faster R-CNN model achieves an F1 score of 68% outperforming the hybrid model, which achieves 58 %. Based in the good results obtained by a two stage detector as Faster R-CNN, we propose EspiNet, which is a more compact network able to detect and classify motorcycles under high occlusion in congested urban tra_c environments. The method detects and classify motorcycles even under camera movements, objects overlapping and stationary objects. Due to the absence of urban annotated motorcycle datasets, we introduce a new dataset of 7500 and 10,000 annotated images, captured under real tra_c scenes, using a drone mounted camera. The proposed model achieves an F1 Score of 95.3% with an AP of 89.32 %. Overcoming the results of state of the art detectors trained end to end in the introduced Urban Motorbike Dataset (UMD). For benchmark proposes, we compare with a single stage detector such as Yolo v3 and two stage detectors as Faster R-CNN (VGG16 based). The proposed model is used to improve tracking, in a Multiple Object Tracking implementation based on a Markov Decision Process, and in a Deep Learning MOT tracking mechanism. The detection results with a high con_dence hypothesis, improve the tracking processes achieving a Multiple Object Tracking Accuracy (MOTA) of 86.1% and 87.6% respectively, overcoming the state of the art results presented in tracking benchmarks as the used in KITTI dataset. The thesis concludes with a critical analysis of the presented work and a general outlook for future research proposes, Resumen: Esta tesis presenta una investigación sobre la detección, clasificación y seguimiento de motocicletas en escenarios de trancón urbano con un alto nivel de oclusión. El objetivo es poder desarrollar un sistema preciso que permita la detección y el seguimiento automático de motocicletas, que resultan ser los usuarios más vulnerables, constantemente expuestos a accidentes en el tráfico urbano en los países emergentes. Los operadores de los sistemas de vigilancia de tráfico urbano podrían mejorar el monitoreo de estos usuarios e incluso evitar la alta tasa de accidentalidad que presentan. Inicialmente, se implementa un clasificador de motocicletas en escenarios urbanos utilizando un modelo de red neuronal convolucional pre-entrenada, usada para la extracción de características. Este modelo clásico motocicletas, automóviles y el entorno urbano utilizando las características extraídas de la red CNN y evaluadas por una máquina de soporte vectorial (SVM). La estrategia se evalúa en un conjunto de datos de tráfico urbano, logrando un 99.4% de precisión, con un dataset constituido por tres clases y 99.3% de precisión cuando el dataset es ampliado a cinco clases. Dados los buenos resultados de clasificación, nos enfocamos después en la detección y clasificación de vehículos en un conjunto de datos urbano. En primera instancia, se compara una estrategia híbrida que combina GMM para la detección de objetos y el uso de CNN para la extracción de características, evaluadas para su posterior clasificación. En segunda instancia, se utiliza un detector de dos etapas denominado Faster R-CNN, que es usado para la detección y clasificación de objetos. El modelo pre-entrenado de Faster R-CNN alcanza un puntaje de F1 de 68% superando al modelo híbrido, que solo logra el 58 %. Basados en los buenos resultados obtenidos por el detector de dos etapas (Faster R-CNN), desarrollamos \EspiNet", que es una red compacta capaz de detectar y clasificar motocicletas en imágenes con alto nivel de oclusión en entornos de tráfico urbano congestionados. El método detecta y clasifica las motocicletas incluso en imágenes capturadas con movimientos de cámara, objetos superpuestos y objetos estacionarios. Debido a que al fecha de esta investigación, no existen conjuntos de datos de motocicletas en entornos urbanos debidamente anotadas, presentamos un nuevo conjunto de 7500 y 10,000 imágenes, capturadas en escenas de tráfico urbano real, utilizando una cámara montada en un dron y que han sido debidamente anotadas para la generación de Ground Truth. Aplicada sobre este conjunto de datos, EspiNet alcanza un puntaje de F1 de 95.3% con una Precisión Promedio (AP) de 89.32 %. Este modelo, supera los resultados de detectores estado del arte, que han sido entrenados en su totalidad para esta investigación utilizando el conjunto de datos mencionado. A manera de referencia, se utilizan dos ejemplos de detectores estado del arte, de etapa _única como Yolo v3 y detectores de dos etapas como Faster R-CNN (basado en VGG16). Finalmente, el modelo propuesto se utiliza para mejorar el seguimiento (tracking), en una implementación de Seguimiento Multi Objeto basada en un Proceso de Decisión de Markov y una implementación de MOT basada en deep learning. Los resultados de detección, con una hipótesis de alta confianza (proveidos por EspiNet), mejoran notablemente el proceso de seguimiento, logrando una Precisión de seguimiento de objetos múltiples (MOTA) de 86.1%y 87.6% respectivamente, superando los resultados en el estado del arte, presentados por ejemplo en el benchmark de seguimiento utilizando el conjunto de datos KITTI. La tesis concluye con un análisis crítico del trabajo presentado y una perspectiva general para un trabajo futuro de investigación

Tipo de documento:Tesis/trabajos de grado - Thesis (Doctorado)
Colaborador / Asesor:Branch Bedoya, John William and Velastín Carroza, Sergio Alejandro
Palabras clave:Object detection, motorcycle detection, motorcycle tracking, multiple object tracking, object detection under high level of occlusion, object tracking under high level of occlusion, Deep Learning, Convolutional Neural Networks, Faster R-CNN
Temática:6 Tecnología (ciencias aplicadas) / Technology > 62 Ingeniería y operaciones afines / Engineering
Unidad administrativa:Sede Medellín > Facultad de Minas > Escuela de Sistemas
Código ID:72867
Enviado por : Jorge Espinosa
Enviado el día :24 Julio 2019 15:29
Ultima modificación:24 Julio 2019 15:29
Ultima modificación:24 Julio 2019 15:29
Exportar:Clic aquí
Estadísticas:Clic aquí
Compartir:

Solamente administradores del repositorio: página de control del ítem

Vicerrectoría de Investigación: Número uno en investigación
Indexado por:
Indexado por Scholar Google WorldCat DRIVER Metabiblioteca OAIster BASE BDCOL Registry of Open Access Repositories SNAAC Red de repositorios latinoamericanos eprints Open archives La referencia Tesis latinoamericanas OpenDOAR CLACSO
Este sitio web se ve mejor en Firefox