Safety helmet wearing detection in workers images using the Bag of Visual Words (BoVW) method

Authors

  • Teth Azrael Cortes Aguilar Tecnológico Nacional de México, ITJMMPyH. Departamento de Sistemas Computacionales y Electrónica. Zapopan, Jalisco. México https://orcid.org/0000-0003-3005-0300
  • Adriana Tovar Arriaga Tecnológico Nacional de México, ITJMMPyH. Departamento de Sistemas Computacionales y Electrónica. Zapopan, Jalisco. México

DOI:

https://doi.org/10.30973/progmat/2023.15.3/2

Keywords:

Personal protective equipment, Bag of visual words, Supervised learning, Computer vision

Abstract

The safety helmet is an essential personal protective equipment to prevent fatal accidents in factories and building sites. The problem is that many places do not perform proper inspections, particularly when this task is done by people. However, automatic detection of objects through computer vision systems with low cost cameras and artificial intelligence algorithms such as the Bag of Visual Word (BoVW) method are a suitable option to inspect at the access control point that workers and occasional visitors wear safety helmets before entering hazardous areas. In this paper we report that the training stage was performed with experimental images arranged into two classes, obtained after applying an edge detection filter and a previous reduction of their original size. As a result, the average training time was reduced to 11.9 seconds and a 95.8% accuracy was achieved. The test stage was carried out with images downloaded from the internet, the average testing time was reduced to 0.63 seconds and an 88.3% accuracy was achieved. It shows that the bag of visual words method has a good performance on the speed and accuracy of the safety helmet detection task.

Author Biographies

Teth Azrael Cortes Aguilar, Tecnológico Nacional de México, ITJMMPyH. Departamento de Sistemas Computacionales y Electrónica. Zapopan, Jalisco. México

El Dr. Teth Azrael Cortes Aguilar es profesor investigador de tiempo completo en la unidad académica Zapopan del Instituto Tecnológico José Mario Molina Pasquel y Henríquez, cuenta con reconocimiento de perfil deseable PRODEP del Tecnológico Nacional de México. En 2003 recibió el título de ingeniero en Comunicaciones y Electrónica por la Universidad de Guadalajara. En 2005 recibió el grado de Maestro en Ciencia en Óptica por el centro de investigación CICESE, Ensenada, Baja California. En 2022 recibió el grado de Doctor en Manufactura Avanzada por CIATEQ, unidad Jalisco.

Adriana Tovar Arriaga, Tecnológico Nacional de México, ITJMMPyH. Departamento de Sistemas Computacionales y Electrónica. Zapopan, Jalisco. México

La profesora Adriana Tovar Arriaga recibió en 1999 el título de Ingeniera en Sistemas Computaciones por el Instituto Tecnológico de Querétaro y en 2016 el grado de Maestría en Sistemas Computacionales por el Instituto Tecnológico Superior de Zapopan. Actualmente se desempeña como docente en el departamento de Ciencias Computacionales en la Universidad ITESO y en la carrera de Ingeniería en Sistemas Computacionales de la unidad académica Zapopan del Instituto Tecnológico José Mario Molina Pasquel y Henríquez. Tiene el reconocimiento de perfil deseable PRODEP por el Tecnológico Nacional de México.

References

Equipo de Protección Personal, Selección, uso y manejo en los centros de trabajo, NOM-017-STPS-2008, Secretaria de Trabajo y Previsión Social, México. Diciembre 2008. Recuperado el 19 de junio de 2023 de: https://www.dof.gob.mx.

Massiris, M., Delrieux C., Fernández J.A. Detección de equipos de protección personal mediante red neuronal convolucional YOLO, en Actas de las XXXIX Jornadas de Automática, Badajoz, España, 1022-1029, Sep. 2018, doi: https://doi.org/10.17979/spudc.9788497497565.1022.

Hayat A., Morgado-Dias, F. Deep Learning-Based Automatic Safety Helmet Detection System for Construction Safety, Applied Sciences. 2022, 12(16), doi: https://doi.org/10.3390/app12168268

Massiris, M., Fernández, J.A., Bajo, J., Delrieux, C. Sistema automatizado para monitorear el uso de equipos de protección personal en la industria de la construcción,Revista Iberoamericana de Automática e Informática industrial, 2020. 18(1), 68–74, doi: https://doi.org/10.4995/riai.2020.13243.

Zhou, F., Zhao H., Nie Z. Safety Helmet Detection Based on YOLOv5, in 2021 IEEE Int. Conf. on Power Electronics, Computer Applications (ICPECA), Shenyang, China, 2021, 6-11, doi: https://doi.org/10.1109/ICPECA51329.2021.9362711.

Karim A.A.A., Sameer R.A. Image Classification Using Bag of Visual Words (BoVW), Al-Nahrain Journal of Science. 2018, 21(4), 76-82, doi: https://doi.org/10.22401/ANJS.21.4.11.

Cortés, X., Conte D., Cardot, H. A new bag of visual words encoding method for human action recognition, in 24th Int. Conf. on Pattern Recognition (ICPR), Beijing, China, 2018, 2480-2485, doi: https://doi.org/10.1109/ICPR.2018.8545886.

Molefe M., Tapamo, J.R. Classification of Rail Welding Defects Based on the Bag of Visual Words Approach, in 13th Mexican Conf. of Pattern Recognition (MCPR-2021), E. Roman-Rangel et al. (Eds.) Jun. 2021, CDMX, México, 207-218, doi: https://doi.org/10.1007/978-3-030-77004-4_20.

Saini M., Susan S. Comparison of Deep Learning, Data Augmentation and Bag of-Visual-Words for Classification of Imbalanced Image Datasets, in Recent Trends in Image Processing and Pattern Recognition, K. Santosh, R. Hegadi (Eds.) Communications in Computer and Information Science, Vol. 1035. Springer, Singapore, Jul. 2019, doi: https://doi.org/10.1007/978-981-13-9181-1_49.

Okafor E. Pawara P., Karaaba F., Surinta O., Codreanu V., Schomaker L. Wiering M. Comparative study between deep learning and bag of visual words for wild-animal recognition, in 2016 IEEE Symposium Series on Computational Intelligence (SSCI), Athens, Greece, 2016, 1-8, doi: https://doi.org/10.1109/SSCI.2016.7850111.

Gidaris, S., Bursuc, A. Puy, G. Komodakis, N. Cord M. Pérez P. OBoW: Online Bag-of-Visual-Words Generation for Self-Supervised Learning, in 2021 IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 2021, 6826-6836, doi: https://doi.org/10.1109/CVPR46437.2021.00676.

Saini M. Susan S. Bag-of-Visual-Words codebook generation using deep features for effective classification of imbalanced multi-class image datasets, Multimedia Tools and Applications. 2021, 80, 20821–20847, doi: https://doi.org/10.1007/s11042-021-10612-w.

Di Benedetto, M., Carrara, F., Meloni, E., Amato, G., Falchi, F., Gennaro, C. Learning accurate personal protective equipment detection from virtual worlds. Multimedia Tools and Applications, 2021, 80, 23241–23253, doi: https://doi.org/10.1007/s11042-020-09597-9.

Otgonbold, M.E. Gochoo, M. Alnajjar, F. Ali, L. Tan, T.H. Hsieh, J.W., Chen, P.Y. SHEL5K: An Extended Dataset and Benchmarking for Safety Helmet Detection. Sensors, 2022, 22(6), doi: https://doi.org/10.3390/s22062315.

Huang, L., Fu, Q., He, M., Jiang, D., Hao, Z. Detection algorithm of safety helmet wearing based on deep learning. Concurrency and Computation. 2021, 33(13), doi: https://doi.org/10.1002/cpe.6234.

Son, H., Choi, H., Seong, H., Kim, C. Detection of construction workers under varying poses and changing background in image sequences via very deep residual networks, Automation in Construction. 2019, 99, 27-38, doi: https://doi.org/10.1016/j.autcon.2018.11.033.

Organista, V.D., Montero, J.A., Martínez M., Cárdenas, E. Extracción y selección de caracteristicas en imágenes digitales mostrando lesione de piel, Programación Matemática y Software. 2021, 13(3), 91-104, doi: https://doi.org/10.30973/progmat/2021.13.3/7.

D.L. Hernández y J.P. Sánchez. Redes neuronales convolucionales para el reconocimiento de imágenes con presencia de cenicilla polvorienta en cultivos de tomate, Programación Matemática y Software. 2022, 14(3), 21-28, doi: https://doi.org/10.30973/progmat/2022.14.3/3.

Echeverría, D., Mosso, A., Dzul, R.I., Lória, J.E., Pech, G.I.A., Decena C.A., González, R.J. Plataforma didáctica para robótica articulada por medio de una interfaz gráfica, Programación Matemática y Software. 2022, 14(3), 37-46, doi: https://doi.org/10.30973/progmat/2022.14.3/5.

Gettyimages. Search: worker and worker with helmet. Recuperado el 29 de mayo de 2023 de: https://www.gettyimages.com.mx.

Matlab. Encontrar los bordes de una imagen 2D en escala de grises. Recuperado el 12 de junio de 2023 de: https://la.mathworks.com/help/images/ref/edge.html

Artículo 2

Published

2023-10-27

How to Cite

Cortes Aguilar, T. A., & Tovar Arriaga, A. (2023). Safety helmet wearing detection in workers images using the Bag of Visual Words (BoVW) method. Programación Matemática Y Software, 15(3), 13–23. https://doi.org/10.30973/progmat/2023.15.3/2