Sistema de control a distancia para personas con discapacidad auditiva y del habla mediante el procesamiento digital de imágenes

Abstract

Durante este proyecto se buscó la manera de mejorar la accesibilidad para personas con discapacidades en el hogar, con el enfoque en personas que presentan discapacidades auditivas y del habla, se buscó el desarrollo de un prototipo que mejore su calidad de vida donde se abordó la selección e identificación de señas, el diseño, la creación e implementación física del prototipo mediante el uso de tecnologías actuales, con ayuda del procesamiento digital de imágenes e inteligencia artificial utilizando el lenguaje de programación de Python y algunas de sus librerías como Computer Vision, TensorFlow, en la creación del sistema de procesamiento y clasificación con ayuda de Teachable Machine, así como la captura de datos para el entrenamiento del modelo. Para el entrenamiento del modelo, se usó Teachable Machine el cual se entrenó con 4 señas del lenguaje seleccionado, las señas se pasarán al programa de procesamiento y dependiendo de la seña que se reconozca en la tarjeta de desarrollo ESP32 CAM, se activara o desactivara un dispositivo eléctrico, se empleara una bombilla como ejemplo y debido a limitaciones de la tarjeta se realizara solo para 2 dispositivos, ya que, se pueden controlar hasta 10 dispositivos. El prototipo se construye con el propósito de buscar una alternativa que mejore la calidad de vida en personas con estas discapacidades mediante la aplicación de un sistema inteligente que permite el control de dispositivos a distancia en el hogar mediante señas, tal como Alexa o Google Home (con limitaciones), pero con la idea de aplicar el procesamiento digital de imágenes y no de voz. Por último, se analizan posibles mejoras del prototipo con ayuda de las tarjetas de Raspberry Pi.