Cómo medimos la detección
Antes de instalar Te Tengo en una casa, probamos el clasificador de caídas con videos públicos. Aquí está cómo lo hicimos, qué resultó y qué no sabemos todavía.
- Sensibilidad
- 81,2 %
- Especificidad
- 81,1 %
Los datos
-
URFD (Kwolek y Kepski, 2014)
30 caídas y 40 actividades cotidianas, de las cuales 16 terminan con la persona acostada en el suelo a propósito. Cámara a la altura del cuerpo.
-
CAUCAFall (Eraso Guerrero et al., 2022)
10 personas, cada una con 5 caídas (hacia adelante, hacia atrás, a la izquierda, a la derecha y desde sentado) y 5 actividades (caminar, saltar, recoger un objeto, sentarse y arrodillarse): 100 videos. Cámara elevada en una esquina de una casa, con obstáculos y cambios de luz.
Ninguno de los dos incluye adultos mayores ni caídas reales.
Cómo lo probamos
- El mismo procesamiento que en la casa: cada video se reduce a 480p y 8 imágenes por segundo, se comprime en JPEG como lo hace Te Tengo Captura y pasa por MediaPipe Pose y el mismo clasificador cinemático. No se entrena ningún modelo.
- Un video de caída cuenta como acierto si el clasificador emite al menos una caída. Un video de actividad cotidiana cuenta como falsa alarma si emite alguna.
- Sensibilidad es la proporción de caídas detectadas; especificidad, la proporción de actividades cotidianas sin alarma.
- Dejando un grupo fuera: hay 11 grupos (cada persona de CAUCAFall y todo URFD). Cada grupo se evalúa con el umbral calibrado sin sus videos, para no medir con los mismos datos con los que se ajustó.
Resultados
| Grupo | Caídas | No caídas | Sensibilidad | Especificidad | Exactitud |
|---|---|---|---|---|---|
| Total | 80 | 90 | 81,2 % | 81,1 % | 81,2 % |
| URFD | 30 | 40 | 76,7 % | 77,5 % | 77,1 % |
| CAUCAFall | 50 | 50 | 84,0 % | 84,0 % | 84,0 % |
Por tipo de actividad
- CAUCAFall · caída hacia atrás
- 10 de 10 detectadas
- CAUCAFall · caída a la izquierda
- 9 de 10
- CAUCAFall · caída hacia adelante
- 8 de 10
- CAUCAFall · caída a la derecha
- 8 de 10
- CAUCAFall · caída desde sentado
- 7 de 10
- CAUCAFall · saltar
- 0 de 10 falsas alarmas
- CAUCAFall · caminar, sentarse
- 1 de 10 falsas alarmas cada una
- CAUCAFall · arrodillarse, recoger un objeto
- 3 de 10 falsas alarmas cada una
- URFD · caídas
- 23 de 30 detectadas
- URFD · actividades cotidianas
- 9 de 40 falsas alarmas; 6 al acostarse en el suelo a propósito
Ninguna de las 30 caídas de URFD dio un falso aviso de recuperación. A 6 y a 10 imágenes por segundo, la sensibilidad fue de 76,2 % y 81,2 %, y la especificidad de 83,3 % y 84,4 %.
Lo que todavía no sabemos
- Acostarse en el suelo a propósito se confunde con una caída en 6 de 16 casos de URFD.
- Recoger un objeto y arrodillarse dan falsas alarmas en 3 de cada 10 casos con la cámara elevada.
- La calibración depende de dónde está la cámara: se repetirá con las grabaciones de la prueba piloto.
- No hay adultos mayores ni caídas reales en los datos. La tasa real de falsas alarmas se medirá en la casa.
- La validación es por video, no por instante: no mide cuánto tarda en llegar la alerta.
Referencias
- Chen, W., Jiang, Z., Guo, H., & Ni, X. (2020). Fall detection based on key points of human-skeleton using OpenPose. Symmetry, 12(5), 744. doi.org/10.3390/sym12050744 (se abre en otra pestaña)
- Eraso Guerrero, J. C., Muñoz España, E., Muñoz Añasco, M., & Pinto Lopera, J. E. (2022). Dataset for human fall recognition in an uncontrolled environment. Data in Brief, 45, 108610. doi.org/10.1016/j.dib.2022.108610 (se abre en otra pestaña)
- Kwolek, B., & Kepski, M. (2014). Human fall detection on embedded platform using depth maps and wireless accelerometer. Computer Methods and Programs in Biomedicine, 117(3), 489–501. doi.org/10.1016/j.cmpb.2014.09.005 (se abre en otra pestaña)
- Youden, W. J. (1950). Index for rating diagnostic tests. Cancer, 3(1), 32–35. doi.org/10.1002/1097-0142(1950)3:1<32::AID-CNCR2820030106>3.0.CO;2-3 (se abre en otra pestaña)