Pequeña ilustración de grandes problemas: los datos del SNSP

Por: José Merino (@PPmerino) y Eduardo Fierro (@EDUFIERRO)

Muchos hablamos de las estadísticas de incidencia delictiva que publica mensualmente el Sistema Nacional de Seguridad Pública (SNSP); gustamos de hacer mapas y analizar lo que pasa en cada municipio del país. Pero a pesar de saber que los datos tienen errores naturales debido a su proceso de captura, poco hemos hecho para conocer qué tan grave es el error. Esta vez decidimos, después de encontrar varias inconsistencias al analizar el caso de los secuestros en Valle de Bravo, estudiar qué tan serio es el problema al que nos enfrentamos.

No estamos improvisando. Hemos guardado datos mensuales reportados en el portal del SNSP desde hace un año, lo que nos permite por ejemplo comparar valores para un mismo mes en distintos cortes de la base de datos y encontrar, por ejemplo, si los valores previamente reportados son posteriormente modificados.

Antes de hacer esto, empecemos, como lo hace el SNSP, cuando queremos descargar los datos de su página (una tortura, hay que decirlo). El SNSP advierte que no todos los delitos están geo-referenciados a nivel municipal, y que los datos están sujetos a errores, mismos que pueden ser reportados al SNSP.

¿Qué hacer entonces cuando no hay delitos geo-referenciados a nivel municipal? Marcarlos como un valor faltante, no como un cero. De otro modo se está reportando una cifra falsa: estamos asumiendo que en el municipio X no ocurrió ningún delito, cuando en realidad lo que las procuradurías estatales nos quieren decir es que no saben en qué municipio ocurrió el delito Y.

Secuestros: De valores faltantes a ceros

Con el paso de los meses, hemos recopilado la misma base de datos de incidencia delictiva, publicada por el SNSP, para distintos cortes en el tiempo. Particularmente, desde noviembre de 2013, hemos logrado descargar (con ayuda de Diego Valle) mes con mes la última actualización de los datos del SNSP. Esto nos permite comparar cómo cambian los valores de meses anteriores en las nuevas versiones de la base de datos. Hay dos bases disponibles, una que agrega todos los delitos a nivel de estados, sin identificar municipios, y otra que reporta los delitos al nivel municipal.
16_SegSecuestroEDO 2

Empecemos con el mes de noviembre de 2013 y el delito de secuestro. En la gráfica superior, se muestra cómo estaba compuesta la base de datos a nivel municipal para cada estado cuando fueron publicados los datos por primera vez (es decir la primera barra de cada estado) y cómo fue cambiando con las actualizaciones mensuales (ver las barras posteriores). En otras palabras, la primera de las barras muestra la composición de los datos de secuestro para noviembre de 2013 cuando éstos fueron dados a conocer, la segunda muestra la composición de estos mismos datos el mes posterior, y así sucesivamente hasta julio de 2014.

Los casos comunes (y que nos parecen naturales) son, por ejemplo, Baja California. Desde noviembre de 2013 hasta la fecha, reportan tres municipios sin averiguaciones previas por secuestro en ese mes, y dos municipios reportan al menos una averiguación previa por secuestro.

En el otro extremo, encontramos estados como San Luis Potosí: hasta enero, parecería que el estado no contaba con información sobre el número de secuestros a nivel municipal –100% de los municipios aparecía con valores faltantes– hasta su actualización en febrero de 2014, cuando de repente 98% de éstos se volvieron ceros y en sólo un municipio apareció una averiguación previa por secuestro.

Otro de los casos paradigmáticos es el Distrito Federal. Cuando descargamos la base de datos con la primera actualización de noviembre, no podíamos saber nada sobre los secuestros en la capital del país a nivel delegación. Sin embargo, en las actualizaciones posteriores, 15 delegaciones cambian su valor faltante por cero. Lo que se interpreta como que NO hay denuncias por secuestros ocurridos/registrados en estas delegaciones (para ver más sobre el debate entre si los datos se encuentran por lugar de ocurrencia o registro, ver éste blog de México Evalúa).

Tal vez, sólo tal vez, ver únicamente el seguimiento de noviembre puede ser un poco injusto. Puede ser que justo noviembre fue un mes complicado para la procuraduría de San Luís Potosí.

Veamos entonces el seguimiento de todos los meses (de noviembre de 2013 a julio de 2014) y el promedio de valores faltantes, ceros y números mayores a cero.
25_ContSecuEDO_baseMun 2

En este caso, la primera barra muestra el porcentaje de ceros, valores faltantes y números mayores a ceros el mes de la publicación de los datos únicamente para secuestros y para los datos del mes en que se dieron a conocer. La segunda barra muestra los mismos valores para el mismo delito y el mismo mes, pero un mes después de su actualización, y así sucesivamente, hasta que la última barra muestra los valores, por ejemplo, de noviembre de 2013, en la base en la que se dieron a conocer los valores de julio de 2014.

De nuevo, Baja California parece ser un caso de éxito: es consistente en su reportes de secuestro en el tiempo, y no hay cambios brutales de valores faltantes a ceros.

Otros de los casos, si bien raros pero al menos consistentes, son aquellos como Hidalgo y Chihuahua, en donde en promedio 97.9% y 99.2% de sus municipios tienen valores faltantes en todas las actualizaciones de la base. Es decir, tienen un problema en la geo-referenciación de denuncias por secuestro a nivel municipal, lo saben y así lo publican.

Lo inaceptable viene de estados como San Luís Potosí y Chiapas. Por ejemplo, en Chiapas, considerando los meses entre noviembre de 2013 y julio de 2014, cuando se publican estos datos hay 33.5% de ceros y 64.4% de valores faltantes. Sin embargo, cuatro meses después (considerando sólo noviembre 2013 – marzo 2014), cambia a 66.9% de ceros y 30% de valores faltantes. En pocas palabras, por ejemplo, en cuatro meses la procuraduría estatal decidió que en promedio no existieron denuncias por secuestros en 86 municipios de Chiapas de 122.
34_EneroSecuEDO_baseEdo 2

Lo anómalo de lo anterior, es que el número total de secuestros a nivel estatal no cambia cuando cambia el tiempo de la publicación de la base de datos. En pocas palabras, es un problema de las procuradurías al confundir “no hay denuncias por secuestro registrados en este municipio” con “no sé si hay denuncias por secuestro en este municipio” o “no sé si la denuncia por secuestro es de este municipio o de cualquier otro”.

El caso de los homicidios dolosos con arma de fuego

El mismo ejercicio para secuestros lo hicimos para los homicidios dolosos con arma de fuego, con la esperanza de que al tratarse de un delito que las procuradurías persiguen de oficio, los problemas y confusiones entre ceros y valores faltantes se redujeran. No fue así.
26_ContHomDolEDO_baseMun 2

Esta vez a Chiapas y San Luis Potosí se le suma Veracruz y Baja California Sur como los estados en donde parece que los valores faltantes cambian mágicamente a cero.

Tomemos como ejemplo el caso de Veracruz. Hasta mayo de 2014, se dieron a conocer datos de homicidios dolosos con arma de fuego a nivel municipal. De estos, en 41 municipios se cambió el valor faltante a cero, sólo en 10 se registró algún homicidio con arma de fuego, y en el resto se dejó el valor faltante. En otras palabras, en uno de los estados más violentos del país, se cambiaron de valor faltante a cero los datos en 20% de los municipios veracruzanos cuatro meses después de que se dieron a conocer los datos por primera vez.

Robo de Vehículos

Finalmente, repetimos el mismo ejercicio para el delito de robo de vehículos sin violencia, pensando que son delitos que muchas veces deben denunciarse por cuestiones del seguro.
27_RobVeh_baseMun 2

Aunque el panorama de Veracruz y Chiapas parece ser similar, en el resto de los estados se percibe continuidad en el número de valores faltantes. Por ejemplo, siguiendo el mes de noviembre en el Estado de México, en las primeras dos actualizaciones de la base de datos, todos los municipios tenían valores faltantes en este delito, pero para la siguiente actualización, 82 municipios tenían un valor mayor a cero y 41 un valor de cero. En cambio, en Chiapas, después de haberse dado a conocer los datos (80 municipios faltantes y 21 municipios con ceros), para el siguiente mes, los valores de noviembre se cambiaron a 74 municipios con ceros y 27 faltantes.

Entonces…

Algo es seguro: las procuradurías estatales están confundiendo el significado de un valor faltante en una base de datos con el significado de un cero. Por ejemplo, es difícil creer que en 15 de las 16 delegaciones del Distrito Federal no hay secuestros (o lo que es lo mismo, que todos los secuestros del Distrito Federal ocurren sólo en una delegación).

Por esta confusión, por presión de presentar datos ante la opinión pública, o por cualquier otra razón, lo verdaderamente inaceptable es cambiar valores faltantes a ceros, sin tener certeza que en ese municipio no hay en realidad denuncia alguna por el delito especificado.

——————————————————————–

Nota metodológica:

Desde noviembre de 2013, se han descargado mensualmente las bases de datos completas a nivel municipal de incidencia delictiva. Cada una de las bases se analizó por delito, “corte” y estado.

La última actualización de estas bases de datos, puede ser descargada de aquí.