Encuestas útiles: qué y como preguntar en una encuesta online (parte 1 )

Las 3 encuestas que destruirán la humanidad

Desde pequeño me gustó responder encuestas. No me pregunten por qué. Me gustaba cuando me paraban en la calle y me preguntaban cosas, y era de los que se quedaba al teléfono respondiendo la encuesta de satisfacción de algún servicio, o en la reja de la casa respondiendo quien sabe qué. Los encuestadores se ponían felices cuando yo aceptaba responder… eso, hasta que terminaba la encuesta.

Una vez que terminaba la encuesta, casi el 100% de las veces algo “no me cuadraba”. Sentía que no me preguntaban lo importante, no me quedaba claro el objetivo de la encuesta y quería saber cuando iba ver los resultados. Pero allí llegaba la decepción. El encuestador o encuestadora, no tenían la mas mínima idea del objetivo de la misma, que se haría con los resultados o por qué hacían tal o cual pregunta. Me indignaba… pero respondía la siguiente encuesta pensando que tendría respuestas.

Así fue pasando el tiempo, cada día mas decepcionado de las encuestas, hasta que vi la luz. Estudiando psicología, creo haber sido uno de los pocos alumnos de mi generación que amó el ramo de metodología de investigación y específicamente la parte de desarrollo de instrumentos de medición…. es decir, las encuestas!.

Aprendí sobre muestras, escalas de evaluación, validación de preguntas, dimensiones, análisis factorial, estadísticas sobre los resultados y muchas cosas que me hicieron mirar con aún mas decepción las encuestas que había respondido con tanta alegría desde pequeño, y que seguía viendo día a día. Ahora ya no solo había algo que “no me cuadraba”, sino que tenía la convicción científica y metodológica de que la mayoría de las encuestas apestaban, estaban mal hechas y no tenían sentido.

Así fue como aún estando en la universidad me fui especializando en medición de satisfacción organizacional y en algún momento de mi vida laboral termine como gerente de una empresa de estudios de mercado, decidido a hacer de las encuestas algo digno.

Como ven, realmente me apasionan las encuestas. Podría escribir un eBook sobre ellas, pero no es la idea abrumar al lector (ok, si quedó un poco largo), por lo que me voy a focalizar en algunos aspectos fundamentales, que son la elección del tipo de encuesta, los tipos de preguntas, el diseño de la encuesta y los errores que se deben evitar para hacer de tu encuesta un instrumento de incalculable valor para la gestión y el mejoramiento continuo de una organización, impactando finalmente en la vida de las personas. Como disclaimer, nos enfocaremos en encuestas online, sin entrar en la discusión metodológica sobre los problemas de diseño muestral propios de Internet.

Las 3 encuestas que destruirán la humanidad

Las encuestas han sido populares desde que Gallup en los años 30 fuera capaz de predecir la victoria de Roosevelt con un mínimo error basado en una muestra representativa. Luego de un largo camino y la llegada de internet, las encuestas online se fueron abriendo camino de manera bastante tímida (por lo s problemas de representatividad), popularizándose a medida que herramientas como surveymonkey o qualtrix fueron facilitando la creación de encuestas con plantillas que facilitaban la construcción y recolección. Hasta allí, todo estaba relativamente controlado, ya que generalmente especialistas hacían las encuestas, con los errores típicos de las encuestas telefónicas o de papel, pero no mucho más.

Pero llegó Google forms y con ello, una nueva era de democratización de las encuestas que fue pavimentando de clics, el camino al apocalipsis.

Es importante decir, que no estoy en contra de que las encuestas sean algo democrático, ya que de hecho, las encuestas de opinión pueden ser utilizadas para fortalecer la democracia. O que tenga algún problema personal con Google forms, que me parece genial. El problema es que con la democratización de las encuestas, también vino la “encuestinfoxicación”, es decir, la intoxicación de encuestas, su uso desmedido y el aumento del descuido en su diseño.

¿Pueden entonces las encuestas destruir la humanidad?. Puede que sea un título exagerado para llamar la atención del lector, pero tal vez no lo es tanto. Para explicar mejor el punto vamos a ver tres ejemplos de tipos de encuestas y sus efectos en la vida de las personas cuando son hechas “a la Google form”, esto es, utilizando solo los tipos de preguntas disponibles en esa plataforma, y usando solo la creatividad para hacer los ítems, sin un diseño o estrategia de medición.

Encuestas de opinión: Las encuestas de opinión son las más clásicas y las que popularizaron el concepto, especialmente después de Gallup y su acierto con Roosevelt. Son polémicas en si mismas pues miden opiniones, y por lo tanto están expuestas a sesgos inimaginables en su diseño. Preguntas como ¿Qué tan malvado considera a x candidato? pueden sonar exageradas, pero a niveles mas sutiles, la posibilidad de manipular los resultados con la redacción de las preguntas es impresionante.

Cuando estas encuestas son realizadas por centros especializado y oficiales, ya levantan sospechas. Se asume que un centro puede tener sesgos, y quienes resultan perjudicados en los resultados suelen devaluar la validez de la encuesta. Imaginen ahora el escenario “google forms”, donde cualquier grupo de personas con intereses similares, sea que tengan una agrupación formal, informal de una o miles de personas puede hacer una encuesta, compartirla en redes sociales, analizar sus resultados a la rápida con las estadísticas básicas que genera la herramienta, ponerlos en un pdf o web y compartirlos a diestra y siniestra con la autoridad que ellos mismos se otorgan y validando sus resultados porque “miles” de personas respondieron.

En tiempos donde la desinformación y la infoxicación con fake news y contenidos arbitrarios, esto puede ser fatal. Los resultados de estas encuestas al azar pueden formar nuevas opiniones, servir para manipulación de opiniones o simplemente confundir a la gente. En resumen… pueden destruir la humanidad.

Encuestas de Satisfacción: La medición de satisfacción es algo crucial a la hora de entregar servicios, y dentro del ámbito organizacional para medir el clima laboral. Este tipo de mediciones suelen ser mas complejas que las de opinión, pues requieren de dimensiones y análisis estadísticos que permitan determinar el nivel de influencia de un factor sobre otros en la satisfacción total, para así no tener que arreglar todo de una sola vez, sino que enfocarse en aquellas cosas que impactan mas.

Pero al igual que las encuestas de opinión, mal diseñadas se llenan de sesgos y sus resultados pueden terminar llevando a decisiones sin sentido. Por ejemplo se puso de moda el NPS o “net promoter score”, que si bien, puede ser una buena idea, mal ejecutada es cualquier cosa. Básicamente consiste en que digas del 1 al 10 si recomendarías el producto o servicio a otra persona, y asume que si dices 9 o 10, es que eres un cliente fiel. Eso, que suena bastante intuitivo, no necesariamente es así, ya que se pierde de los detalles, y por ejemplo una empresa que tiene miles de reclamos, podría ser recomendada porque no queda otra (tiene algún tipo de monopolio) o las expectativas son muy malas, pero al no saber el detalle, puede llegar un competidor, y hacer todo mejor y se acabo la fidelidad y el sentido del índice.

De este modo, hacer encuestas de satisfacción a diestra y siniestra, puede llevar a malas decisiones de diseño, poca claridad de las necesidades de los clientes y finalmente a malos productos o servicios = destrucción de la humanidad.

Encuestas organizacionales: Peor aún, en el mundo organizacional, las encuestas de clima laboral a diestra y siniestra pueden ser aún peores, ya que ¡toda encuesta es una intervención!, es decir, genera expectativas en los colaboradores, sobre que se van a hacer cosas para mejorar aquello sobre lo que se está preguntando.

De este modo, una encuesta mal hecha, por una parte no sirve para mejorar la organización , pues sus resultados no son accionables, y por otra parte generan una expectativa, sobre la cual, sin no se hace nada, solo genera mas desesperanza y desapego a la organización. En la misma línea, las evaluaciones de desempeño copiadas y pegadas de internet y mandadas con google form, poco aportan a un buen clima laboral o al mejoramiento de la carrera. En resumen… destrucción de la humanidad.

Entonces: ¿Cómo hacer encuestas que sirven y mejoran la humanidad?

Eso es lo que intentaré responder en la segunda y tercera parte de este artículo

Parte 2: 3 pasos cruciales para estructurar una encuesta

Si quieren profundizar en le tema, e incluso ver un tutorial en vivo de como hacer una encuesta de evaluación, les recomiendo ver el capítulo especial de We as a Service (WaaS) que hicimos con mi socia Hanna Back, donde hablamos de los temas anteriores y construimos una encuesta para analizar la madurez de procesos de una organización usando SurveyAnyplace.

Ver WaaS episodio 16: Medición no trascendental

Acerca del autor:

Andrés Bustamante Valenzuela es psicólogo organizacional de la Universidad Católica, magíster en Ingeniería de Negocios y Tecnologías de Información de la Universidad de Chile y cuenta con diplomados en Diseño de Servicios (UC) y en Teatro Musical (Projazz). Con más de 20 años de experiencia en tecnología, procesos, políticas públicas y transformación digital. Le apasiona la Realidad Virtual y cantar. Emprendedor, artista amateur, ex Director de Gobierno Digital de Chile, nombrado en 2018 por Apolytical UK como una de las 100 personas mas influyentes del mundo en Gobierno Digital. Actualmente Cofounder y socio de Authomata.io

Share on facebook
Facebook
Share on google
Google+
Share on twitter
Twitter
Share on linkedin
LinkedIn
Share on pinterest
Pinterest

Deja un comentario