Las 21 principales amenazas a la validez externa
La validez externa se refiere al nivel en el que los resultados de la investigación y las conclusiones de un estudio se pueden aplicar al mundo fuera del contexto de ese estudio en particular.
Significa hasta qué punto los resultados de un estudio son generalizables o transferibles a otros entornos o contextos (Kam & Meyer, 2019).
En general, la validez externa es más alta cuando los participantes de un estudio representan exactamente a la población que se pretende generalizar.
En un ensayo clínico en el que se prueba un nuevo medicamento, por ejemplo, la validez externa sería fuerte si los participantes incluyeran grupos de edad variados, de ambos sexos y personas de una amplia gama de economías y culturas.
Amenazas a la validez externa
1. Efecto Hawthorne
El Efecto Hawthorne se refiere a la modificación del comportamiento donde los individuos alteran su desempeño o comportamiento debido a la conciencia de ser observados (Adair, 2010).
Como tal, esto afecta la validez externa ya que los participantes pueden comportarse de manera diferente cuando se los observa, sesgando los resultados y poniendo en peligro la generalización.
En el contexto de un estudio de eficiencia en el lugar de trabajo, por ejemplo, los empleados que saben que están siendo observados pueden trabajar más de lo habitual.
En consecuencia, es posible que los hallazgos del estudio no indiquen con precisión sus niveles típicos de productividad.
2. Efecto placebo
El Efecto Placebo es un fenómeno psicológico en el que una persona experimenta una mejora percibida en las condiciones debido a su creencia en la eficacia de un tratamiento, incluso cuando es inerte (Price, Finniss, & Benedetti, 2010).
Esto puede desafiar la validez externa, ya que cualquier efecto observado puede atribuirse a las creencias de los participantes en lugar del tratamiento en sí.
Por ejemplo, en un experimento de eficacia de un medicamento, si los participantes que reciben un placebo informan una mejora, no se debe al efecto del medicamento sino a sus expectativas.
Esto confunde los resultados del estudio, lo que dificulta la generalización a poblaciones más grandes.
3. Sesgo de muestreo
El sesgo de muestreo surge cuando los participantes del estudio no son representativos de la población más grande prevista para la generalización (Bethlehem, 2010).
Esta amenaza a la validez externa puede ocurrir debido a la selección no aleatoria o la autoselección de los participantes.
Por ejemplo, un estudio sobre nutrición infantil puede perder validez externa si solo se muestrean niños de familias de altos ingresos. Los hallazgos, en este caso, pueden no ser generalizables a niños de otros entornos socioeconómicos.
4. Sesgo del observador
El sesgo del observador ocurre cuando los investigadores proyectan inconscientemente sus expectativas o creencias en los participantes o interpretan los hallazgos en función de sus predisposiciones, distorsionando así los resultados.
Este sesgo compromete la validez externa ya que dificulta el registro preciso y objetivo de los datos.
Por ejemplo, en un estudio sobre el comportamiento de los estudiantes, si el investigador asume que los niños son más disruptivos, es posible que preste más atención y denuncie el mal comportamiento de los niños. En consecuencia, la generalización de los hallazgos del estudio se ve comprometida.
5. Validez de la Medida
La validez de la medición se refiere a qué tan bien un estudio mide con precisión lo que pretende medir, por lo que se relaciona directamente con la validez externa (Gall, Gall & Borg, 2014).
Si la investigación carece de validez de medición, es menos probable que los resultados se apliquen en otras situaciones, contextos o poblaciones.
Por ejemplo, si una prueba que mide la comprensión de lectura está muy sesgada hacia textos científicos complicados, es posible que no mida con precisión la capacidad de una persona para comprender otros tipos de textos. En consecuencia, la generalización de los hallazgos a otros géneros sería dudosa.
6. Sesgo de selección
El sesgo de selección surge cuando los individuos elegidos para el estudio no se eligen al azar o no son representativos de la población en general (Rothman, Greenland y Lash, 2012).
Esto puede poner en peligro la validez externa en la medida en que limita la generalización de los hallazgos.
Por ejemplo, si un estudio sobre los efectos de un nuevo medicamento para la diabetes solo selecciona participantes relativamente jóvenes y en buen estado físico, es posible que los resultados no se extiendan a personas mayores o más enfermas.
Por lo tanto, el sesgo de selección puede impedir la aplicabilidad de los hallazgos del estudio a poblaciones más amplias.
7. Contaminación
La contaminación se refiere a la influencia no deseada de variables externas que afectan los resultados de un estudio (Dal Bó & Dal Bó, 2014).
Plantea un riesgo para la validez externa al afectar las condiciones del estudio y, posteriormente, su generalización.
En un estudio de investigación que compara dos estrategias educativas, por ejemplo, la contaminación podría ocurrir si los participantes de un grupo discuten técnicas con el otro grupo.
Por lo tanto, los efectos observados podrían no reflejar únicamente el impacto de las estrategias educativas, limitando su generalización.
8. Validez ecológica
La validez ecológica se relaciona con el grado en que los hallazgos de un estudio pueden generalizarse a entornos o condiciones de la vida real (Gall, Gall & Borg, 2014).
Un desafío a la validez ecológica da como resultado una validez externa reducida, ya que los hallazgos del estudio pueden no transferirse bien a los entornos cotidianos.
Por ejemplo, las técnicas de negociación exitosas probadas en condiciones de laboratorio pueden no ser efectivas en negociaciones del mundo real, como negocios o política. Por lo tanto, podría ser un desafío aplicar los hallazgos del estudio más allá del entorno de laboratorio.
9. Validez de la población
La validez de la población se refiere al grado en que los resultados de un estudio pueden generalizarse a una población más amplia (Kratochwill & Levin, 2010).
Una amenaza a la validez de la población limita la generalización del estudio.
Por ejemplo, un estudio sobre el uso de teléfonos inteligentes utilizando una muestra compuesta únicamente por estudiantes universitarios podría no representar con precisión los patrones de uso en grupos de edad más amplios. Por lo tanto, es posible que los hallazgos no se extiendan a adultos mayores o adolescentes.
10. Vigencia Temporal
La validez temporal implica la medida en que los hallazgos de un estudio se mantienen verdaderos a lo largo del tiempo.
Si es bajo, los resultados pueden ser específicos del tiempo, lo que restringe la validez externa general.
Por ejemplo, un estudio en una ciudad completado en los años posteriores a un evento social dominante, como un evento deportivo internacional en la ciudad, podría no arrojar los mismos resultados si se replica una década más tarde.
Por lo tanto, la generalización de los hallazgos puede estar temporalmente limitada.
11. Especificidad de la situación
La especificidad de la situación se refiere a la singularidad de una situación que podría limitar la generalización de los resultados de la investigación (Gall, Gall y Borg, 2014).
Cuanto más específica sea la situación o condición bajo la cual se realizó el estudio, más estrecho será el alcance de su validez externa.
Una investigación sobre la dinámica del equipo en un contexto militar, por ejemplo, puede arrojar resultados diferentes si se aplica en un entorno corporativo. Por lo tanto, los hallazgos pueden no extenderse más allá de los equipos militares, lo que limita su aplicabilidad.
12. Validez transcultural
La validez transcultural representa el grado en que los hallazgos de un estudio son aplicables a varios grupos culturales (Matsumoto & Van de Vijver, 2011).
Si no se tienen en cuenta las diferencias culturales, se compromete la generalización de los resultados entre diversas culturas.
Por ejemplo, un estudio de salud mental realizado dentro de un marco cultural occidental podría no mantener su validez cuando se aplica a diferentes contextos culturales. Por lo tanto, los resultados podrían no generalizarse más allá del contexto cultural original, lo que afectaría la validez externa del estudio.
13. Subrepresentación de construcciones
La subrepresentación de constructo ocurre cuando la investigación no captura suficientemente el concepto teórico que pretende medir (Messick, 2011).
Esto compromete la validez externa, ya que el enfoque estrecho puede no representar adecuadamente el concepto más amplio.
Por ejemplo, en un estudio que evalúa la inteligencia utilizando solo pruebas basadas en matemáticas, es probable que el alcance sea demasiado limitado. Por lo tanto, los hallazgos podrían no generalizarse a construcciones más amplias de inteligencia, como la inteligencia verbal o social.
14. Variación del tratamiento
La variación del tratamiento se refiere a las inconsistencias o desviaciones en la administración de los tratamientos experimentales.
Esto amenaza la validez externa ya que las variaciones pueden oscurecer los efectos reales de la intervención, afectando su aplicabilidad.
En un estudio que prueba una estrategia de enseñanza, si el enfoque varía significativamente entre diferentes aulas, socava la capacidad de generalizar los resultados a otros entornos. Por lo tanto, las inconsistencias en la entrega del tratamiento pueden limitar significativamente la generalización de un estudio.
15. Falta de replicación
La falta de replicación se refiere a la incapacidad de duplicar los resultados de un estudio en otros entornos o con diferentes participantes (Cumming, 2012).
Esta limitación dificulta la validez externa al restringir la generalización de los hallazgos.
Por ejemplo, si un estudio sobre dieta y pérdida de peso no se puede replicar entre diversas muestras de participantes, los hallazgos pueden seguir siendo cuestionables y menos aplicables a un grupo demográfico más amplio. Por lo tanto, la replicación es la piedra angular de una investigación sólida y su ausencia puede limitar significativamente la validez externa.
16. Interacción de tiempo y tratamiento
La interacción de tiempo y tratamiento se refiere a una situación en la que los efectos del tratamiento varían según el momento de su administración (Cook & Campbell, 2018).
Si los efectos de un tratamiento dependen en gran medida del momento en que se administran, la capacidad de generalizar los resultados disminuye.
Por ejemplo, un programa de lectura de verano podría tener más éxito cuando se implementa al principio que al final del verano. En este caso, la interacción del tiempo y el tratamiento puede limitar la capacidad del estudio para generalizar en diferentes períodos de tiempo.
17. Efectos del experimentador
Los efectos del experimentador se refieren a la influencia que el comportamiento, las características o las expectativas del experimentador pueden tener en los resultados del estudio (Levitt & List, 2011).
Estos efectos pueden distorsionar los resultados y amenazar su generalización.
Por ejemplo, las expectativas de un investigador pueden influir sutilmente en la puntuación de las respuestas de los participantes, lo que lleva a resultados sesgados. Como resultado, la verdadera validez externa del estudio podría verse comprometida.
18. Interferencia de tratamientos múltiples
La interferencia de múltiples tratamientos ocurre cuando se administran múltiples tratamientos en un estudio, lo que puede influir en los resultados de cada uno.
Esto interfiere con la validez externa al complicar el aislamiento de efectos debido a tratamientos individuales.
Por ejemplo, en un estudio de salud, si los participantes están expuestos tanto a un nuevo régimen de ejercicio como a un plan de dieta, puede ser difícil determinar cuál es el principal responsable de las mejoras de salud observadas.
En consecuencia, la generalización de los hallazgos del estudio a otros entornos en los que solo se aplica una intervención se vuelve complicada.
19. El efecto Rosenthal
El efecto Rosenthal, o efecto de expectativa del experimentador, surge cuando las expectativas preconcebidas o los sesgos de un investigador influyen sin saberlo en el desempeño del participante (Rosenthal, 2012).
Al guiar sutilmente a los participantes hacia el resultado esperado, el investigador puede sesgar los resultados, lo que amenaza la validez externa.
En un estudio que investiga la eficacia de un nuevo método de enseñanza, si un investigador comunica sutilmente altas expectativas a ciertos estudiantes, esto podría inflar injustamente su desempeño.
Por lo tanto, la eficacia real del método de enseñanza puede verse distorsionada, lo que impide su generalización.
20. Sesgo de falta de respuesta
El sesgo de falta de respuesta se refiere al sesgo de los resultados del estudio debido a respuestas diferenciales entre participantes y no participantes (Groves, 2011).
Este sesgo plantea una seria amenaza para la validez externa, ya que los hallazgos pueden no representar con precisión a la población en general.
Por ejemplo, en una encuesta de salud comunitaria, si solo responden personas conscientes de la salud, los resultados pueden exagerar las prácticas de salud de la comunidad en general. En consecuencia, la generalización de los resultados se ve comprometida.
21. Generalización excesiva
La sobregeneralización ocurre cuando un investigador aplica los hallazgos de un estudio a una población o contexto mucho más allá de la muestra utilizada (Malterud, 2012).
Esto amenaza la validez externa al sobrestimar la aplicabilidad de los resultados.
Si un estudio sobre técnicas de manejo del estrés en una empresa local se generaliza en exceso a todos los entornos corporativos del mundo, es posible que los resultados no sean adecuados para empresas con diferentes culturas o estructuras. Esta práctica restringe así la generalización de los hallazgos.
22. Efectos del sujeto (sesgo de voluntariado o sesgo de participación)
Los efectos del sujeto abarcan cambios en el comportamiento de los participantes debido a la conciencia de ser estudiados, incluido el sesgo voluntario o el sesgo de participación, que se refieren a las posibles diferencias entre quienes eligen participar en un estudio y quienes no (Darlington & Scott, 2015).
Tal sesgo amenaza la validez externa al hacer que la muestra no sea representativa de la población objetivo más grande.
Por ejemplo, en un estudio sobre hábitos de ejercicio, si solo se ofrecen como voluntarios personas constantemente activas, es posible que los resultados no reflejen con precisión los comportamientos de ejercicio de la población en general.
En consecuencia, las perspectivas de hallazgos generalizados disminuyen.
Cómo mejorar la validez externa
Mejorar la validez externa es un objetivo importante en la investigación (Cumming, 2012). Una forma popular de fortalecer la validez externa es mediante la selección aleatoria, lo que hace que los hallazgos de un estudio sean aplicables a una población más grande.
Algunas estrategias incluyen:
1. Muestreo aleatorio
Extraer una muestra aleatoria de una población más grande al realizar una investigación de mercado garantiza que las conclusiones se puedan generalizar en un grupo demográfico más amplio (Gall, Gall & Borg, 2014).
La aleatorización garantiza que cada participante o unidad de la población tenga la misma probabilidad de ser seleccionado para el estudio, lo que reduce la probabilidad de sesgo de muestreo (Calder, Phillips y Tybout, 2019).
Además, permite la generalización de los resultados a otros individuos de la población.
Por ejemplo, si está realizando un estudio sobre el impacto de una intervención en el rendimiento de lectura entre los alumnos de la escuela primaria, extraer una muestra aleatoria de estudiantes de varias escuelas, niveles de grado y entornos socioeconómicos fortalecerá la validez externa.
Este proceso garantiza que su muestra sea representativa de la población más grande, mejorando así la aplicabilidad de sus hallazgos (Koralov & Sinai, 2007).
2. Control de amenazas
Otra forma crucial de mejorar la validez externa es considerar y controlar cuidadosamente las amenazas potenciales (Cumming, 2012).
Por ejemplo, para mitigar el efecto Hawthorne o el sesgo del observador, la investigación podría diseñarse para minimizar la conciencia de los participantes de ser observados o garantizar que los observadores desconozcan los objetivos del experimento.
Para hacer frente a la variación del tratamiento, es esencial una estandarización meticulosa de la administración de la intervención. En el caso de un estudio que investiga la eficacia de una técnica de terapia, garantizar que todos los terapeutas sigan el mismo protocolo puede mejorar la validez externa.
Esta atención meticulosa a las amenazas potenciales ayuda a garantizar que los resultados se deban a las variables que se estudian y no a influencias externas, lo que mejora la validez externa del estudio.
Validez Externa vs Validez Interna
La validez externa no es el único aspecto a considerar al evaluar la calidad de un estudio.
Igualmente importante es el concepto complementario de validez interna, que se relaciona con qué tan bien se lleva a cabo un estudio y su suficiencia estructural.
Aspectos como los métodos de recopilación de datos, el uso de grupos de control y los controles de manipulación contribuyen a la validez interna de un estudio.
Para construir una comprensión integral de la calidad del estudio, se debe considerar la validez tanto interna como externa (Gall, Gall & Borg, 2014).
| Validez interna | Validez externa | |
|---|---|---|
| Definición | El grado en que un estudio muestra con precisión una relación de causa y efecto entre las variables. | El grado en que los resultados de un estudio pueden generalizarse a otras situaciones, personas o períodos de tiempo. |
| amenazas | Efectos de pretest, maduración, mortalidad experimental, estereotipo del experimentador, etc. | Efecto Hawthorne, validez ecológica, sesgo de muestreo, validez poblacional, especificidad de la situación, etc. |
| Enfocar | Precisión y fiabilidad de los resultados del estudio. | Aplicabilidad y generalización de los resultados del estudio. |
| Importancia | Vital para sacar conclusiones precisas sobre las variables estudiadas dentro del experimento. | Vital para aplicar los resultados del estudio a contextos, situaciones o poblaciones más amplios. |
| Mitigación | Uso de grupos de control, aleatorización, diseño experimental cuidadoso, etc. | Selección cuidadosa de los participantes, replicación de estudios, uso de escenarios del mundo real, etc. |
| Ejemplos | Si un estudio afirma que un nuevo medicamento provoca la pérdida de peso, la validez interna garantiza que, de hecho, es el medicamento, y no otros factores como la dieta o el ejercicio, el que causa este efecto. | Si un estudio encuentra que un método de enseñanza mejora las calificaciones de los estudiantes en una sola clase, la validez externa garantiza que este método también pueda funcionar en otras clases, escuelas o países. |
Leer a continuación: Amenazas a la validez interna
Referencias
Adair, JG (2010). el espino efecto: Una reconsideración del artefacto metodológico. Revista de Psicología Aplicada, 69(2), 334. Doi: https://psycnet.apa.org/doi/10.1037/0021-9010.69.2.334
Koralov, L. y Sinaí, YG (2007). Teoría de la probabilidad y procesos aleatorios. Springer Science & Business Media.
Belén, J. (2010). Sesgo de selección en encuestas web. Revista estadística internacional, 78(2), 161-188.
Calder, BJ, Phillips, LW y Tybout, AM (1981). Designing Research for Application?'Journal of Consumer Research 8 (septiembre): 197-207.,–, y. mil novecientos ochenta y dos. El concepto de validez externa240-244.
Cook, TD y Campbell, DT (2018). Cuasi-experimentación: problemas de diseño y análisis para entornos de campo (Vol. 351). Boston: Houghton Mifflin.
Cumming, G. (2012). Comprensión de las nuevas estadísticas: tamaños del efecto, intervalos de confianza y metanálisis. Londres: Routledge.
Dal Bó, E., & Dal Bó, P. (2014). “Haz lo correcto:” Los efectos de la persuasión moral en la cooperación. Revista de Economía Pública, 117, 28-38. Doi: https://doi.org/10.1016/j.jpubeco.2014.05.002
Darlington, Y. y Scott, D. (2015). Comprender la investigación cualitativa y la etnometodología. Londres: Sabio.
Gall, MD, Gall, JP y Borg, WR (2014). Aplicación de la investigación educativa: cómo leer, hacer y utilizar la investigación para resolver problemas de la práctica. Sídney: Pearson.
Arboledas, RM (2011). Tasas de falta de respuesta y sesgo de falta de respuesta en las encuestas de hogares. Opinión Pública Trimestral, 70(5), 646-675. Doi: https://doi.org/10.1093/poq/nfl033
Kam, CCS y Meyer, JP (2015). Cómo la respuesta descuidada y el sesgo de respuesta de aquiescencia pueden influir en la dimensionalidad del constructo: el caso de la satisfacción laboral. Métodos de investigación organizacional, 18(3), 512-541. Doi: https://doi.org/10.1177/1094428115571894
Kratochwill, TR y Levin, JR (2010). Mejorando la credibilidad científica de la investigación de intervención de caso único: aleatorización al rescate. Métodos psicológicos, 15(2), 124. Doi: https://psycnet.apa.org/doi/10.1037/14376-003
Levitt, SD y List, JA (2011). ¿Hubo realmente un efecto Hawthorne en la planta de Hawthorne? Un análisis de los experimentos de iluminación originales. Revista Económica Estadounidense: Economía Aplicada, 3(1), 224-38.
Malterud, K. (2012). Condensación sistemática de textos: una estrategia para el análisis cualitativo. Revista escandinava de salud pública, 40(8), 795-805. Doi: https://doi.org/10.1177/1403494812465030
Matsumoto, D. y Van de Vijver, FJ (2011). Métodos de investigación interculturales en psicología. Cambridge: Prensa de la Universidad de Cambridge.
Messick, S. (2011). Estándares de validez y la validez de los estándares en la evaluación del desempeño. Medición educativa: problemas y práctica, 14(4), 5-8. Doi: https://doi.org/10.1111/j.1745-3992.1995.tb00881.x
Price, DD, Finniss, DG y Benedetti, F. (2010). Una revisión exhaustiva del efecto placebo: avances recientes y pensamiento actual. año Rev. Psychol., 59, 565-590. Doi: https://doi.org/10.1146/annurev.psych.59.113006.095941
Rosenthal, R. (2012). Comunicación encubierta en aulas, clínicas, tribunales y cubículos. Psicólogo estadounidense, 54(11), 839.
Rothman, KJ, Groenlandia, S. y Lash, TL (2012). Epidemiología moderna. Wolters Kluwer Salud/Lippincott Williams & Wilkins.
Deja una respuesta