{"id":254733,"date":"2018-04-12T13:59:27","date_gmt":"2018-04-12T16:59:27","guid":{"rendered":"http:\/\/revistapesquisa.fapesp.br\/?p=254733\/"},"modified":"2018-04-13T13:14:37","modified_gmt":"2018-04-13T16:14:37","slug":"dudas-estadisticas","status":"publish","type":"post","link":"https:\/\/revistapesquisa.fapesp.br\/es\/dudas-estadisticas\/","title":{"rendered":"Dudas estad\u00edsticas"},"content":{"rendered":"

\"\"Daniel Almeida<\/span><\/a>En agosto de 2016, se realiz\u00f3 una revisi\u00f3n mediante un software<\/em> capaz de detectar inconsistencias estad\u00edsticas en un conjunto de alrededor de 50 mil art\u00edculos cient\u00edficos del campo de la psicolog\u00eda. El programa, desarrollado por investigadores de la Universidad de Tilburg, en Holanda y bautizado con el nombre de statcheck<\/em>, reproduce c\u00e1lculos y detecta si los resultados son robustos y se corresponden con lo que est\u00e1 publicado en el manuscrito. En la mitad de los papers<\/em> se detect\u00f3 alg\u00fan tipo de problema, desde errores de tipeo y simples redondeos hasta resultados err\u00f3neos que potencialmente podr\u00edan comprometer las conclusiones de los estudios. Los hallazgos surgidos de esa gigantesca comprobaci\u00f3n fueron comunicados de manera autom\u00e1tica mediante un correo electr\u00f3nico a los autores de cada art\u00edculo y tambi\u00e9n divulgados en \u00a0PubPeer, una plataforma online<\/em> en la que cualquier usuario puede escribir comentarios sobre papers<\/em> ya publicados se\u00f1alando errores eventuales, en un tipo de an\u00e1lisis por pares que se realiza en forma posterior a la divulgaci\u00f3n del art\u00edculo.<\/p>\n

El car\u00e1cter de esta auditor\u00eda es in\u00e9dito, tanto por haber sido realizada por computadora, como por el volumen de datos cotejados, donde todos los investigadores en psicolog\u00eda que han publicado papers<\/em> en los \u00faltimos 20 a\u00f1os pasaron por el tamiz del statcheck<\/em>. La difusi\u00f3n de los resultados provoc\u00f3 ondas de choque. El 20 de octubre, la Sociedad de Psicolog\u00eda de Alemania public\u00f3 una declaraci\u00f3n en reclamo por la forma en que se hizo la comunicaci\u00f3n de los resultados. Seg\u00fan el texto, muchos investigadores se sintieron molestos por quedar expuestos sin haber tenido la posibilidad de defenderse. \u201cVarios colegas est\u00e1n profundamente preocupados por el hecho de que, obviamente, resulta muy dif\u00edcil remover un comentario de PubPeer luego de que la \u2018detecci\u00f3n\u2019 de un error por el statcheck<\/em> revelara un falso positivo\u201d, consta en el texto divulgado.<\/p>\n

En un tono m\u00e1s crispado, Susan Fiske, docente de la Universidad de Princeton y expresidente de la Asociaci\u00f3n de Ciencias Psicol\u00f3gicas estadounidense calific\u00f3 como \u201cuna nueva forma de acoso\u201d al trabajo \u201cpolicial\u201d que averigua\u00a0 datos de investigaciones por iniciativa propia. \u201cMe sent\u00ed algo amedrentado y expuesto\u201d, le manifest\u00f3 el psic\u00f3logo alem\u00e1n Mathias Kauff al peri\u00f3dico brit\u00e1nico The Guardian<\/em>, quien recibi\u00f3 un e-mail<\/em> del statcheck<\/em> avis\u00e1ndole que hab\u00eda inconsistencias en un art\u00edculo que escribi\u00f3 en 2013 sobre multiculturalismo y prejuicio, publicado en el Personality and Social Psychology Bulletin<\/em>. Kauff sostiene que los errores eran fruto de redondeos que no compromet\u00edan las conclusiones.<\/p>\n

Muchos art\u00edculos del \u00e1rea de la psicolog\u00eda emplean test estad\u00edsticos modelo cuyos resultados deben investigarse. El statcheck<\/em> identifica e inspecciona los test que calculan los valores de p<\/em>, una medida que representa la probabilidad de que el efecto observado se deba al azar y no a los factores en estudio. Un valor de p<\/em> menor o igual a 0,05 se utiliza frecuentemente como un indicador de significaci\u00f3n estad\u00edstica, puesto que sugiere resultados firmes.<\/p>\n

De hecho, existen evidencias de que al software<\/em> a\u00fan le falta desarrollo y presupone problemas que no llegan a inferir errores estad\u00edsticos. En un art\u00edculo depositado en el repositorio ArXiv, Thomas Schmidt, profesor de psicolog\u00eda experimental de la Universidad de Kaiserlautern, en Alemania, critic\u00f3 la calidad del an\u00e1lisis que efect\u00faa el statcheck<\/em> en dos art\u00edculos de su autor\u00eda. Seg\u00fan Schmidt, el software<\/em> detect\u00f3 35 resultados estad\u00edsticos potencialmente incorrectos, pero tan s\u00f3lo cinco de ellos presentaban incongruencias que, de acuerdo con el autor, no incid\u00edan en los resultados finales.<\/p>\n

\"\"

Reproducci\u00f3n <\/span><\/a> Chris Hartgerink, el estudiante de doctorado que revis\u00f3 papers<\/em> de psicolog\u00eda con el statcheck<\/em>Reproducci\u00f3n <\/span><\/p><\/div>\n

La metodolog\u00eda empleada por el software<\/em> ya se conoc\u00eda desde 2015, cuando se public\u00f3 un art\u00edculo sobre el tema en el sitio web de la revista Behavior Research Methods<\/em>, firmado por la estudiante de doctorado Mich\u00e8le Nuijten junto a colegas del Centro de Metainvestigaci\u00f3n de la Escuela de Ciencias Sociales y del Comportamiento de la Universidad de Tilburg. En el paper<\/em>, el grupo revel\u00f3 que la mitad de los 16.695 art\u00edculos analizados por el software<\/em> presentaron alg\u00fan tipo de inconsistencia en sus an\u00e1lisis estad\u00edsticos y el 12% de ellos ofrec\u00edan conclusiones comprometidas por errores. \u201cEl statcheck<\/em> puede ser una herramienta de ayuda para la revisi\u00f3n por pares. La revista Psychological Science<\/em>, por ejemplo, adopt\u00f3 el software<\/em> para detectar inconsistencias estad\u00edsticas en los manuscritos que recibe\u201d, declar\u00f3 Nuijten a Pesquisa FAPESP<\/em>.<\/p>\n

El proyecto para analizar los 50 mil art\u00edculos y tornar p\u00fablicos los resultados en PubPeer fue del estudiante de doctorado Chris Hartgerink, de 25 a\u00f1os. Seg\u00fan \u00e9ste, la intenci\u00f3n fue generar beneficios inmediatos para el campo de la psicolog\u00eda que no se lograr\u00edan si se divulgaran solamente los resultados generales. El hecho de que tambi\u00e9n detecte falsos positivos y errores irrelevantes, dijo el investigador, no compromete ese objetivo. Ahora, Hartgerink y el profesor Marcel van Assen intentan desarrollar otro tipo de software<\/em> capaz de detectar si un art\u00edculo cient\u00edfico contiene datos falsificados. Para evaluar la eficiencia del m\u00e9todo, el d\u00fao les solicit\u00f3 a colegas que env\u00eden copias de sus papers<\/em> con datos alterados deliberadamente, los cuales est\u00e1n siendo evaluados.<\/p>\n

Tambi\u00e9n hay, entre los investigadores de psicolog\u00eda, quienes consideran al statcheck <\/em>una herramienta \u00fatil para mejorar la calidad de las publicaciones cient\u00edficas. La investigadora Simine Vazire, del Departamento de Psicolog\u00eda de la Universidad de California en Davis, anticipa que los autores de art\u00edculos del \u00e1rea ser\u00e1n a\u00fan m\u00e1s cuidadosos con sus an\u00e1lisis estad\u00edsticos ahora que saben de la existencia de un programa capaza de identificar descuidos, errores y fraudes.<\/p>\n

La Universidad de Tilburg, donde se desarroll\u00f3 el programa, fue el escenario de un esc\u00e1ndalo de mala conducta cient\u00edfica. En el mes de septiembre de 2011, la instituci\u00f3n cesante\u00f3 a uno de sus investigadores m\u00e1s productivos, el profesor de psicolog\u00eda social Diederik Stapel, acusado de falsificar m\u00e1s de 30 art\u00edculos cient\u00edficos a lo largo de ocho a\u00f1os, luego de que una averiguaci\u00f3n probara que falseaba datos, defraudaba a coautores e incluso amenazaba a quienes desconfiaran de \u00e9l (lea en <\/em>Pesquisa FAPESP, edici\u00f3n n\u00ba 190<\/em><\/a>).<\/p>\n

Chris Hartgerink fue alumno de Stapel durante su carrera y ten\u00eda al profesor como una especie de mentor, siendo incluso su asistente de investigaci\u00f3n. Por entonces, qued\u00f3 desconcertado. \u201cEra un referente inspirador y fue \u00e9l quien me entusiasm\u00f3 para dedicarme a la investigaci\u00f3n cient\u00edfica\u201d, declar\u00f3 al peri\u00f3dico The Guardian<\/em>. La amarga experiencia de ese esc\u00e1ndalo impuls\u00f3 a una parte del grupo de cient\u00edficos que investig\u00f3 sus fraudes a montar el Centro de Metainvestigaci\u00f3n, cuya incumbencia es el estudio de la mala conducta cient\u00edfica. Hartgerink se sum\u00f3 al grupo en 2013, en su proyecto de doctorado sobre m\u00e9todos para detectar la falsificaci\u00f3n de datos de investigaci\u00f3n.<\/p>\n","protected":false},"excerpt":{"rendered":"Dudas estad\u00edsticas","protected":false},"author":475,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"_exactmetrics_skip_tracking":false,"_exactmetrics_sitenote_active":false,"_exactmetrics_sitenote_note":"","_exactmetrics_sitenote_category":0,"footnotes":""},"categories":[178],"tags":[288,299],"coauthors":[785],"class_list":["post-254733","post","type-post","status-publish","format-standard","hentry","category-buenas-practicas","tag-computacion","tag-etica-es"],"acf":[],"_links":{"self":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/254733","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/users\/475"}],"replies":[{"embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/comments?post=254733"}],"version-history":[{"count":0,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/posts\/254733\/revisions"}],"wp:attachment":[{"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/media?parent=254733"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/categories?post=254733"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/tags?post=254733"},{"taxonomy":"author","embeddable":true,"href":"https:\/\/revistapesquisa.fapesp.br\/es\/wp-json\/wp\/v2\/coauthors?post=254733"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}