Cómo escribir y publicar un artículo. Cómo estudiar y aumentar su impacto.

Si los criterios particularistas afectan al nombramiento de los miembros del equipo editorial, se puede suponer que lo mismo ocurre en la selección de referees. Hamermesh estudió la elección de revisores de 7 revistas de Economía y observó que casi el 12% de los referees, pertenecían al mismo departamento de universidad que sus colegas editores (en una de las revistas analizadas la proporción sobrepasó el 30%) [Hamermesh, 1994].

El exceso de trabajo y los plazos apretados de los procesos de revisión pueden hacer que un experto eminente decline revisar un original. Así, por ejemplo, un estudio sobre el proceso de evaluación de la revista Journal of Clinical Investigation encontró que un número desproporcionado de las negativas para revisar artículos se debían al grupo de revisores de más alto estatus académico [Stossel, 1985]. En consecuencia, los editores se veían obligados a buscar revisores menos eminentes, más jóvenes y más inexpertos, que, a veces, pueden aceptar actuar como revisores para promocionar sus carreras

Un referee con exceso de trabajo puede acabar pidiendo ayuda a un colega. Existen algunos indicios de que esta conducta no es rara:

a) En un estudio sobre las prácticas de evaluación de revistas de 43 disciplinas, Juhasz et. al. descubrieron que, en ocasiones, los referees recurren a sus colaboradores para hacer el "trabajo sucio" (por ejemplo, comprobar ecuaciones) [Juhasz et. al., 1975].

b) En un estudio sobre las prácticas de evaluación en revistas de Biblioteconomía, Glogoff encontró que algunos referees admitieron que una parte de los trabajos que se supone tenían que revisar fueron pasados a otros expertos, para que evaluaran parte del artículo o su totalidad [Glogoff, 1988].

c) Otra investigación demuestra que una pequeña proporción de los referees en Medicina pasa los originales que debe evaluar a algún colega para su revisión parcial o total [Lock y Smith, 1991].

Para complicar aún más la cuestión, algunos editores eligen deliberadamente a expertos jóvenes como referees [Fyfe, 1994] [Guest, 1994]. En algún caso, los estudiantes de doctorado pueden sustituir a otros expertos con exceso de trabajo, lo cual no es necesariamente negativo [Glenn, 1976] [Romanelli, 1995]: algunos editores opinan que la calidad de las revisiones es inversamente proporcional a la antigüedad y estatus del experto [Finke, 1990] [Judson, 1994]. A veces, los revisores más cualificados están sobrecargados y no tiene tiempo para hacer buenas revisiones: así, por ejemplo, un estudio de 226 revisiones de 131 trabajos enviados a la revista Journal of General Internal Medicine muestra que, cuando un revisor tenía alrededor de 40 años o menos, pertenecía a una institución académica prestigiosa, y era bien conocido por el editor, la probabilidad de que entregase un buen informe de evaluación era bastante elevada. Así mismo, un estudio de 1600 revisiones realizadas para la revista Journal of Clinical Investigation, muestra que la proporción de revisiones de baja calidad era mayor en el grupo de los referees de alto estatus, mientras que los revisores de estatus más bajo producían las mejores revisiones [Stossel, 1985].

A veces se permite a los autores elegir o proponer referees para que evalúen sus trabajos. Así, por ejemplo, las prestigiosas revistas Nature y Science exigen en su formulario de envío electrónico que se sugieran los nombres de varios investigadores que puedan evaluar el trabajo. Las propuestas de los autores no necesariamente son seguidas por las revistas. En un interesante estudio, se analizaron las diferencias que existen entre los informes de evaluación producidos por referees elegidos por la revista British Journal of Surgery y otros producidos por referees elegidos por los autores [Earnshaw, Farndon, Guillou, Johnson, Muriel y Murray, 2000]. Para ello se analizaron 102 artículos que fueron evaluados sin revelar a los referees la identidad de los autores. Los resultados, poco sorprendentes, apuntan en la dirección previsible: los informes elaborados por los referees elegidos por la revista fueron más críticos que los elaborados por los referees escogidos por los autores de los trabajos.