La relación entre el prestigio de las revistas científicas y el factor de impacto no está del todo bien establecida. Por ejemplo, Christenson y Sigelman compararon el prestigio de las revistas de Sociología y Ciencia Política, medido mediante un cuestionario entre expertos en el área, con sus factores de impacto [Christenson y Sigelman, 1985]. Estos autores encontraron unos coeficientes de correlación entre dichas variables de 0.526 y 0.572, para las revistas de Sociología y Ciencia Política; pero descubrieron que la relación no era lineal. Algunas de las revistas más prestigiosas tenían un factor de impacto menor del esperado, mientras otras revistas de menos prestigio tenían un factor de impacto mayor del esperado.

            En cualquier caso, los coeficientes de correlación anteriores sólo explican aproximadamente el 28% y el 33% de la varianza en la medida del prestigio de las revistas. Los autores interpretan, en parte, los resultados como debidos a un cierto exceso de prestigio de las revistas más reputadas, al menos si se compara con su utilidad medida por las citas que reciben, y a una cierta falta de prestigio de las revistas menos reputadas que, de acuerdo con las citas que reciben, tendrían una utilidad mayor de la que su prestigio parecería indicar. Peritz, por su parte, estudió la relación entre la difusión de la revistas científicas correspondientes a 21 disciplinas y sus factores de impacto y encontró que, en la mayoría de las disciplinas, existe una cierta correlación entre el factor de impacto y la visibilidad de la revista, medida por su difusión [Peritz, 1995].

             Por último, los factores de impacto no necesariamente reflejan las dificultades que existen para publicar artículos en un área determinada. Esta dificultad se mide mejor mediante el porcentaje de rechazos de los artículos que se reciben para su publicación. Este porcentaje de rechazos varía ampliamente de unas disciplinas a otras. Disciplinas y áreas como Sociología y Política con un porcentaje de rechazos del 80% [Campanario, 1996c] tienen factores de impacto bajos y ocupan los lugares décimo y vigésimoquinto respectivamente en el ranking del Social Sciences Citation Index [Christtenson y Sigelman, 1985]. Incluso en las áreas de Ciencias, una revista tan prestigiosa como Journal of Chemical Education, con un elevado índice de rechazos tienen un factor de impacto bajo debido, fundamentalmente, a que es una revista destinada a profesores, más que a investigadores y; aunque está muy difundida y es ampliamente leída, es poco citada. A la vista de los inconvenientes anteriores no resulta sorprendente que autores como Seglen se muestren decididamente en contra del uso del factor de impacto como único medio de evaluación [Seglen, 1989], [Seglen, 1994] o que evaluadores experimentados como le Pair aconsejen el uso de varios métodos simultáneamente [le Pair, 1995].  

            En los últimos años se ha acentuado el debate en torno a la validez de este tipo de indicadores y hay autores que proponen nuevas definiciones del factor de impacto (por ejemplo [Ramírez, García y Del Río, 2000] ).