Existen problemas diversos [van Leeuwen, Moed y Reedijk, 1999] e inconsistencias internas en el método que sigue el ISI para calcular los índices de impacto de las revistas científicas [Moed y Van Leeuwen, 1995]. Las inconsistencias tienen que ver con la definición de qué constituye un item citable. Como se explica en otra sección, el ISI diferencia cuidadosamente los diferentes tipos de contribuciones que se publican en las revistas científicas (artículos, cartas, etc.). Algunos de estos documentos, como los artículos se prestan más a ser citados que otros. En el cálculo del numerador del cociente que determina el índice de impacto, el ISI incluye todas las citas recibidas por una revista científica durante un año determinado, mientras en el cálculo del denominador se incluyen sólo los artículos usuales, notas y revisiones. El problema está en que muchos documentos como cartas, editoriales, etc son de hecho citados y consiguen aumentar el número citas de una revista determinada y, de acuerdo con el procedimiento que sigue el ISI, no se cuentan como documentos citables. 

            Según Moed y Van Leeuwen el procedimiento de cálculo del factor de impacto que sigue el ISI hace que los índices de impacto de algunas de las revistas más prestigiosas sean inexactos y están sobrevalorados [Moed y Van Leeuwen, 1995]. La razón es que son estas revistas precisamente las que tienden a publicar una mayor cantidad de documentos del tipo de los que se excluyen del denominador del factor de impacto (editoriales, cartas, resúmenes de congresos, etc). Así, por ejemplo, los errores relativos en los factores de impacto para revistas como New England Journal of Medicine, Nature y Journal of Molecular Biology fueron superiores al 18%, 8% y 13% en 1988. La prestigiosa revista The Lancet es, quizá, un caso extremo con un índice de impacto sobrevalorado en un 40% por el procedimiento de cálculo del ISI. En un estudio general que abarcó todas las revistas cubiertas por el Science Citation Index, Moed y van Leeuwen encontraron que en algunas áreas, como Química, la posición de al menos el 40% de las revistas sufrirían cambios que las llevarían al menos 3 posiciones más arriba o más abajo dentro del ranking si el índice de impacto se corrigiese debidamente [Moed y Van Leeuwen, 1995] [Moed y Van Leeuwen, 1995].

[Moed y Van Leeuwen, 1995] [van Leeuwen, Moed y Reedijk, 1999]