En último término, el factor de impacto es únicamente una media aritmética de la distribución muy asimétrica de las citas y es precisamente en este tipo de situaciones donde la media aritmética resulta menos indicada. Otros estadísticos calculados a partir de este tipo de distribuciones pueden dar resultados diferentes [Moed y Van Leeuwen, 1995, pág. 467]. Además, pequeñas variaciones en los extremos de distribuciones asimétricas pueden provocar grandes variaciones en el valor de la media aritmética. Debido a la naturaleza asimétrica de la distribución de citas que reciben los artículos, la mayoría de los artículos publicados en una revista científica no alcanzan ni mucho menos el impacto medio de dicha revista, mientras unos cuantos artículos tienden a superar ampliamente dicho factor de impacto. 

            Al contar todas las citas recibidas por una revista academica se tienen en cuenta también las autocitas, esto es, las citas que los artículos que se publican en una revista hacen a otros artículos publicados en dicha revista. Una política editorial que favorezca la publicación de artículos que citan con preferencia a otros artículos publicados recientemente en la propia revista puede conseguir aumentos sensibles en el factor de impacto. Es también posible que los autores tengan un cierto temor de ofender a los editores y referees de las revistas a las que envían sus artículos si no citan algunos artículos escritos por ellos. Dado que no es raro que un porcentaje significativo de los artículos que se publican en una revista tenga como autor a los editores o referees de las mismas, ello incide en el factor de impacto [Campanario, 1996c].    

Distribución del factor de impacto en un conjunto de revistas de uno de los grupos del Social Science Citation Index. Nótese como la variación del factor de impacto de las revistas no es lineal.

            Por otra parte, el factor de impacto mide el grado en que una revista es citada a corto plazo. Existen sensibles diferencias en las pautas de citas dependiendo de las diversas disciplinas. Por ejemplo, es un hecho bien establecido que en las Humanidades y Ciencias Sociales se tiende a citar artículos más antiguos que en las Ciencias Naturales y Físicas. No resulta raro, pues, que algunos autores hayan cuestionado la utilidad del factor de impacto definido tomando como base las citas para un período de dos años en áreas como las Ciencias Sociales [Glanzel y Schoepflin, 1995].