Não sei o que eles querem dizer, mas os números estão aí.

existem mentiras, mentiras deslavadas, e métricas

Trecho de um texto do Vladimir Safatle, cometido na Folha de SP:

Mas, vejam que engraçado, segundo a QS World University Ranking, os Departamentos de Filosofia e de Sociologia da USP estão entre os cem melhores do mundo, isso enquanto a própria universidade ocupa o 169º lugar. Ou seja, se a USP fosse como dois dos principais departamentos da FFLCH, ela seria muito mais bem avaliada.

Errado. De acordo com esse ranking a USP ocupa a posição geral 169, mas está entre as cem melhores em todas as cinco grande áreas. Como pode?
É porque um ranqueamento apenas compara os scores (maior ou menor) dos componentes. Só com o ranqueamento por disciplina não dá prá saber o ranqueamento total. Por exemplo se 3 escolas A, B e C são comparadas, e a "nota" de cada uma em português/matemática é 5/1 para A, 1/4 para B e 2/2 para C. C vai ser a segunda colocada em cada disciplina, mas a terceira no geral -- se somarmos a pontuação teremos 6 para A, 5 para B e 4 para C. E isso assumindo que todas as universidades tenham indicadores para todas as áreas (e.g. um instituto de Tecnologia pode não ter as áreas de Humanas...).

E no caso citado pelo Safatle é ainda pior porque os indicadores usados são distintos para a universidade e para cada unidade. Isso porque a avaliação depende do objetivo do ranqueamento (quais universidades são melhores para um aluno ou para um pesquisador, por exemplo), e dos dados disponíveis (por exemplo algumas unidades possuem mais informações que outras). Assim, os indicadores usados para dar "nota" aos Departamentos  são diferentes dos indicadores usados para avaliar a a USP como um todo. Nem vou entrar nos méritos do ranking em si, que sempre devemos desconfiar (no caso, eles usam muito enquetes, que avalia mais o "branding" do que a qualidade).

Há muito mais a ser criticado no texto dele, mas esse erro crasso foi o que me assustou.