Este artigo aborda dois temas metodológicos de suma importância para o Programa Internacional de Avaliação de Estudantes (Pisa): a interpretação e a comparabilidade do desempenho médio dos países e das economias participantes dessa avaliação em larga escala. Quanto à interpretação, mostramos, com base em sugestão da O rganização para a Cooperação e Desenvolvimento Econômico (OCDE), que a média X no Pisa pode ser interpretada pedagogicamente em níveis de proficiência entre os pontos X -σ e X +σ nas respectivas escalas de leitura, matemática e ciências (σ é o desvio-padrão calculado empiricamente para cada valor médio X ). Tal interpretação estabelece um critério pedagógico de comparabilidade do desempenho médio X ±σ em um determinado ano, bem como ao longo do tempo. Com base nessa interpretação pedagógica, em faixas de níveis de proficiência, analisamos o desempenho médio dos estudantes brasileiros mediante desagregações por ano escolar, sexo, unidades federativas, tipo de escola (pública ou particular) e por dependência administrativa (particular, federal, estadual ou municipal). Por fim, criticamos e sugerimos uma alternativa à Estratégia 7.11 do Plano Nacional de Educação (PNE).