paebes alfa 2017 · tabela 4 : intervalos característicos de padrão de desempenho - língua...
Post on 27-Jan-2019
213 Views
Preview:
TRANSCRIPT
ISSN 2237-8324
PAEBES ALFA 2017
Programa de Avaliação da Educação Básica do Espírito Santo
Sumário Executivo
PAEBES ALFA 2017
Sumário Executivo
2017
Programa de Avaliação da Educação Básica do Espírito Santo
ISSN 2237-8324
FICHA CATALOGRÁFICA
ESPÍRITO SANTO. Secretaria de Estado da Educação do Espírito Santo.
PAEBES ALFA – 2017 / Universidade Federal de Juiz de Fora, Faculdade de Educação, CAEd.
v. 7 ( jan./dez. 2017), Juiz de Fora, 2017 – Anual.
Conteúdo: Sumário Executivo.
ISSN 2237-8324
CDU 373.3+373.5:371.26(05)
Paulo César Hartung Gomes
Governador do Estado do Espírito Santo
César Roberto Colnaghi
Vice Governador do Estado do Espírito Santo
Haroldo Corrêa Rocha
Secretário de Estado da Educação
Andressa Buss Rocha
Subsecretária de Estado de Planejamento e Avaliação
Paulo Cesar Possato Aragão
Gerente de Informação e Avaliação
SUBGERÊNCIA DE AVALIAÇÃO EDUCACIONAL
Fabíola Mota Sodré (Subgerente)
Claudia Lopes de Vargas
Denise Moraes e Silva
Rafael Benetti Costa
SUBGERÊNCIA DE ESTATÍSTICA EDUCACIONAL
Denise Pereira da Silva (Subgerente)
Andressa Mara Malagutti Assis
Sumário
9 APRESENTAÇÃO
10 RESULTADOS DOS TESTES COGNITIVOS
10 PARTICIPAÇÃO
12 DESEMPENHO
20 RESULTADOS DOS QUESTIONÁRIOS CONTEXTUAIS
20 DIRETORES E PROFESSORES
21 ESTUDANTES E SUAS FAMÍLIAS
35 CONSIDERAÇÕES FINAIS
Gráficos
Gráfico 1 : Distribuição de estudantes por padrão de desempenho - Língua portuguesa - PAEBES ALFA 2017 - Rede estadual .................................... 16
Gráfico 2 : Distribuição de estudantes por padrão de desempenho - Língua portuguesa – PAEBES ALFA 2017 - Rede municipal ................................ 16
Gráfico 3 : Distribuição de estudantes por padrão de desempenho - Língua portuguesa - PAEBES ALFA 2017 - EPP ...................................................... 17
Gráfico 4 : Distribuição de estudantes por padrão de desempenho - Matemática - PAEBES ALFA 2017 - Rede estadual ................................................ 18
Gráfico 5 : Distribuição de estudantes por padrão de desempenho - Matemática - PAEBES ALFA 2017 - Rede municipal .............................................. 18
Gráfico 6 : Distribuição de estudantes por padrão de desempenho - Matemática - PAEBES ALFA 2017 - EPP ................................................................... 19
Gráfico 7 : Sexo – Estudantes ..............................................................................................................................................................................................................21
Gráfico 8 : Cor/Raça – Estudantes ..................................................................................................................................................................................................... 22
Gráfico 9 : Distribuição etária – Estudantes .................................................................................................................................................................................... 23
Gráfico 10 : Grau de parentesco dos pais/responsáveis – Estudantes ...................................................................................................................................... 24
Gráfico 11 : Escolaridade dos pais/responsáveis respondentes ................................................................................................................................................... 25
Gráfico 12 : Escolaridade do outro responsável ............................................................................................................................................................................. 26
Gráfico 13 : Acesso a bens e serviços – Estudantes ....................................................................................................................................................................... 27
Gráfico 14 : Itens no domicílio – Estudantes ................................................................................................................................................................................... 28
Gráfico 15 : Atividade realizada nas férias – Estudantes .............................................................................................................................................................. 29
Gráfico 16 : Quantitativo de livros na moradia – Estudantes ........................................................................................................................................................ 30
Gráfico 17 : Atividade cultural ou de lazer realizada em tempo livre (espaço e frequência) – Estudantes ........................................................................... 31
Gráfico 18 : Frequência de contato da escola com a família sobre assuntos escolares – PAEBES ALFA 2017 ................................................................. 32
Tabelas
Tabela 1 : Participação PAEBES ALFA 2017 - Rede estadual ............................................................................................................................................................ 11
Tabela 2 : Participação PAEBES ALFA 2017 - Rede municipal ......................................................................................................................................................... 11
Tabela 3 : Participação PAEBES ALFA 2017 - EPP .............................................................................................................................................................................. 11
Tabela 4 : Intervalos característicos de padrão de desempenho - Língua portuguesa (leitura e escrita) ............................................................................. 13
Tabela 5 : Intervalos característicos de padrão de desempenho - Matemática ......................................................................................................................... 13
Tabela 6 : Resultados PAEBES ALFA 2017 - Rede estadual ............................................................................................................................................................ 14
Tabela 7 : Resultados PAEBES ALFA 2017 - Rede municipal ........................................................................................................................................................... 14
Tabela 8 : Resultados PAEBES ALFA 2017 - EPP................................................................................................................................................................................ 15
Tabela 9 : Participação – Diretores ..................................................................................................................................................................................................... 20
Tabela 10 : Participação – Professores ............................................................................................................................................................................................... 20
Tabela 11 : Participação – Pais e responsáveis ..................................................................................................................................................................................21
Apresentação
Neste Sumário Executivo, é apresentada a síntese dos resultados do Pro-
grama de Avaliação da Educação Básica do Espirito Santo (PAEBES ALFA)
2017, que busca mensurar, por meio do desempenho de estudantes em
testes cognitivos, a qualidade e a equidade da educação ofertada no es-
tado e, consequentemente, do ensino e da aprendizagem nas escolas.
Pretende-se que, a partir da leitura qualificada dos dados aqui disponibili-
zados, os profissionais comprometidos com a educação possam se apro-
priar dos resultados divulgados, de modo a incorporá-los no seu dia a
dia. A avaliação educacional, na amplitude do PAEBES, permite inúmeras
reflexões acerca das práticas pedagógicas e de gestão.
Na seção Resultados dos testes cognitivos, são apresentados os resul-
tados gerais sobre a abrangência e a adesão do PAEBES ALFA 2017 –
quantitativo de estudantes previstos e efetivos na avaliação externa em
larga escala e o indicador de participação –, bem como os dados de de-
sempenho – proficiência média e distribuição de estudantes por padrão
de desempenho.
O perfil dos atores escolares é tema da seção Resultados dos questio-
nários contextuais. Esses instrumentos são aplicados juntamente com os
testes na avaliação do programa. Conhecer melhor outras dimensões ine-
rentes à escola permite o estudo dos fatores associados ao desempenho
estudantil.
Espera-se que o Sumário Executivo contribua para autocrítica do trabalho
em realização no Espírito Santo, estimulando o debate acerca da melho-
ria da qualidade e a equidade da educação.
Boa leitura!
SumáRIO ExECutIvO 9
01---
Resultados dos testes cognitivos
O PAEBES ALFA avalia estudantes regularmente matriculados no 1º, 2º e
3º anos do ensino fundamental das escolas estaduais, municipais (das re-
des associadas) e particulares participantes ( EPP), anualmente, em língua
portuguesa – leitura e escrita – e matemática.
Nesta seção, são apresentados dados provenientes dos testes cognitivos.
Inicialmente, são expostos os indicadores de participação e, em seguida,
os indicadores de desempenho. Em ambas as dimensões, são detalhados
os dados gerais.
Participação
O PAEBES ALFA 2017 avaliou 19.562 estudantes das escolas estaduais,
112.595 estudantes das escolas municipais (das redes associadas) e 2.728
estudantes das escolas particulares participantes.
O indicador de participação, divulgado por etapa (e localização, se for o
caso), aponta a razão entre o quantitativo de estudantes efetivos e o de
estudantes previstos, multiplicada por 100:
Participação (%) = (Número de estudantes avaliados / Número de estu-
dantes previstos) x 100
A avaliação no Espírito Santo é censitária, ou seja, deve incluir todos os
estudantes regularmente matriculados no conjunto delimitado no PAEBES
ALFA 2017. O estímulo para que estudantes estejam presentes durante a
aplicação, de modo a envolvê-los no processo avaliativo, informando os
objetivos do programa, é importante para que, posteriormente, seja possí-
vel compartilhar os resultados alcançados e traçar estratégias exequíveis
de melhoria.
São apresentadas, portanto, a abrangência e a adesão do PAEBES ALFA
2017, nas tabelas 1, 2 e 3. A participação registrada em 2017 é elevada, o
que assinala representatividade, pois permite a generalização dos indica-
dores de desempenho – proficiência média e distribuição de estudantes
por padrão de desempenho.
10 PAEBES ALFA 2017
Tabela 1 : Participação PAEBES ALFA 2017 - Rede estadual
Etapa Estudantes Previstos
Estudantes Efetivos
Indicador de Participação
1º ANO EF 5.945 5.428 91,3%
2º ANO EF 6.940 6.409 92,3%
3º ANO EF 8.290 7.725 93,2% Fonte: PAEBES ALFA 2017, CAEd/UFJF.
Em relação aos resultados da rede estadual, é possível observar acrés-
cimo na participação dos estudantes conforme se observa o avanço das
etapas de escolaridade (91,3%, 92,3% e 93,2%). Os indicadores de partici-
pação registrados em todas as etapas superam 80%, o que segue a orien-
tação do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio
teixeira (Inep) para a divulgação dos resultados de desempenho de cada
escola no Sistema de Avaliação da Educação Básica (Saeb), de participa-
ção mínima igual ou superior a 80%, e permite a extrapolação dos dados
de desempenho do PAEBES ALFA 2017.
Tabela 2 : Participação PAEBES ALFA 2017 - Rede municipal1
Etapa Estudantes Previstos
Estudantes Efetivos
Indicador de Participação
1º ANO EF 39.832 35.443 89,0%
2º ANO EF 39.672 35.935 90,6%
3º ANO EF 45.247 41.217 91,1% Fonte: PAEBES ALFA 2017, CAEd/UFJF.
A participação de estudantes das escolas municipais (redes associa-
das) acompanha a dos estudantes das escolas estaduais: para todas as
etapas, os indicadores superam 80%. Os estudantes da rede municipal
participam com menor efetividade na avaliação externa em larga escala
(89,0%, 90,6% e 91,1%), com a ressalva de que o universo é maior.
Tabela 3 : Participação PAEBES ALFA 2017 - EPP
Etapa Estudantes Previstos
Estudantes Efetivos
Indicador de Participação
1º ANO EF 1.038 979 94,3%
2º ANO EF 941 880 93,5%
3º ANO EF 912 869 95,3% Fonte: PAEBES ALFA 2017, CAEd/UFJF.
1 Para fins de padronização, os resultados dos questionários das escolas municipais (redes associadas) são apresentados
sob a forma “municipal”.
SumáRIO ExECutIvO 11
-02--
Os estudantes das escolas particulares participantes, denominadas EPP,
ainda que em menor número, mantêm o comprometimento com a mensura-
ção da qualidade e equidade da educação por meio de uma avaliação ex-
terna em larga escala e participam, com expressão, do PAEBES ALFA 2017.
Desempenho
Os testes cognitivos do PAEBES ALFA 2017 foram elaborados de acordo
com o rigor metodológico exigido pela teoria de Resposta ao Item (tRI), o
que limitou o seu formato a questões de múltipla escola unidimensionais,
como é comum quando se adota a tRI. Essas questões, denominadas
itens, por sua vez, foram construídas a partir das matrizes de referência de
cada disciplina e etapa de escolaridade, em que constam as habilidades
básicas a serem consolidadas em determinada etapa.
Cada item do teste foi parametrizado, levando em consideração a sua
capacidade de discriminar os estudantes que sabiam (fazer) as tarefas
requeridas daqueles que não sabiam, a sua dificuldade e a sua proba-
bilidade de acerto ao acaso, sendo ancorado, posteriormente, na escala
de proficiência como também foram os estudantes, ou seja, no continuum
de valores (espécie de régua), a partir das respostas coletadas, como um
todo. Essa dupla ancoragem produziu a interpretação pedagógica da es-
cala – divulgada em materiais próprios pela Secretaria de Estado da Edu-
cação e pela instituição parceira em volumes como a Revista do Professor,
no Portal PAEBES ALFA – o que permite auxiliar o trabalho em realização
– por professores e gestores escolares, principalmente – a partir dos re-
sultados de desempenho, por exemplo.
A intepretação pedagógica da escala de proficiência prevê o agrupa-
mento de valores de proficiência que apontem desenvolvimento cognitivo
similar, para que as estratégias de melhoria possam ser articuladas às ne-
cessidades de ensino-aprendizagem. Esse agrupamento é denominado
padrão de desempenho.
Os padrões de desempenho estudantil são definidos a partir de interva-
los característicos da escala de proficiência em que há estudantes com
desempenho semelhante. No caso do PAEBES ALFA 2017, os intervalos
indicados nas tabelas 4 e 5 se referem a essa similaridade, por disciplina
e etapa.
12 PAEBES ALFA 2017
Tabela 4 : Intervalos característicos de padrão de desempenho - Língua portuguesa (leitura e escrita)
Etapa Padrão de Desempenho
Abaixo do Básico Básico Proficiente Avançado
1º ANO EF até 400 400 a 500 500 a 600 acima de 600
2º ANO EF até 500 500 a 600 600 a 700 acima de 700
3º ANO EF até 600 600 a 650 650 a 750 acima de 750 Fonte: PAEBES ALFA 2017, CAEd/UFJF.
Tabela 5 : Intervalos característicos de padrão de desempenho - Matemática
Etapa Padrão de Desempenho
Abaixo do Básico Básico Proficiente Avançado
1º ANO EF até 350 350 a 450 450 a 550 acima de 550
2º ANO EF até 400 400 a 500 500 a 600 acima de 600
3º ANO EF até 450 450 a 550 550 a 650 acima de 650 Fonte: PAEBES ALFA 2017, CAEd/UFJF.
As descrições genéricas dos padrões de desempenho servem para pro-
porcionar inferências acerca das intervenções necessárias, sejam bran-
das ou intensas.
O padrão de desempenho Abaixo do básico aloca estudantes com de-
senvolvimento muito abaixo do esperado das habilidades previstas para
a disciplina e a etapa de escolaridade avaliadas, o que revela necessida-
de de intervenção específica junto a esses estudantes.
No padrão de desempenho Básico, encontram-se estudantes com desen-
volvimento basilar das habilidades previstas na matriz de referência, de-
mandando reforço para formação coerente com a etapa.
No padrão de desempenho Proficiente, situam-se estudantes com desen-
volvimento satisfatório das habilidades elencadas para consolidação no
estágio observado, o que requer empenho para aprofundar a aprendiza-
gem.
Estudantes alocados no padrão de desempenho Avançado atestam con-
solidação das habilidades avaliadas na disciplina e no ano de escolari-
dade, o que demanda novos estímulos e desafios para esses estudantes.
SumáRIO ExECutIvO 13
-02--
Proficiência média
A proficiência média corresponde à média aritmética da medida de de-
sempenho dos estudantes do agregado, neste Sumário Executivo, da
rede estadual, da rede municipal (associada) e das EPP.
São apresentados, nas tabelas 6 e 7, os valores de proficiência e o pa-
drão de desempenho médio. Essa caracterização informa o desenvolvi-
mento em cada disciplina e etapa avaliadas.
Tabela 6 : Resultados PAEBES ALFA 2017 - Rede estadual
ETAPA PROFICIÊNCIA OU NOTA MÉDIA E PADRÃO DE DESEMPENHO OU PERFIL ESCRITOR MÉDIO
1º ANO EFLíngua Portuguesa Matemática
611,5 Avançado
547,9Proficiente
2º ANO EFLíngua Portuguesa Matemática
689,9 Proficiente
588,3Proficiente
3º ANO EFLíngua Portuguesa Matemática
720,4 Proficiente
611,3Proficiente Fonte: PAEBES ALFA 2017, CAEd/UFJF.
Em relação aos resultados da rede estadual, os estudantes do 1º ano al-
cançam o padrão de desempenho médio Avançado, em língua portugue-
sa, e Proficiente, em matemática. Os estudantes do 2º e 3º anos alcançam
o padrão de desempenho médio Proficiente em ambos os componentes.
Tabela 7 : Resultados PAEBES ALFA 2017 - Rede municipal
ETAPA PROFICIÊNCIA OU NOTA MÉDIA E PADRÃO DE DESEMPENHO OU PERFIL ESCRITOR MÉDIO
1º ANO EFLíngua Portuguesa Matemática
583,7 Proficiente
508,7Proficiente
2º ANO EFLíngua Portuguesa Matemática
663,2 Proficiente
546,9Proficiente
3º ANO EFLíngua Portuguesa Matemática
699,0 Proficiente
571,7Proficiente Fonte: PAEBES ALFA 2017, CAEd/UFJF.
14 PAEBES ALFA 2017
Os resultados da rede municipal (associada) são similares aos resultados
da rede estadual, com exceção do padrão de desempenho de estudantes
do 1º ano em língua portuguesa.
Tabela 8 : Resultados PAEBES ALFA 2017 - EPP
ETAPA PROFICIÊNCIA OU NOTA MÉDIA E PADRÃO DE DESEMPENHO OU PERFIL ESCRITOR MÉDIO
1º ANO EFLíngua Portuguesa Matemática
676,5 Avançado
559,0Avançado
2º ANO EFLíngua Portuguesa Matemática
750,8 Avançado
581,1Proficiente
3º ANO EFLíngua Portuguesa Matemática
795,9 Avançado
621,9Proficiente Fonte: PAEBES ALFA 2017, CAEd/UFJF.
Os resultados das EPP são melhores, quando observados os demais, sal-
vo os resultados dos estudantes do 2º ano, em matemática. As hipóteses
a respeito disso devem ser analisadas por gestores das redes públicas,
que, ao buscarem saber mais sobre o que é realizado pelas escolas par-
ticulares, podem incorporar práticas positivas, relativizando-as a seu con-
texto e suas condições de trabalho.
Distribuição de estudantes por padrão de desempenho
A distribuição de estudantes por padrão de desempenho corresponde
ao quantitativo (percentual) de estudantes alocados em cada padrão, de
acordo com as proficiências aferidas.
A seguir, é apresentada a distribuição de estudantes por padrão de de-
sempenho apenas das etapas avaliadas (e com resultados) na edição
2017. O somatório dos percentuais é sempre igual a 100%, o que equivale,
em números absolutos, ao quantitativo de estudantes efetivos na avalia-
ção – Gráficos 1 a 6.
SumáRIO ExECutIvO 15
-02--
Gráfico 1 : Distribuição de estudantes por padrão de desempenho - Língua portuguesa - PAEBES ALFA
2017 - Rede estadual
Gráfico 1: Distribuição de estudantes por padrão de desempenho - Língua portuguesa - PAEBES ALFA 2017 - Rede estadual
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
3,4%
6,2%
13,3%
10,2%
11,9%
7,9%
23,5%
28,0%
35,1%
62,9%
53,9%
43,7%
1º ANO EF
2º ANO EF
3º ANO EF
Abaixo do Básico Básico Proficiente Avançado
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
Em língua portuguesa, na rede estadual, 86,4%, 81,9% e 78,8% dos es-
tudantes do 1º, 2º e 3º anos, respectivamente, demonstram suficiência
de aprendizagem (padrões de desempenho Proficiente e Avançado) nos
tópicos avaliados, a saber: Reconhecimento de convenções do sistema
alfabético, Apropriação do sistema alfabético, Usos sociais da leitura e da
escrita, Leitura: compreensão, análise e avaliação e Produção escrita.
Gráfico 2 : Distribuição de estudantes por padrão de desempenho - Língua portuguesa – PAEBES ALFA
2017 - Rede municipalGráfico 2: Distribuição de estudantes por padrão de desempenho - Língua portuguesa – PAEBES ALFA 2017 - Redes municipais
6,5%
9,7%
16,0%
16,9%
13,9%
10,2%
22,6%
33,4%
40,0%
54,0%
43,0%
33,9%
1º ANO EF
2º ANO EF
3º ANO EF
Abaixo do Básico Básico Proficiente Avançado
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
16 PAEBES ALFA 2017
Os resultados alcançados por estudantes da rede municipal (associada)
são relativamente inferiores aos alcançados por estudantes da rede es-
tadual, em língua portuguesa: 76,6%, 76,4% e 73,9% dos estudantes estão
alocados em padrões que denotam suficiência de aprendizagem (padrões
de desempenho Proficiente e Avançado). A desigualdade entre as redes
públicas é ligeiramente acentuada na oferta do 1º ano, pois a diferença
de estudantes alocados em tais padrões é de quase 10 pontos percen-
tuais. Ainda assim, os estudantes da rede municipal associada não ates-
tam maiores dificuldades em resolver tarefas associadas às habilidades
contidas na matriz de referência, que se constitui como parte (recorte) dos
conteúdos e conhecimentos presentes nas diretrizes curriculares, muito
pelo contrário, têm desempenho adequado, de maneira geral.
Gráfico 3 : Distribuição de estudantes por padrão de desempenho - Língua portuguesa - PAEBES ALFA
2017 - EPPGráfico 3: Distribuição de estudantes por padrão de desempenho - Língua portuguesa - PAEBES ALFA 2017 - EPP
1,1%
1,0%
1,2%
2,6%
2,3%
1,2%
7,5%
15,6%
20,1%
88,9%
81,1%
77,6%
1º ANO EF
2º ANO EF
3º ANO EF
Abaixo do Básico Básico Proficiente Avançado
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
As habilidades leitoras, avaliadas nos testes de língua portuguesa, estão,
possivelmente, consolidadas por quase a totalidade dos estudantes de
todas as etapas das EPP, pois 96,4%, 96,7% e 97,7% dos estudantes do 1º,
2º e 3º anos, respectivamente, estão alocados em padrões de desempe-
nho que denotam suficiência de aprendizagem.
SumáRIO ExECutIvO 17
-02--
Gráfico 4 : Distribuição de estudantes por padrão de desempenho - Matemática - PAEBES ALFA
2017 - Rede estadualGráfico 4: Distribuição de estudantes por padrão de desempenho - Matemática - PAEBES ALFA 2017 - Rede estadual
1,9%
2,0%
3,9%
11,4%
11,3%
17,4%
34,4%
38,5%
41,8%
52,3%
48,2%
36,9%
1º ANO EF
2º ANO EF
3º ANO EF
Abaixo do Básico Básico Proficiente Avançado
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
Em matemática, na rede estadual, 86,7%, 86,7% e 78,7% dos os estudantes
do 1º, 2º e 3º anos, respectivamente, estão alocados em padrões com
desenvolvimento esperado ou além do esperado para as etapas avalia-
das. Nota-se relativa piora nos testes cognitivos, conforme se observa o
avanço das etapas.
Gráfico 5 : Distribuição de estudantes por padrão de desempenho - Matemática - PAEBES ALFA 2017 -
Rede municipalGráfico 5: Distribuição de estudantes por padrão de desempenho - Matemática - PAEBES ALFA 2017 - Redes municipais
4,3%
4,3%
7,2%
19,7%
21,8%
30,3%
43,6%
47,7%
45,1%
32,5%
26,2%
17,4%
1º ANO EF
2º ANO EF
3º ANO EF
Abaixo do Básico Básico Proficiente Avançado
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
18 PAEBES ALFA 2017
Os resultados alcançados por estudantes da rede municipal (associada)
acompanham os alcançados pelos da rede estadual: a maioria, de todas
as etapas, está alocada nos padrões superiores. Entretanto, menos estu-
dantes da rede municipal (76,1%, 73,9% e 62,5%) do que da rede estadual
apresentam suficiência de aprendizagem (padrões de desempenho Pro-
ficiente e Avançado) nos temas avaliados, a saber: Reconhecimento de
números e operações, Noções de espaço e forma, Noções de grandezas
e medidas e Tratamento da informação.
Gráfico 6 : Distribuição de estudantes por padrão de desempenho - Matemática - PAEBES ALFA
2017 - EPP
Gráfico 6: Distribuição de estudantes por padrão de desempenho - Matemática - PAEBES ALFA 2017 - EPP
0,5%
0,9%
1,0%
5,2%
8,2%
11,9%
36,3%
50,7%
51,7%
58,0%
40,2%
35,4%
1º ANO EF
2º ANO EF
3º ANO EF
Abaixo do Básico Básico Proficiente Avançado
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
tendo em consideração os estudantes das EPP, nota-se distribuição bas-
tante concentrada nos padrões que denotam suficiência de aprendiza-
gem (padões de desempenho Proficiente e Avançado) em todas as eta-
pas, ou seja, a maioria apresenta desenvolvimento cognitivo adequado à
etapa de escolaridade (94,3%, 90,9% e 87,1%).
SumáRIO ExECutIvO 19
-02--
Resultados dos questionários contextuais
Diretores e Professores
Tabela 9 : Participação – Diretores
Diretores Quantidade Porcentagem
Casos brancos 184 97,9
Casos válidos 4 2,1
Total 188 100,0
Fonte: PAEBES ALFA 2017, CAEd/UFJF
Tabela 10 : Participação – Professores
Professores Quantidade Porcentagem
Casos brancos 1.142 96,9
Casos válidos 37 3,1
Total 1.179 100,0
Fonte: PAEBES ALFA 2017, CAEd/UFJF
Nesta seção, são apresentados os dados provenientes dos questioná-
rios contextuais. Devido à baixa participação de diretores e professores
– apenas 4 dos 188 diretores previstos e 37 dos 1.179 professores previs-
tos responderam aos questionários –, não há dados suficientes para uma
análise contextual adequada desses dois atores educacionais. vale lem-
brar que a participação dos diretores e professores deve ser estimulada,
pois, a partir do perfil desses atores escolares, é possível delinear outras
dimensões inerentes à escola.
20 PAEBES ALFA 2017
Estudantes e suas famílias
Tabela 11 : Participação – Pais e responsáveis
Pais e responsáveis Quantidade Porcentagem
Casos brancos 84.173 48,1
Casos válidos 90.784 51,8
Total 174.957 100,0
Fonte: PAEBES ALFA 2017, CAEd/UFJF
Em relação aos estudantes, é importante destacar que os questionários
são respondidos pelos pais ou responsáveis, em função de os alunos ma-
triculados nos três primeiros anos do ensino fundamental ainda não se-
rem considerados aptos a responder um questionário sociodemográfico.
Ao todo, foram contabilizados 90.784 questionários de pais ou respon-
sáveis. vale ressaltar que esse número representa 51,9% do quantitativo
previsto – 174.957 –, o que requer cuidado na generalização dos dados
da pesquisa.
Gráfico 7 : Sexo – Estudantes Gráfico 7: Sexo – Estudantes
49,6% 50,4%49,2% 50,8%49,9% 50,1%
0,0%
20,0%
40,0%
60,0%
80,0%
100,0%
Masculino Feminino
ESTADUAL MUNICIPAL PARTICULAR
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
SumáRIO ExECutIvO 21
--
03-
Gráfico 8 : Cor/Raça – Estudantes Gráfico 8: Cor/Raça – Estudantes
31,4%
60,6%
6,2%1,3% 0,6%
29,6%
61,9%
6,1% 1,5% 0,9%
65,9%
31,0%
1,7%1,1%
0,3%0,0%
20,0%
40,0%
60,0%
80,0%
100,0%
Branco(a) Pardo(a) Preto(a) Amarelo(a) Indígena
ESTADUAL MUNICIPAL PARTICULAR
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
De acordo com as respostas dos pais ou responsáveis, a distribuição en-
tre os sexos das crianças matriculadas no ciclo de alfabetização é bas-
tante equilibrada, como pode ser observado no Gráfico 7. Já quanto à
cor/raça das crianças (Gráfico 8), os brancos são maioria apenas na rede
privada (65,9%) de acordo com os respondentes. Na rede pública, por sua
vez, a maioria é identificada como parda, 60,6% na rede estadual e 61,9%
na rede municipal, respectivamente.
22 PAEBES ALFA 2017
Gráfico 9 : Distribuição etária – Estudantes
Gráfico 9: Distribuição etária – Estudantes
0,1%
0,1%
11,6%
29,1%
32,9%
22,2%
2,9%
1,2%
0,1%
0,1%
13,2%
30,6%
31,3%
20,4%
3,0%
1,3%
0,0%
0,4%
21,2%
33,7%
31,2%
13,2%
0,2%
0,1%
0,0% 20,0% 40,0% 60,0% 80,0% 100,0%
4 anos ou menos
5 anos
6 anos
7 anos
8 anos
9 anos
10 anos
11 anos ou mais
ESTADUAL MUNICIPAL PARTICULAR
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
De acordo com o Gráfico 9, a maioria dos estudantes matriculados nos três
primeiros anos do ensino fundamental está na faixa etária esperada para o
ciclo de alfabetização. Porém, é possível observar 27% dos estudantes com
mais de 9 anos de idade na rede estadual e 24,7%, na rede municipal. Nas
escolas particulares participantes, esse número é de 13,5%.
SumáRIO ExECutIvO 23
--
03-
Gráfico 10 : Grau de parentesco dos pais/responsáveis – Estudantes Gráfico 10: Grau de parentesco dos pais/responsáveis – Estudantes
79,9%
12,4%
3,8%
2,0%
1,2%
0,7%
80,1%
12,7%
3,5%
1,8%
1,3%
0,5%
82,7%
15,3%
1,2%
0,5%
0,3%
0,1%
0,0% 20,0% 40,0% 60,0% 80,0% 100,0%
Mãe
Pai
Avó/Avô
Tia/Tio
Outro familiar
Não é parente
ESTADUAL MUNICIPAL PARTICULAR
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
tanto na rede pública quanto nas escolas particulares participantes (EPP),
a grande maioria dos respondentes se declarou mãe dos estudantes ma-
triculados no 1º, 2º e 3º anos do ensino fundamental: 79,9% (estadual),
80.1% (municipal) e 82,7% (EPP). De acordo com o Gráfico 10, os pais res-
pondentes não passaram de 15%. Responsáveis sem vínculo de parentes-
co foram menos de 1%.
24 PAEBES ALFA 2017
Gráfico 11 : Escolaridade dos pais/responsáveis respondentesGráfico 11: Escolaridade dos pais/responsáveis respondentes
7,3%
22,0%
20,2%
40,4%
10,0%
8,0%
22,5%
20,2%
39,6%
9,7%
0,3%
0,9%
2,3%
29,4%
67,1%
0,0% 20,0% 40,0% 60,0% 80,0% 100,0%
Nunca estudei ou não completei a 4ª série/5°ano do ensino fundamental (an�go primário)
Completei a 4ª série/5° ano, mas não completeia 8ª série/9° ano do ensino fundamental (an�go
ginásio)
Completei a 8ª série/9° ano, mas não completeio ensino médio (an�go 2° grau)
Completei o ensino médio, mas não completei afaculdade
Completei a faculdade
ESTADUAL MUNICIPAL PARTICULAR
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
SumáRIO ExECutIvO 25
--
03-
Gráfico 12 : Escolaridade do outro responsável Gráfico 12: Escolaridade do outro responsável
9,4%
25,8%
21,9%
32,7%
5,3%
4,9%
10,2%
26,4%
20,5%
32,4%
5,4%
5,1%
0,4%
2,9%
4,3%
38,2%
53,4%
0,8%
0,0% 20,0% 40,0% 60,0% 80,0% 100,0%
Nunca estudou ou não completou a 4ª série/5° ano doensino fundamental (antigo primário)
Completou a 4ª série/5° ano, mas não completou a 8ªsérie/9° ano do ensino fundamental (antigo ginásio)
Completou a 8ª série/9° ano, mas não completou oensino médio (antigo 2° grau)
Completou o ensino médio, mas não completou afaculdade
Completou a faculdade
Não sei
ESTADUAL MUNICIPAL PARTICULAR
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
Quanto à escolaridade, a maioria dos pais/responsáveis completou o en-
sino médio: 40,4% (rede estadual) e 39,6% (rede municipal), de acordo com
Gráfico 11. Já nas escolas particulares participantes, 67,1% dos pais/respon-
sáveis declararam ter concluído o ensino superior. O mesmo pode ser ob-
servado com relação à escolaridade do outro responsável pelo estudante
(Gráfico 12), com a maioria tendo completado o ensino médio, exceto na
rede privada, na qual 53,4% concluíram a faculdade.
26 PAEBES ALFA 2017
Gráfico 13 : Acesso a bens e serviços – Estudantes
Gráfico 13: Acesso a bens e serviços – Estudantes
29,4%
70,6%
13,5%
86,5%
67,6%
32,4%
33,8%
66,2%
51,5%
48,5%
31,0%
69,0%
12,7%
87,3%
64,5%
35,5%
36,6%
63,4%
52,8%
47,2%
5,0%
95,0%
1,5%
98,5%
99,4%
0,6%
1,2%
98,8%
20,7%
79,3%
0,0% 20,0% 40,0% 60,0% 80,0% 100,0%
Não
Sim
Não
Sim
Não
Sim
Não
Sim
Não
Sim
Asfa
lto/C
alça
men
to
Cole
ta d
e lix
oBo
lsa F
amíli
aAc
esso
à in
tern
etQ
uart
o in
divi
dual
ESTADUAL MUNICIPAL PARTICULAR
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
Com relação a bens e serviços a que os estudantes têm acesso, de acor-
do com o Gráfico 13, a maioria reside em rua asfaltada ou calçada (70,6%,
rede estadual, 69%, municipal e 95%, privada), assim como conta com
serviço de coleta de lixo (86,5%, 87,3% e 98,5%). Praticamente a totalidade
dos estudantes da rede privada (98,8%) tem acesso à internet em casa,
mas 33,8% dos alunos da rede estadual e 36,6% da rede municipal não
dispõem do serviço. Já quanto a possuírem quarto individual, essa é a
realidade de quase a metade das crianças da rede pública (48,5%, rede
estadual, e 47,2%, municipal) e de grande parte dos estudantes da rede
privada (79,3%). O programa Bolsa Família atende a 32,4% dos respon-
dentes da rede estadual e a 35,5% dos da rede municipal.
SumáRIO ExECutIvO 27
--
03-
Gráfico 14 : Itens no domicílio – Estudantes Gráfico 14: Itens no domicílio – Estudantes
0,7%
78,4%
20,9%
0,8%
12,0%
87,3%
16,4%
76,8%
6,8%
49,3%
50,0%
0,7%
82,3%
14,4%
3,3%
50,4%
42,0%
7,6%
39,5%
20,8%
39,7%
54,1%
38,3%
7,6%
75,9%
22,6%
1,5%
43,7%
43,3%
13,0%
0,7%
78,5%
20,8%
0,8%
13,0%
86,2%
18,…
75,8%
5,7%
50,2%
49,…
0,6%
83,1%
13,7%
3,1%
51,9%
41,1%
7,0%
41,6%
20,8%
37,6%
56,5%
36,5%
7,1%
76,6%
21,9%
1,5%
45,4%
41,1%
13,6%
0,0%
24,7%
75,3%
0,0%
0,…
99,1%
1,7%
91,3%
7,…
10,3%
87,0%
2,7%
23,7%
32,6%
43,7%
6,1%
57,9%
36,0%
6,9%
9,9%
83,1%
6,1%
49,1%
44,9%
47,6%
45,5%
6,9%
9,5%
39,3%
51,2%
0,0% 20,0% 40,0% 60,0% 80,0% 100,0%
Nenhum
Um
Dois ou mais
Nenhum
Um
Dois ou mais
Nenhum
Um
Dois ou mais
Nenhum
Um
Dois ou mais
Nenhum
Um
Dois ou mais
Nenhum
Um
Dois ou mais
Nenhum
Um
Dois ou mais
Nenhum
Um
Dois ou mais
Nenhum
Um
Dois ou mais
Nenhum
Um
Dois ou mais
Banh
eiro
(s)
Qua
rto(
s) d
edo
rmir
Máq
uina
(s) d
ela
var
Mic
ro-o
ndas
Ar(e
s)-
cond
icio
nado
Carr
o(s)
Smar
tpho
ne(s
)Co
mpu
tado
r(es
)Vi
deog
ame(
s)Di
cion
ário
(s)
ESTADUAL MUNICIPAL PARTICULAR
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
28 PAEBES ALFA 2017
O Gráfico 14 apresenta bens de consumo disponíveis nas residências dos
estudantes, um dado importante na composição do perfil socioeconômi-
co. Chama a atenção a falta de acesso a computadores na moradia de
mais da metade dos estudantes da rede pública (54,1% e 56,5%, estadual
e municipal, respectivamente), em contraste com 6,1% dos estudantes da
rede privada. O número é semelhante quando se trata de micro-ondas
e carro. Smartphones também não estão disponíveis para 39,5% e 41,6%
das famílias de alunos da rede estadual e da rede municipal, contra 6,9%
da rede privada. Cerca de 40% dos estudantes da rede pública não têm
dicionário em casa.
Gráfico 15 : Atividade realizada nas férias – Estudantes
Gráfico 15: A�vidade realizada nas férias – Estudantes
27,3%
42,1%
30,6%28,1%
44,0%
27,9%
3,7%
27,7%
68,5%
0,0%
20,0%
40,0%
60,0%
80,0%
100,0%
Fica em casa Passeia na própria cidade Viaja com família ou amigos
ESTADUAL MUNICIPAL PARTICULAR
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
A maioria dos alunos da rede pública fica em casa (27,3%, estadual, e
28,1%, municipal) ou passeia na própria cidade em que reside (42,1%, esta-
dual, e 44%, municipal) durante o período de férias, conforme as respostas
de pais e responsáveis apresentadas no Gráfico 15. viajar com a família e
os amigos é opção para 30,6% % dos estudantes da rede estadual e 27,7%
dos matriculados na rede municipal, menos da metade dos alunos das
escolas particulares participantes que viajam nas férias (68,5%).
SumáRIO ExECutIvO 29
--
03-
Gráfico 16 : Quantitativo de livros na moradia – EstudantesGráfico 16: Quantitativo de livros na moradia – Estudantes
22,9%
53,1%
12,5%
7,6%
2,6%
1,3%
24,7%
52,2%
12,4%
7,1%
2,3%
1,3%
2,1%
25,6%
23,0%
27,0%
13,0%
9,4%
0,0% 20,0% 40,0% 60,0% 80,0% 100,0%
Não existem livros na casa
O bastante para encher uma prateleira (1 a 10 livros)
O bastante para encher duas prateleiras (11 a20livros)
O bastante para encher uma estante (21 a 50 livros)
O bastante para encher duas estantes (51 a 100livros)
O bastante para encher várias estantes (mais de 100livros)
ESTADUAL MUNICIPAL PARTICULAR
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
Quando se fala em disponibilidade de livros na moradia do estudante,
conforme o Gráfico 16, o bastante para encher uma prateleira – de 1 a 10
livros – é a resposta de mais da metade dos pais e responsáveis de estu-
dantes da rede pública (53,1% na rede estadual e 52,2% na rede munici-
pal). Destaca-se o fato de 22,9% das famílias de alunos da rede estadual
e 24,7% da rede municipal não possuírem livros em casa, contra apenas
2,1% dos estudantes das EPP. Na rede privada, 27% das famílias têm livros
suficientes para encher uma estante (21 a 50 livros), 25,6%, para uma úni-
ca prateleira (1 a 10 livros), e 23%, para até duas prateleiras (11 a 20 livros).
30 PAEBES ALFA 2017
Gráfico 17 : Atividade cultural ou de lazer realizada em tempo livre (espaço e frequência) – EstudantesGráfico 17: Atividade cultural ou de lazer realizada em tempo livre (espaço e frequência) – Estudantes
43,9%
31,3%
21,3%
3,5%
75,9%
18,3%
4,9%
0,8%
76,7%
17,6%
4,9%
0,8%
58,3%
23,0%
14,1%
4,6%
61,6%
24,4%
11,4%
2,6%
15,8%
25,7%
36,7%
21,8%
15,0%
25,5%
36,7%
22,8%
45,8%
30,3%
20,2%
3,7%
77,3%
17,5%
4,5%
0,7%
77,9%
16,9%
4,5%
0,7%
58,3%
21,9%
14,1%
5,7%
62,9%
23,5%
10,8%
2,7%
15,9%
23,9%
36,2%
24,1%
14,7%
24,8%
36,7%
23,8%
3,7%
23,5%
50,9%
21,9%
29,4%
48,1%
20,2%
2,2%
33,7%
50,0%
14,8%
1,5%
23,9%
37,6%
24,8%
13,7%
28,5%
45,7%
21,7%
4,0%
0,3%
9,9%
38,3%
51,5%
0,9%
11,8%
41,5%
45,8%
0,0% 20,0% 40,0% 60,0% 80,0% 100,0%
Nunca
Quase nunca
Quase sempre
Sempre
Nunca
Quase nunca
Quase sempre
Sempre
Nunca
Quase nunca
Quase sempre
Sempre
Nunca
Quase nunca
Quase sempre
Sempre
Nunca
Quase nunca
Quase sempre
Sempre
Nunca
Quase nunca
Quase sempre
Sempre
Nunca
Quase nunca
Quase sempre
Sempre
Cine
ma
Teat
roM
useu
Bibl
iote
caSh
ows
Prai
aPa
rque
ESTADUAL MUNICIPAL PARTICULAR
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
SumáRIO ExECutIvO 31
--
03-
Em relação às atividades culturais ou de lazer realizadas no tempo livre
da criança, a praia e o parque aparecem como as opções mais assinala-
das, seguidas do cinema, embora esta última seja mais frequente na vida
dos estudantes das escolas particulares participantes. As atividades cul-
turais a que os alunos têm menos acesso são shows, teatro, biblioteca e
museu, nessa ordem. museu é a opção de menos frequentada, atingindo
cerca de 5% dos estudantes da rede pública e 15% da rede privada.
Gráfico 18 : Frequência de contato da escola com a família sobre assuntos escolares Gráfico 18: Frequência de contato da escola com a família sobre assuntos escolares – PAEBES ALFA 2017
9,2%
14,2%
32,9%
43,7%
7,8%
14,4%
30,8%
47,0%
12,8%
17,1%
29,6%
40,5%
4,7%
10,5%
29,2%
55,6%
11,2%
14,3%
33,0%
41,5%
8,8%
15,3%
31,4%
44,6%
13,6%
17,5%
29,8%
39,1%
5,4%
11,7%
29,9%
53,0%
8,7%
8,1%
26,6%
56,6%
6,9%
13,7%
28,2%
51,3%
8,9%
16,8%
31,5%
42,8%
2,2%
7,7%
25,1%
65,0%
0,0% 20,0% 40,0% 60,0% 80,0% 100,0%
Nunca
Quase nunca
Quase sempre
Sempre
Nunca
Quase nunca
Quase sempre
Sempre
Nunca
Quase nunca
Quase sempre
Sempre
Nunca
Quase nunca
Quase sempre
Sempre
Not
aCo
mpo
rtam
ento
Rela
ção
com
out
ras c
rianç
asRe
sulta
dos d
e ap
rend
izage
m
ESTADUAL MUNICIPAL PARTICULAR
32 PAEBES ALFA 2017
5,5%
12,1%
31,0%
51,4%
2,4%
7,3%
26,1%
64,2%
32,2%
23,9%
24,3%
19,6%
28,5%
25,2%
25,1%
21,1%
17,6%
19,8%
27,5%
35,1%
6,4%
13,1%
31,0%
49,5%
3,1%
8,1%
27,4%
61,3%
33,1%
23,9%
22,9%
20,2%
29,5%
25,4%
24,1%
21,1%
19,3%
19,7%
27,8%
33,2%
2,9%
8,0%
30,0%
59,0%
0,4%
2,4%
16,0%
81,2%
26,7%
27,0%
21,1%
25,2%
37,0%
30,7%
17,7%
14,6%
11,8%
20,0%
31,6%
36,5%
0,0% 20,0% 40,0% 60,0% 80,0% 100,0%
Nunca
Quase nunca
Quase sempre
Sempre
Nunca
Quase nunca
Quase sempre
Sempre
Nunca
Quase nunca
Quase sempre
Sempre
Nunca
Quase nunca
Quase sempre
Sempre
Nunca
Quase nunca
Quase sempre
Sempre
Ativ
idad
es re
aliza
das n
a es
cola
Even
tos n
a es
cola
Que
stõe
s adm
inist
rativ
as e
finan
ceira
s da
esco
laPr
oble
mas
enf
rent
ados
pel
aes
cola
Proj
eto
dos p
rofe
ssor
es
ESTADUAL MUNICIPAL PARTICULAR
Fonte: PAEBES ALFA 2017, CAEd/UFJF.
SumáRIO ExECutIvO 33
--
03-
Já quanto aos assuntos frequentes no contato da escola com a família,
mais de 80% dos respondentes afirmam ser, sempre ou quase sempre, in-
formações sobre eventos e atividades na escola ou resultados da apren-
dizagem. Os temas menos comum nos contatos são as questões adminis-
trativas e financeiras e os problemas enfrentados pela escola. Na rede
pública, cerca de 30% dos pais ou responsáveis afirmam nunca terem sido
procurados para tratar desses assuntos, enquanto na rede privada, esse
número é maior para os problemas, 37%.
34 PAEBES ALFA 2017
Considerações finais
Reflexões acerca das possibilidades de melhoria da qualidade e da equi-
dade da educação ofertada são possíveis se o contexto de trabalho for
bastante conhecido. Nesse sentido, as informações aqui reunidas preten-
dem ajudar na missão de listar os avanços, a fim de que seja possível
apoiar o enfrentamento dos desafios da educação no Espírito Santo, es-
pecialmente da rede pública, além de apresentar características e per-
cepções de estudantes, professores e diretores.
ter atenção quanto ao que foi alcançado – em termos de desenvolvimen-
to cognitivo de estudantes – pode, a partir de agora, auxiliar os gestores
de rede e demais interessados a estabelecer a cooperação com propósi-
to de garantir o direito de aprender a todos os estudantes. A divulgação
dos dados, de modo acessível e cuidadoso, permite análises e inferências
que podem dar suporte aos caminhos a serem escolhidos, na opção por
transformar a educação tendo por base evidências.
A reunião de indicadores de participação e desempenho e de descritivas
de respostas dos questionários condiz com o inventário de evidências, ao
qual cabem ressalvas, especialmente quando se particularizam os fatores
intraescolares associados, no âmbito de cada escola, e considera-se a
baixa participação de diretores e professores nos questionários. Entretan-
to, também cabe o reconhecimento de possibilidades de análise a partir
da apropriação coletiva dos dados de modo abrangente.
Em linhas gerais, é possível reconhecer o esforço para assegurar adesão
ao PAEBES ALFA, visto que a participação de estudantes registrada é ele-
vada, mas vale articular ações de ensino-aprendizagem específicas para
a alfabetização, apoiadas em políticas públicas, que visem à melhoria
efetiva do desempenho nos componentes avaliados, de modo a propor-
cionar o desenvolvimento adequado de habilidades leitoras, matemáticas
e outras, essenciais para o exercício pleno da cidadania.
Este Sumário Executivo tem como intuito municiar o (re)planejamento de
práticas pedagógicas e de gestão. A realidade do Espírito Santo, de su-
cesso já aparente na realidade reportada, serve como inspiração na bus-
ca por mais qualidade e equidade na educação ofertada.
SumáRIO ExECutIvO 35
---
04
Reitor da Universidade Federal de Juiz de Fora
Marcus Vinicius David
Coordenação Geral do CAEd
Lina Kátia Mesquita de Oliveira
Manuel Palácios da Cunha e Melo
Eleuza Maria Rodrigues Barboza
Coordenação da Pesquisa de Avaliação 2016-2019
Manuel Palácios da Cunha e Melo
Coordenação da Pesquisa Aplicada ao Design e Tecnologias da Comunicação
Edna Rezende Silveira de Alcântara
Coordenação da Pesquisa Aplicada ao Desenvolvimento de Instrumentos de Avaliação
Hilda Aparecida Linhares da Silva Micarello
Coordenação do Programa de Pós-Graduação em Gestão e Avaliação da Educação Pública
Eliane Medeiros Borges
Supervisão de Construção de Instrumentos e Produção de Dados
Rafael de Oliveira
Supervisão de Entregas de Resultados e Desenvolvimento Profi ssional
Wagner Silveira Rezende
top related