Autoavaliação do PPGDESIGN
O planejamento da autoavaliação do Programa está alinhado ao PDI 2022-2026, que detalha o processo de Autoavaliação Institucional (AI). A AI é um processo liderado pela Comissão Própria de Avaliação (CPA), de caráter colaborativo entre setores, com o intuito de produzir dados e informações para tomadas de decisão de caráter político, pedagógico e administrativo.
A AI considera a integração, a articulação e a participação de todos os setores da instituição e está estruturada nas etapas: preparação, que envolve a definição da metodologia; coleta de dados, incluindo dados e evidências em documentos institucionais e em segmentos da comunidade interna e externa; análise de dados, que diagnóstico das potencialidades e fragilidades da instituição; recomendações, com a indicação de ações para a melhoria do ensino, da pesquisa, da extensão e da gestão institucionais; elaboração de relatórios; e disseminação, com a disponibilização dos resultados à comunidade.
O PDI enfatiza que os resultados da AI subsidiam a gestão nos diferentes níveis. Especificamente em relação aos PPGs, o PDI estabelece o macroprocesso de "gestão da autoavaliação de programa de pós-graduação". Esse macroprocesso tem o objetivo de obter os resultados do processo de autoavaliação dos programas, subsidiando as suas gestões e retroalimentando a AI. No nível do curso, a AI contempla a autoavaliação do estudante, do professor (incluindo o recredenciamento docente), das disciplinas e da infraestrutura.
Com isso, a autoavaliação é desenvolvida no modelo top down, considerando a CPA (institucional), a Comissão de Planejamento da Autoavaliação dos PPGs, que conta com representantes de todos os PPGs e realiza alinhamentos entre PPGs, Grupo de Trabalho da autoavaliação do Programa, que planeja a autoavaliação, propõe instrumentos e ações de forma participativa (pode incluir docentes, discentes, egressos, equipe administrativa e comunidade) e Comissão de Autoavaliação do Programa, que efetivamente conduz os ciclos de autoavaliação.
A Comissão de Autoavaliação do Programa considera a seguinte composição: ao menos três docentes do Programa; ao menos três discentes; ao menos três egressos; ao menos dois representantes técnico-administrativos; ao menos dois representantes da comunidade. Os integrantes dessa comissão são indicados ou convidados pelo colegiado do Programa com base em seu envolvimento, postura crítica e potencial para contribuições.
Com a indução da Capes para estruturação do Planejamento Estratégico do Programa (PE) e estabelecimento de perfil da proposta, foram conduzidas várias etapas, de acordo com a metodologia do Planejamento Estratégico Institucional (PEI): estudo de cenários, diagnóstico estratégico, concepção estratégica, elaboração e implementação. Sob o PE, está estruturado o processo de autoavaliação, que segue as fases: Preparação, Implementação, Divulgação, Uso dos resultados e Avaliação.
PREPARAÇÃO
A fase Preparação ocorreu com base nas macroestruturas do PEI relativas à estudo de cenários e diagnóstico estratégico. Essa fase contou com diversas oficinas participativas entre os PPGs da instituição e oficinas internas ao Programa, conforme método preconizado pelo PDI. Mais detalhes sobre essas oficinas e o processo colaborativo são apresentados no tópico correspondente. Nessa fase também foi eleita a comissão de autoavaliação do Programa, que conta com representantes discentes, docentes e administrativos (secretaria).
De maneira geral, a preparação permitiu entender o cenário de atuação do Programa, com diagnóstico dos pontos fortes e oportunidades de melhoria. A partir dela, também foi estabelecida a missão do Programa “transladar o conhecimento entre universidade, empresas e sociedade, promovendo a pesquisa estratégica, tecnológica e aplicada com ênfase em design de produtos, sistemas e serviços orientados para o contexto público, privado e terceiro setor”.
Já as diretrizes estratégicas e metas para o quadriênio foram: realizar a revisão da matriz curricular; implementar o Doutorado Profissional em Design; iniciar a primeira turma piloto do Mestrado in company em parceria com uma organização/empresa; ter pelo menos 30% dos docentes do programa com Pós-doutorado; melhorar a infraestrutura dos laboratórios utilizados pelo PPGDesign; implementar uma plataforma para divulgação e visibilidade das ações, atividades e produções do PPGDesign.
Os desdobramentos do PE previram ações realizadas anualmente, bianualmente ou quadrienalmente. Salienta-se que, a cada novo ciclo, a Comissão de Autoavaliação realiza um diagnóstico considerando os tópicos: o que fazemos; a autoavaliação no âmbito da Plataforma Sucupira; a autoavaliação integrada a outros processos; o recredenciamento docente; a autoavaliação institucional (do estudante, do professor, das disciplinas, do corpo técnico e da infraestrutura). As análises são orientadas para: diagnóstico inicial a cada novo ciclo de autoavaliação; pontos fortes; oportunidades de melhoria; ações imediatas; metas; posicionamento do Programa no contexto institucional; e posicionamento em relação à área AUD da Capes.
O processo de preparação resultou no estabelecimento do PE (https://universo.univille.br/ppgd-autoavaliacao-e-planejamento-estrategico). Esse documento registra a contextualização, diagnóstico, definição de diretrizes, objetivos, metas e definição do processo de autoavaliação. Ressalta-se que a autoavaliação do Programa está alinhada com o processo de recredenciamento docente e as atividades da avaliação Capes. Com isso, foi estabelecido um cronograma de autoavaliação ao longo do quadriênio:
Outubro/2020 a Fevereiro/2021. Nesse período foi executado o planejamento da autoavaliação e a formação da comissão de autoavaliação, com representantes discentes, docentes e administrativos;
Fevereiro/2021. Realizada a análise do planejamento estratégico à luz da ficha de avaliação Capes e do planejamento. Foram criados grupos de trabalho participativos conduzidos com o colegiado, discentes, egressos, parceiros e pessoal administrativo. Ao fim dos trabalhos houve a aprovação do planejamento pelo colegiado;
Fevereiro/2021 a Dezembro/2021. Nesse período foi previsto o monitoramento e adequações do processo de autoavaliação, a análise dos resultados da avaliação quadrienal 2017-2020 Capes, o uso dos instrumentos anuais de avaliação, a divulgação dos resultados parciais, o uso dos resultados parciais e a análise do processo a partir dos resultados preliminares;
Fevereiro a Dezembro/2022. Monitoramento e adequações do processo de autoavaliação, recredenciamento docente em meio-termo, uso dos instrumentos bienais de avaliação, uso dos instrumentos anuais de avaliação, divulgação dos resultados parciais, uso dos resultados parciais, e a análise do processo a partir dos resultados preliminares;
Fevereiro a Dezembro/2023. Monitoramento e adequações do processo de autoavaliação, uso dos instrumentos anuais de avaliação, divulgação dos resultados parciais, uso dos resultados parciais e a análise do processo a partir dos resultados preliminares;
Fevereiro a Dezembro/2024. Divulgação dos resultados parciais, uso dos resultados parciais e a análise do processo a partir dos resultados preliminares. Ao fim do ano a preparação do fechamento dos relatórios para avaliação quadrienal Capes.
As fontes de dados se referem a considerações anuais obtidas nos relatórios da Plataforma Sucupira, relatórios de autoavaliação institucional, avaliação de desempenho da equipe administrativa (institucional), registros de trancamento e desistência (coordenação), registro de atividades de capacitação (PRPPG), cronogramas/quadro docente de aulas e relatórios da Plataforma Stela Tek e representação discente nas reuniões de colegiado.
Durante o diagnóstico também foi detectada a necessidade de complementar a coleta de dados de discentes, concluintes e egressos, bem como da produção e atuação do Programa. Nesse sentido, foram elaborados instrumentos digitais que permitem: registro de atividades; avaliação de TCC por membro externo; avaliação de TCC pelo orientador; acompanhamento acadêmico e profissional (discentes e desistentes); acompanhamento de egressos; feedback dos parceiros em disciplinas; e pesquisa de cenários.
IMPLEMENTAÇÃO
No nível institucional, a autoavaliação é implementada pela CPA a partir da visão da experiência do acadêmico sobre o docente, as disciplinas, corpo técnico e infraestrutura. Anualmente os mestrandos e doutorandos recebem em seus Ambientes Virtuais de Aprendizagem (AVA) a solicitação de preenchimento de questionários que compreendem questões específicas a cada um dos aspectos mencionados.
Os dados são enviados pela coordenação do Programa aos docentes sob a forma de relatório circunstanciado de seu desempenho. Posteriormente, o docente discute o seu relatório com a coordenação, o que proporciona revisitar experiências do período, bem como estabelecer um plano para solucionar fragilidades, se for o caso. Se tais fragilidades tiverem um caráter pedagógico, o professor estabelece com o Centro de Inovação Pedagógica (CIP) da Univille um plano, que geralmente envolve cursos e oficinas de capacitação docente.
Além dessa estratégia, há a autoavaliação vinculada ao processo de credenciamento e recredenciamento docente. Esse processo é liderado pela Pró-Reitoria de Pesquisa e Pós-Graduação (PRPPG), iniciando com a designação de uma comissão de recredenciamento, composta por docentes de outros PPGs da Univille e um avaliador externo, conforme apresentado no item 1.2. Ao fim dos trabalhos, a comissão emite parecer sobre o recredenciamento do docente e envia o resultado à PRPPG e à coordenação do Programa, que fazem a devolutiva ao docente. Os encaminhamentos a partir dos pareceres também estão descritos no item 1.2.
De acordo com o PE, a etapa de preparação, as ações de implementação da autoavaliação podem ocorrer anualmente, bianualmente ou quadrienalmente. Nesse sentido, ocorre anualmente o Seminário de Autoavaliação e Planejamento do PPG Design, realizado na primeira quinzena de fevereiro. Como mencionado, esse processo integra a programação da profissionalização docente intensiva. Além de palestras e oficinas promovidas pelo Centro de Inovação Pedagógica (CIP) da Univille, a programação contempla atividades de caráter avaliativo entre PPGs ou no âmbito de cada PPG oferecidas pela PRPPG.
A Comissão de Autoavaliação do Programa dispara por demanda os instrumentos de coleta de dados relativos à “feedback de parceiros”, ao fim de cada disciplina. Cabe aos docentes envolvidos na disciplina em questão repassar o instrumento aos parceiros externos. Ao fim de cada ano letivo (dezembro), também é disparado o instrumento de coleta para “discentes e desistentes”, para que seja possível coletar dados sobre a experiência do ano corrente, bem como eventuais motivos de trancamento ou desistência.
Também é disparado anualmente o instrumento para “concluintes”, que adiciona informações relevantes sobre a etapa final do curso (qualificação e defesa). Por fim, anualmente também é disparado o instrumento para “egressos”, que mensura impactos da formação na sua trajetória profissional ou acadêmica. Todo esse processo é digital e mediado pela equipe administrativa, que mantém as informações de contato atualizadas.
Quanto aos instrumentos de avaliação dos TCCs (orientador e membro externo), os instrumentos são disparados também sob demanda como parte do processo de defesa do trabalho. As ligações para esses instrumentos são enviadas por e-mail juntamente à documentação comprobatória de participação na banca do concluinte.
A utilização do instrumento relacionado ao “registro de atividades” foi pensada como complemento ao registro de produções e arquivamento de materiais para preenchimento de relatórios e divulgação do Programa. No entanto, sua utilização foi superada com a criação de equipes de registro e divulgação com a participação dos Professores Élcio Ribeiro da Silva e Luiz Melo Romão, bem como bolsistas de Mestrado ou Doutorado, que passaram a centralizar o registro de ações e produções para divulgação em plataformas digitais.
Por fim, destaca-se que ao longo do quadriênio ocorreram ações intensivas de autoavaliação, especialmente como parte do processo de elaboração da APCN para o Doutorado Profissional. Com a aprovação da proposta e implantação da primeira turma, novas possibilidades de ação se revelaram, uma vez que os acadêmicos desse nível mantém um vínculo prolongado com o Programa. Nesse sentido, em 2024 houve a ativação do Grupo de Estudos do PPG Design, que reuniu docentes e discentes (incluindo graduação) no debate e desenvolvimento de competências, em especial na escrita técnico-científica.
DIVULGAÇÃO
A divulgação dos resultados da autoavaliação ocorre anualmente na primeira ou segunda reunião ordinária do colegiado, a depender do cronograma de profissionalização docente intensiva. Na ocasião são apresentados os resultados de forma sintética e visual por um dos membros da comissão de autoavaliação do Programa, com destaque para o fluxo de formação, os relatos dos discentes e avaliação dos TCCs. Os resultados são sempre confrontados com o PE a fim de verificar pontos fortes ou oportunidades de melhoria, bem como ações que possam direcionar o alcance das metas previstas.
O relatório também é disponibilizado on-line na página da autoavaliação do Programa (https://universo.univille.br/ppgd-autoavaliacao-e-planejamento-estrategico). Nessa página é possível consultar uma descrição simplificada da metodologia do processo de autoavaliação, bem como consultar os dados e as conclusões do processo. Na ligação é possível encontrar as versões anuais dos relatórios de autoavaliação, com estatísticas de sucesso do estudante, egressos, concluintes, desistentes, equipe administrativa e do programa de maneira global (fluxo de formação, qualidade dos trabalhos, inclusão e diversidade).
A prospecção para o ano (metas, melhorias, ações imediatas e de futuro) é conduzida participativamente na profissionalização docente para PPGs, que ocorre anualmente na primeira quinzena de fevereiro.
É importante destacar que todo o processo de autoavaliação envolvendo parceiros, discentes, concluintes e egressos é anônimo. Apenas nas avaliações dos TCCs é possível identificar o respondente e o trabalho/indivíduo ao qual ele se refere. Não são divulgados, sob nenhuma hipótese, dados que possam identificar indivíduos ou estigmatizar grupos, atendendo a princípios éticos e legais da Lei Geral de Proteção de Dados Pessoais (LGPD).
USO DOS RESULTADOS
Os resultados são utilizados como subsídio para um novo ciclo de planejamento, com vistas ao alcance das metas e objetivos e/ou sua alteração. Como mencionado, a cada início de ano os dados do ano anterior são apresentados e analisados pela Comissão de Autoavaliação do Programa e pelo colegiado. Isso permite que atividades de cunho participativo sejam planejadas e executadas para que ocorra o alinhamento da proposta do curso e se mantenha ou melhore sua efetividade.
Como exemplo, pode-se citar a queda no número de matriculados observada ao longo do quadriênio. Essa constatação levou ao estabelecimento de ações para fortalecimento da divulgação, flexibilização nos períodos de ingresso, esforço para captação de bolsas via editais e negociações para revisão do valor do curso.
O uso dos resultados também pode ser observado na estratégia de utilização dos recursos anuais dos projetos institucionais. Com o diagnóstico da infraestrutura do curso, foi deliberado em colegiado que esses recursos poderiam ser utilizados de forma combinada para contribuir no alcance da meta. Isso permitiu que fossem realizados investimentos em itens estratégicos ao Programa, ao invés do uso desse recurso apenas para o projeto do docente.
A avaliação dos TCCs pelo orientador e pelo membro externo gera dados que permitem identificar demandas sazonais ou tendências. Esses dados são utilizados para planejar ações que melhorem a qualidade dos trabalhos defendidos e a publicação de seus resultados.
O uso dos resultados também permitiu a redefinição das disciplinas obrigatórias das LPATC1 e LPATC2 no nível Mestrado. As disciplinas “Design de serviços” e “Desenvolvimento de produtos” deixaram de ser obrigatórias das LPATCs por demanda identificada no processo de autoavaliação. Havia muitos discentes que eram direcionados a uma delas por conta do vínculo de seu(ua) orientador(a) com a LPATC correspondente, mas que pela natureza do trabalho desenvolvido se beneficiariam mais da disciplina concorrente.
Outro aspecto importante é relativo ao acompanhamento de egressos. Com os resultados parciais indicando queda nos número de egressos respondentes do instrumento, foi estabelecido que os docentes que orientaram os trabalhos poderiam se envolver mais no convite à participação. Isso fortaleceu a reaproximação do egresso com o Programa. Vale ressaltar também que os resultados parciais orientaram ações como projetos de captação de recursos, inserção local e profissional e a estruturação da APCN de doutorado.
Todas as atividades são deliberadas no âmbito do colegiado, contribuindo para que toda a equipe esteja consciente das ações que precisam ser realizadas, incentivadas e monitoradas. Considera-se que esse processo gera engajamento e apropriação dos resultados. Além disso, a disponibilização dos resultados por meio de relatórios na página do Programa permite que a comunidade discente, administrativa e externa possa acessar e avaliar a “saúde” do curso.
AVALIAÇÃO
Como destacado anteriormente, o processo de autoavaliação do Programa inclui diversas fontes de dados. As análises incluem o desempenho das disciplinas, dos projetos finais, das orientações, dos projetos de pesquisa e produção técnico-científica. Os critérios e questões norteadoras estão relacionadas ao sucesso do estudante, da equipe administrativa, do Programa de maneira global. O processo considera também o acompanhamento das diretrizes do PE, do Fórum de Coordenadores dos PPGs Design e a indução da Capes por meio do documento de área AUD e ficha de avaliação.
De maneira geral, os dados são predominantemente quantitativos, sendo realizadas análises com estatísticas descritivas. No instrumento para discentes, a vivência anual do curso é avaliada por meio de escala categórica (Likert) com critérios como orientação, disciplinas (no geral), interação com colegas, dedicação ao projeto, eventos, produção técnico-científica, corpo docente, coordenação e secretaria (equipe administrativa). Esse instrumento ainda contém campos direcionados especificamente para desistentes ou alunos que trancaram o curso, para os quais é questionado sobre suas motivações para essa decisão. Nesse caso os parâmetros são saúde mental, financeira, tempo, demandas profissionais ou licença (p. ex. maternidade).
Para os concluintes e egressos, o processo foi unificado entre PPGs ao longo do quadriênio. Os dados levantados se referem a faixa etária, sexo, bolsas, dedicação ao curso, vínculo profissional, formação continuada (concluintes), produção técnico-científica, premiações, avaliação do curso quanto à equipes e infraestrutura e sugestões ou críticas.
Já para os TCCs há a coleta de dados sob duas óticas distintas: a do orientador; e a do avaliador externo. O orientador analisa a entrega com os critérios de: público-alvo (primeiro, segundo ou terceiro setor), impacto social, impacto ambiental, impacto econômico, impacto no setor privado, impacto no setor público, impacto no terceiro setor, aderência à área de concentração e aderência à linha de pesquisa e atuação. O avaliador externo por sua vez avalia a entrega por meio dos critérios de: inovação tecnológica, impacto social, transferência de conhecimento, produção técnico-científica e inserção local/internacionalização. Esses instrumentos também exigem o detalhamento dos impactos, fornecendo subsídios para os relatórios Capes.
Por fim, o instrumento de avaliação relativo ao feedback de parceiros coleta dados das parcerias desenvolvidas pelo Programa, em especial no desenvolvimento das disciplinas. Essa avaliação é preenchida pelo representante da organização, que avalia as entregas com critérios de potencial para: inovação tecnológica, inovação social, inovação de processo, inovação organizacional, inovação de marketing, impacto ambiental e impacto econômico. Destaca-se que essa informação não é utilizada na avaliação dos discentes, apenas no processo de autoavaliação do Programa.
A concatenação das informações oriundas das orientações da Capes, de documentos institucionais e do processo de autoavaliação do Programa permitem a realização de diagnósticos com base em dados. Indicadores importantes sobre a efetividade e impacto do Programa são essenciais para a definição de diretrizes, objetivos e metas que fortaleçam o modelo de atuação e a inserção do Programa no contexto local/regional.