ASIGQ/19/0000002 — Relatório final da CAE

ASIGQ/19/0000002 — Relatório final da CAE1. Introdução1. Instituição de ensino superior / Entidade instituidora:Universidade De Trás-Os-Montes E Alto Douro1.1.a. Identificação da Instituição de ensino superior / Entidade instituidora (Proposta em associação) Universidade De Trás-Os-Montes E Alto Douro1.2. Unidade orgânica (faculdade, escola, instituto, etc.):Universidade De Trás-Os-Montes E Alto Douro1.2.a. Identificação da Unidade orgânica (faculdade, escola, instituto, etc.) (Proposta em associação):Universidade De Trás-Os-Montes E Alto Douro1.3. Breve descrição da forma como decorreu o processo de auditoria:A visita da Comissão de Avaliação Externa (CAE) à Universidade Trás-Os-Montes e Alto Douro(UTAD) decorreu nos dias 9, 10 e 11 de dezembro de 2019. Participaram na visita Jacinto Vidigal daSilva (Presidente da CAE), Maria de Lurdes Fernandes, Graciete Dias, Rodriguez Fernandez Celso,Marta Sampaio e Maria Lourdes Taylor. Foram planeadas reuniões com uma composiçãopreviamente acordada com a UTAD, no sentido de cumprir o Programa Base da Agência deAvaliação e Acreditação do Ensino Superior (A3ES), que inclui reuniões com: 1 - Autoridadeacadémica máxima; 2 - Equipa responsável pela autoavaliação; 3 - Estrutura de coordenaçãoestratégica; 4 - Uma unidade de ensino e aprendizagem (Escola de Ciências da Vida e do Ambiente);5 - Estudantes de 1º e 2º ciclo 6 – Estudantes de 3º ciclo; 7 – Uma unidade de investigação (Escolade Ciências Agrárias e Veterinárias); 8 – Serviços de apoio; 9 - Docentes; 10 -Coordenação/estruturas de colaboração interinstitucional com a comunidade; 11 - Autoridadeacadémica máxima; 12 - Autoridades académicas e individualidades por estas convidadas.Todas as reuniões decorreram nas instalações da UTAD na cidade de Vila Real.Em todas as reuniões a CAE sublinhou a natureza voluntária da auditoria e clarificou o objetivo daanálise, sublinhando não ser a avaliação do desempenho da UTAD, mas sim do seu sistema internode garantia da qualidade (SIGQ).No conjunto das reuniões realizadas foi ouvida uma significativa amostra de agentes internos, naperspetiva do SIGQ, e também alguns representantes das partes interessadas externas.A instituição colaborou ativamente quer na preparação, quer na realização das reuniões planeadas. A apreciação da CAE incidiu sobre a organização e implementação do SIGQ, bem como sobre ofuncionamento efetivo do Sistema. Baseou-se em evidências comprovativas da implementação dosmecanismos de garantia da qualidade, em termos de instrumentos e procedimentos, formalmentedocumentados, bem como evidências de que o Sistema funciona de forma abrangente e eficaz, comoparte integrante da gestão estratégica da Instituição. As evidências incluídas no RAA eram manifestamente insuficientes, pelo que foi solicitado à UTAD adisponibilização de documentação complementar, em particular uma amostragem de instrumentos ede procedimentos, designadamente: relatórios de autoavaliação de UC (RUC) e de Curso (RC);planos de melhoria de cursos (PMC); relatórios vários, em torno do abandono académico, programade tutoria, da formação pedagógica, do percurso profissional dos diplomados, entre outros. No decurso da visita e no âmbito das várias reuniões realizadas, a CAE constatou como muitopositiva a capacidade de reflexão aos diversos níveis de responsabilidade, bem como a dinâmicacriada na Instituição, tendo em vista a implementação imediata de planos de ação e de medidas demelhoria, face a evidências com caráter crítico registadas no RAA, a serem implementadas em 2019e a exigir monitorização futura.

pág. 1 de 18

ASIGQ/19/0000002 — Relatório final da CAE

2. Apreciação do grau de desenvolvimento do sistemainterno de garantia da qualidadeNota Introdutória

2.1. Definição e documentação da política institucional para a qualidade

2.1.1 Definição e documentação da política institucional para a garantia da qualidade (estratégiainstitucional para a qualidade e objetivos de qualidade; organização do sistema de garantia daqualidade, respetivos atores e níveis de responsabilidade; documentação do sistema)Apreciação do grau de desenvolvimento do SIGQ em relação a este item:Substancial2.1.2 Fundamentação da apreciação expressa:A UTAD adotou claramente uma politica para a garantia da qualidade e definiu objetivos dequalidade, assumindo que a consolidação de uma cultura de qualidade constitui um pilar essencialna prossecução desses objetivos. A estratégia institucional para a melhoria continua da qualidade éparte integrante da gestão estratégica global da Instituição.A partir de 2017, a politica institucional para a qualidade encontra concretização num SIGQabrangente, envolvendo todas as valências da missão institucional (ensino, investigação, colaboraçãocom a sociedade e internacionalização), bem como as áreas de suporte ao seu funcionamento(recursos humanos, materiais e serviços).Existe uma clara definição da estrutura e organização do SIGQ, com identificação dos órgãos eestruturas de suporte, sua constituição e competências, as formas de envolvimento eresponsabilidades de todas as partes interessadas (internas e externas), com especial ênfase nosestudantes.A Instituição preparou, aprovou e publicou abundante documentação em que exprime a politicainstitucional e os objetivos para a qualidade, ao nível do planeamento estratégico e operacional,estrutura e organização do SIGQ, procedimentos adotados, bem como os atores, funções e níveis deresponsabilidade, documentação esta que se encontra em grande parte disponível para consulta noportal da UTAD. É ainda de referir os numerosos regulamentos, manuais e relatórios com ligação aoSIGQ. O abundante e, por vezes extenso, suporte documental poderá dificultar o acesso àinformação, pelo que se sugere que seja explorada uma eventual síntese destes documentos.Do conjunto de documentos, disponibilizados no RAA ou consultados no portal da UTAD,salientam-se os seguintes, pela sua relevância no planeamento estratégico e operacional: PlanoEstratégico para o período 2017-2021 (disponibilizado apenas em versão abreviada, facto que a CAElamenta), Plano da Qualidade, Plano Anual de Atividades; Relatório Anual de Atividades,Regulamento do SIGQ; Relatório de Revisão do SIGQ; Manual da Qualidade (MQ-V02-00), 2018 eManual de Avaliação do Desempenho do Processo Ensino-Aprendizagem.O MQ (versão 02) estabelece e fundamenta “os princípios para a definição de procedimentos emecanismos institucionalizados para a monitorização sistemática, avaliação e intervenção com vistaa melhoria” e integra abordagens de operacionalização do SIGQ. Dada a relevância deste documento,estruturante da definição conceptual do Sistema, e visando facilitar o seu uso como difusor daspráticas de garantia da qualidade e como promotor de uma cultura da qualidade no interior daInstituição, bem como evitar a proliferação de documentação complementar, a CAE considera comoimprescindível a revisão do MQ, com inclusão de uma clara identificação e caracterização dosmecanismos, procedimentos e instrumentos adotados nas várias vertentes da missão institucional eno seu funcionamento geral, bem como na monitorização e acompanhamento do próprio Sistema.Participam ainda na implementação do Sistema as seguintes comissões, cuja constituição ecompetências se encontram descritas no Regulamento SIGQ, aprovado e publicado em Diário da

pág. 2 de 18

ASIGQ/19/0000002 — Relatório final da CAERepública: Comissão de Acompanhamento da Qualidade, Comissão Consultiva da Qualidade,Comissão da Qualidade do Ensino e Comissão da Qualidade dos Serviços. Conta ainda com o apoiologístico do Gabinete de Gestão da Qualidade. É entendimento da CAE que se trata de uma estruturarelevante, mas complexa, que justificaria uma apreciação e avaliação do seu funcionamento earticulação, dado ser referido que “uma das condições para a eficácia da politica de garantia daqualidade passa por manter uma lógica de simplificação quer da estrutura necessária ao bomfuncionamento do SIGQ, quer da tramitação processual inerente” (in RAA, item A4).No seu planeamento estratégico e operacional, a UTAD revela assumir um compromisso inequívococom a ética, valorizando um conjunto de valores e princípios éticos, uma conduta de integridadeacadémica nas atividades da Universidade e na conduta dos seus membros, tendo para este efeitocriado uma estrutura e instrumentos com importante função no âmbito da qualidade. A instituição revela ainda assumir um compromisso com a ética ambiental na sua atividade e com asustentabilidade ecológica, onde inclui, nomeadamente, a qualidade de vida no campus.Embora a monitorização do SIGQ esteja explicitada no MQ, não existem evidências de produção derelatório(s) de meta-avaliação.

2.2. Abrangência e eficácia dos procedimentos e estruturas de garantia daqualidade

2.2.1.1 No ensino e aprendizagemApreciação do grau de desenvolvimento do SIGQ em relação a este item:Substancial2.2.1.2 Fundamentação da apreciação expressa:A UTAD oferece cursos de formação conducentes aos graus de Licenciado, Mestre e de Doutor (1º,2º e 3º ciclos de estudo), em diversas áreas e integrados em cinco unidades orgânicas (UO) deensino e investigação. Do seu leque de oferta formativa, e para além destes níveis de ensino, aUniversidade disponibiliza ainda formação não conducente a grau, nomeadamente Cursos TécnicosSuperiores Profissionais, bem como cursos de pos-graduacao e cursos de especialização, destinadosao aprofundamento de conhecimentos e competências. É ainda de referir a oferta de cursos livres ecursos específicos de preparação para a frequência do Ensino Superior (maiores de 23 anos). AsUnidades Orgânicas (UO) podem oferecer unidades extracurriculares de nivelamento. Os estudantespodem inscrever-se e realizar unidades curriculares (UC) isoladas.No referente à conceção e aprovação da oferta formativa, os processos de criação, alteração oudescontinuação de ciclos de estudos estão regulamentados, existindo definição dos critérios erequisitos a serem observados, bem como a tramitação dos processos e níveis de responsabilidadedesde a fase de elaboração da proposta até à aprovação final e decisão de submissão à A3ES.A CAE não encontrou referência aos critérios de sinalização adotados, não só no referente à deteçãode boas práticas, mas também de situações de qualidade deficiente. É de referir que esta sinalizaçãodeve ser automática e aplicada de forma transversal e consistente.A CAE também verificou que não existem procedimentos para o retorno da informação referente àautoavaliação e melhorias, de modo a que os intervenientes num determinado nível de análisepossam conhecer a forma como os seus contributos foram considerados nas decisões tomadas nosníveis seguintes (“feedback sobre feedback”).Foram realizados questionários pedagógicos, dirigidos aos estudantes, relativos às UC dos 1º, 2º e3º ciclos de estudo e mestrados integrados, através de aplicação online. A participação nosquestionários e obrigatória, sendo, no entanto, possível a opção pelo não preenchimento, tendo emvista salvaguardar o caso de o estudante não ter frequentado com regularidade as UC em avaliação.A CAE concorda com a afirmação de que as taxas de resposta mostram níveis satisfatórios, entre51% e 56% em 2016/2017 e 2017/2018, respetivamente. Sendo de caráter obrigatório, seriaexpectável que as taxas fossem mais elevadas. Dada a relevância deste instrumento na GQ do

pág. 3 de 18

ASIGQ/19/0000002 — Relatório final da CAEensino/aprendizagem e tendo em conta que, no contexto do SIGQ, se trata do critério fundamentalna deteção de situações críticas, a CAE sugere que seja ponderado o estabelecimento de um planode ação, visando melhorar as taxas de adesão, bem como minimizar, tal como referido no Relatóriode Revisão do SIGQ (2017/2018), a contestação a algumas questões por parte dos docentes, porforma a que os objetivos de melhoria das UC e dos Cursos sejam mais facilmente atingidos.Não existem evidências da eficácia do Sistema, tendo por base as taxas de adesão ao preenchimentodos relatórios de autoavaliação de UC e de Curso, com consequências na deteção de situaçõescríticas, no estabelecimento de planos de melhoria e na concretização do acompanhamento dosreferidos planos. No Relatório de Revisão do SIGQ (2017/2018) e relativamente ao período temporalconsiderado para o presente processo de auditoria (2017/2018) é referido o seguinte: “O número deRUC preenchidas pelos docentes tem sido reduzido, situando-se em 2017/18 em 11%. Este factodeve-se em parte a plataforma dos questionários, baseada no Lime Survey ter utilização poucopratica, pelo que se revela essencial desenvolver uma aplicação informática para este fim, quepermita uma mais fácil utilização pelos docentes e uma analise dos resultados mais rápida”; “Ate aopresente tem havido uma reduzida realização de RAC e, consequentemente, de PMC, facto que oSIGQ deve considerar para melhoria. Com frequência as melhorias dos cursos resultam apenas dasrecomendações das CAE da A3ES”; “as UC e os docentes cuja avaliação pedagógica e critica ... sãoalvo de uma analise por uma comissão em que participam alunos, docentes, direção do curso econselho pedagógico, que visa analisar os problemas referenciados e implementar medidas demelhoria. A monitorização da atividade destas comissões e dos seus resultados deve ser reforçada”.Verifica-se ser necessário proceder a uma urgente análise e reflexão aprofundada em torno destesindicadores, bem como o estabelecimento de um plano de ação visando a melhoria das referidastaxas de adesão no ano letivo seguinte (2018/2019). A CAE constatou durante a visita que, nesteâmbito, foram desencadeadas ações neste ano letivo e que dados preliminares apontam para umamelhoria substancial.Na conceção do SIGQ, os processos de GQ desenvolvem-se da base para o topo, sendo expectávelque qualquer nível hierárquico de análise possa determinar uma ação corretiva, a qualquermomento do processo avaliativo. Efetivamente, no ciclo da qualidade o primeiro nível de análise é aUC, seguido do nível Curso, após o que a análise deverá ser efetivada ao nível da UO e para toda aoferta formativa da unidade, terminando no nível institucional global, último nível de análise, semesquecer em cada etapa o retorno da informação para os níveis precedentes. Neste sentido, a CAErecomenda a elaboração de relatórios anuais de síntese nos níveis UO e institucional,essencialmente analíticos e apoiados por informação agregada.Durante a visita e nas reuniões realizadas, a CAE constatou existir uma forte dinâmica de análise ereflexão, indutora de melhoria futura, que aprecia positivamente.No RAA é referido que, desde 1999, a UTAD tem vindo a implementar uma cultura de avaliação equalidade do ensino, tendo criado em 2016 um sistema formal interno de GQ, o SIGQ. Nestes doisúltimos anos, a Instituição tem estado fortemente envolvida no estabelecimento de mecanismos degarantia da qualidade do ensino, exigentes e complexos, facto que merece destaque. A experiênciaadquirida e a reflexão realizada, em tão breve espaço de tempo, conduziram à identificação demelhorias a introduzir. A CAE espera ter contribuído positivamente para este processo,apresentando sugestões e recomendações conducentes a ações de melhoria nesta complexa vertentedo SIGQ.Em geral e sem prejuízo de referência a algumas fragilidades, verifica-se que, na vertente do ensinoe aprendizagem, os mecanismos de GQ estão a ser implementados em termos instrumentais eprocedimentais e estão formalmente documentados, com clara definição dos órgãos e entidadesenvolvidos ou que detêm a responsabilidade de comprovar explicitamente o cumprimento dosrequisitos.

2.2.2.1 Na investigação e desenvolvimento / Investigação orientada e desenvolvimento profissionalde alto nível

pág. 4 de 18

ASIGQ/19/0000002 — Relatório final da CAEApreciação do grau de desenvolvimento do SIGQ em relação a este item:Substancial2.2.2.2 Fundamentação da apreciação expressa:A atividade de investigação e desenvolvimento (I&D) da UTAD é realizada em seis Centros deInvestigação (CI) que envolvem a maioria dos docentes, enquanto outros integram oito pólos de CIde outras instituições e, nas reuniões a CAE foi informada que cerca de 20% do total de docentesnão está integrado em nenhum centro de I&D.O RAA fundamenta a abrangência e eficácia dos procedimentos e estruturas de garantia daqualidade na investigação e desenvolvimento com base em diversos níveis de atuação institucionalque envolve os responsáveis ao mais alto nível e as estruturas como a Área da Inovação eTransferência de Tecnologia (PRTT); o apoio de alguns serviços (como o GAP e o GI) e a atuação doscentros de investigação. A estrutura de apoio à investigação é o GAP – Gabinete de Apoio àInvestigação, cuja atividade de identificação de oportunidades de candidatura e apoio àapresentação de projetos a programas nacionais e internacionais de financiamento foi claramentereconhecida pelos investigadores. O MQ e o RAA limitam-se a caracterizar as atividades e as estruturas de apoio orientadas para aspolíticas da Fundação para a Ciência e Tecnologia (FCT). No que diz respeito aos centros de I&D,com uma atividade maioritariamente dependente do financiamento da FCT, o RAA não referemedidas ou procedimentos concretos que comprovem a sua eficácia, mas a CAE obteve informação,durante a visita, que estão a ser instituídas medidas e indicadores de monitorização sobrepublicações e citações e ao aumento do número de docentes integrados em centros de I&D. A CAErecomenda a clarificação e concretização dos diferentes tipos de atuação e de indicadores, parabenefício da transparência do modelo de melhoria contínua. Recomenda igualmente a criação demecanismos que promovam a integração dos docentes em estruturas de investigação edesenvolvimento.É ainda de notar a existência, em cada centro de I&D, de uma Comissão de AcompanhamentoExterna. No entanto, nem o RAA nem o Portal da UTAD facultam evidências da sua atuação oumedidas dela resultantes. São, contudo, referidas reuniões regulares do VRII com os centros de I&Dpara “acompanhar e analisar a atividade dos CI e propor medidas corretivas”, procedimento que aCAE considera ser da maior importância, mas que é preciso formalizar e registar no SIGQ. O RAA reconhece não haver critérios ou documentos formais definidos para a criação e extinção deCI ou polos, sem justificar tal ausência nem apresentar perspetiva para a sua introdução.No que diz respeito à valorização económica e à publicitação da atividade de I&D, é de realçar apromoção de um “summer innovation campus”, que se pretende alargar às universidades do Norte.A CAE considera aconselhável sistematizar e divulgar evidências da sua concretização e resultados. A disseminação da produção científica é realizada através das páginas dos CI e no RepositórioInstitucional. Todavia a CAE não conseguiu identificar os procedimentos para inserção dedocumentos e por isso recomenda a implementação de um sistema de arbitragem, para garantircritérios de qualidade na seleção das publicações.A CAE não conseguiu identificar mecanismos de incentivos ou de reconhecimento do mérito da I&D.Durante as reuniões foi aventada uma proposta de incentivo baseada na redução da atividade letivapara os docentes cientificamente mais produtivos, coordenadores de projetos de I&D oucoordenadores científicos dos CI.Em termos do reconhecimento institucional da participação dos docentes em atividades deinvestigação, é de notar a sua valorização institucional traduzida na inclusão na avaliação dedesempenho.A CAE recomenda uma melhor divulgação dessas avaliações no Portal da Universidade, emparticular na entrada relativa à investigação e inovação, e não só na página da qualidade. Como ainstituição reconheceu na análise SWOT e durante a visita a dificuldade da Academia em assimilar omodelo da Escola Doutoral, a CAE recomenda a criação/institucionalização de medidas e demecanismos que permitam uma melhoria contínua das práticas de investigação e de divulgação dos

pág. 5 de 18

ASIGQ/19/0000002 — Relatório final da CAEresultados da atividade científica e da inovação na Universidade. Foram identificadas ainda algumas oportunidades no plano da transferência de tecnologia einovação, em particular as que poderão decorrer da instalação de COLAB nas áreas da vinha e dovinho, da floresta e dos fogos, ainda que os procedimentos e as medidas concretizadoras ainda nãoestejam formalizadas de modo claro.

2.2.3.1 Na colaboração interinstitucional e com a comunidadeApreciação do grau de desenvolvimento do SIGQ em relação a este item:Substancial2.2.3.2 Fundamentação da apreciação expressa:A colaboração interinstitucional e com a comunidade não surge como um dos eixos estratégicosprioritários do PE, aparece com grande representatividade no Plano de Atividades (PA) e noRelatório de Atividades (RA) anual da Instituição.Na mesma linha, o RAA apresenta de modo genérico algumas práticas de colaboraçãointerinstitucional, mas durante a visita, a CAE pôde aceder a informações complementares ou maisconcretas. Foi, assim, possível confirmar pelas informações recolhidas durante a visita, que UTADtem vindo a desenvolver um crescente dinamismo na sua ligação à região onde está inserida. Nestadinâmica os ex-alunos, diplomados da UTAD, jogam um papel essencial no estabelecimento daligação da Universidade à região. Esta caraterística leva a que esta atividade assuma naturezasmuito variadas e se desenvolva a vários níveis e em diferentes estruturas, aspeto que dificulta a suamonitorização e conhecimento.Também foi obtida informação sobre a participação institucional em diversos organismos, entidadese estruturas da região, assim como em projetos de inovação e transferência de conhecimento, assimcomo em eventos realizados na região. A reunião com representantes da comunidade e de diversasentidades empresariais da região com as quais a UTAD tem colaborações regulares permitiuevidenciar colaborações regulares em diversas áreas. Além disso, a facilidade de colocação dosestudantes, sobretudo de mestrado e de doutoramento, e de diplomados em diversas entidades eempresas da região confirmou a relevância institucional da UTAD e a sua inserção no tecido social,económico e cultural da região. Todavia, esta forte dinâmica de inserção regional, que traduz a essência da orientação do PlanoEstratégico (PE), não se encontra suficientemente revelada nos relatórios apresentados. Por isso aCAE considera que existe fragmentação de procedimentos e falta de comunicação, pelo que seriaimportante integrar estas atividades no SIGQ, de forma mais estruturada, quer ao nível doplaneamento e do plano estratégico como na definição de prioridades, metas e indicadores demonitorização e ao nível da implementação, acompanhamento e monitorização das atividades deligação à comunidade. A resolução deste problema passa pela atribuição da competência de recolha e sistematização destainformação a uma estrutura de apoio própria que tenha também como atribuição valorizar e validaro conhecimento gerado nos CI e cuja atividade seja enquadrada pelo Regulamento da PropriedadeIntelectual que permite apoiar a proteção de invenções e pelo Regulamento de Incubação deEmpresas para promover a criação de empresas e o empreendedorismo.Além disso a monitorização dos projetos resulta de contatos pessoais informais, que apesar da suaenorme importância, não substituem a formalização dos processos para garantir a transparência,nos diversos protocolos ativos com entidades ligadas a distintos setores, nomeadamente o daeducação, cultura, património natural, energia, saúde, produção vinícola e agrícola e da informática,entre outras.Deste modo, para a valorização da transparência e da regularidade das colaborações, a CAErecomenda a formalização de todo o tipo de colaborações institucionais, sem prejuízo das relaçõespessoais mais informais, que facilitam contactos e agilizam a colaboração protocolada.

2.2.4.1 Nas políticas de gestão do pessoal

pág. 6 de 18

ASIGQ/19/0000002 — Relatório final da CAEApreciação do grau de desenvolvimento do SIGQ em relação a este item:Substancial2.2.4.2 Fundamentação da apreciação expressa:A UTAD dispõe de uma estrutura de gestão de pessoal especializada que aplica as normas eprocedimentos e toda a legislação de suporte ao recrutamento e gestão de carreiras do pessoaldocente e não docente. Toda a informação usada nesta estrutura encontra-se na plataforma uebe.Q.Todavia o processo “Gestão de Pessoas” ainda se encontra em elaboração, mas o Manual deCompetências e Funções já está concluído. Todo o corpo docente e pessoal técnico dos serviços está abrangido pela avaliação. Na avaliação dedesempenho do pessoal não docente é aplicado o Sistema Integrado de Gestão e Avaliação doDesempenho na Administração Pública (SIADAP). Ao pessoal docente aplica-se o Regulamento deAvaliação de Desempenho dos Docentes das Escolas da UTAD (RADE) publicado em maio de 2017 eaplicável ao triénio 2016-2018. A CAE obteve confirmação de alguma insatisfação dos docentes emrelação a este regulamento, considerado desajustado no caso de algumas áreas científicas e injustopor exigir classificação de excelente em pelo menos três das quatro vertentes de atividade paraatingir a classificação máxima, o que implica o desempenho de cargos de gestão, que na sua maiorparte dependem de nomeação interna. A UTAD, revela no relatório de revisão do SIGQ reconhecimento da importância da FormaçãoPedagógica dos seus docentes, os quais se encontram envolvidos no Plano de Formação Pedagógicae de Competências Pessoais para Docentes desenvolvido em parceria com outras IES do consórcioUNorte.pt. Todavia a CAE não conseguiu obter evidência da articulação deste plano de formaçãocom a avaliação de desempenho e com os resultados da auscultação dos estudantes. Nas reuniões aCAE pode confirmar que estes resultados são considerados na avaliação de desempenho dosdocentes. A formação do pessoal técnico abrangeu em 2018 cerca de 56% dos funcionários dos serviços e foiavaliada a eficácia da formação.Todavia a CAE não conseguiu identificar instrumentos formais de reconhecimento do mérito docorpo docente nem do corpo técnico nem de procedimentos de valorização da inovação pedagógicano primeiro. Mas obteve confirmação nas reuniões, que à data da visita, o Regulamento de Avaliaçãode Desempenho dos Docentes para o triénio 2019-2021 ainda não estava publicado.Em síntese, apesar da ausência de mecanismos internos de reconhecimento do mérito, podeconcluir-se que existem mecanismos para promover a melhoria da qualidade.

2.2.5.1 Nos Serviços de ApoioApreciação do grau de desenvolvimento do SIGQ em relação a este item:Parcial2.2.5.2 Fundamentação da apreciação expressa:A estrutura orgânica e as competências dos Serviços da UTAD estão definidas no RegulamentoOrgânico dos Serviços da UTAD publicado no DR em 2012. Este define que o Administrador é oresponsável máximo dos serviços, cuja atividade coordena e supervisiona. Os serviços na dependência direta do administrador são os serviços académicos, serviços financeirose patrimoniais, serviços de recursos humanos, serviços de informática e comunicações e serviços dedocumentação e bibliotecas. A sua atividade é dirigida por um diretor que tem a competência deplanear, organizar e monitorizar o desempenho e garantir a elaboração do plano e relatório anual deatividades. Todavia a CAE pode verificar que os serviços não elaboram planos de atividadesindividuais. Apenas obteve evidência de um plano conjunto de 2018 e 2019 que não individualizaobjetivos, indicadores e metas para os diferentes serviços. Atendendo à omissão de referência a esteassunto, a CAE não conseguiu confirmar que esta prática dos serviços se tenha realizado em anosanteriores e que possa vir a constituir-se como rotina no futuro.A CAE também pode verificar que os serviços elaboram relatórios de atividades. Todavia, estes nãoestão articulados com o Plano de Atividades conjunto, os relatórios analisados não apresentam

pág. 7 de 18

ASIGQ/19/0000002 — Relatório final da CAEreflexão crítica, e não apresentam aplicação do princípio da melhoria contínua, com a apresentaçãode propostas de melhoria, monitorização das propostas de melhoria de anos anteriores,consideradas peças essenciais para o progresso do funcionamento dos serviços.Apenas os SAS apresentam plano de atividades e relatório de atividades anuais que inclueminformação sobre a perceção da qualidade dos utilizadores, uma SWOT e a monitorização damelhoria contínua nos relatórios de atividades. O RAA refere que se encontra em implementação a norma ISO 9001 ao nível dos Serviços de Apoio.Todavia a CAE verificou que a maioria dos processos se encontra em elaboração. Do total de 17processos de gestão interna apenas estão concluídos 4 processos.O RAA também refere que os serviços definiram formas de auscultar a satisfação das partesinteressadas. Todavia a CAE não conseguiu obter evidência da sua aplicação e do seu uso nareflexão crítica da atividade desenvolvida pelos serviços. Apenas o serviço de documentação ebiblioteca aplicou um questionário experimental para estabelecer o perfil dos utilizadores desteserviço.No apoio técnico e administrativo à reitoria, a UTAD dispõe de vários gabinetes especializados queestão sob a coordenação dos membros da reitoria. Também dispõe de três estruturas especializadascomo o Hospital Veterinário, Centro de Gestão Agrária e a Unidade de Manutenção deInfraestruturas e Sustentabilidade. O relatório de revisão do SIGQ (2017/2018) refere que seaplicam a estas estruturas e gabinetes as regras dos serviços, mas que atendendo à suaespecificidade deverão ser criados alguns procedimentos e indicadores mais adequados à naturezadas atividades que desenvolvem. A CAE pode verificar que o procedimento de elaboração derelatório anual não é aplicado à maioria aos gabinetes.De salientar que os procedimentos de planeamento, monitorização e de melhoria contínua dosserviços não estão definidos no MQ.A CAE também pode verificar que o Plano Estratégico e os Planos de Atividades e os Relatórios deAtividades da Instituição revelam pouca informação sobre o funcionamento dos serviços. Em síntese, a CAE considera que não há ainda uma completa apropriação do sistema de garantia daqualidade por parte dos serviços de apoio, sendo necessário consolidar os mecanismos deplaneamento, incluindo a definição de indicadores e metas, e de análise sistemática da informaçãoproveniente de outros vetores do sistema, com procedimentos para garantir os correspondentesprocessos de tomada de decisão, implementação e follow-up.

2.2.6.1 Na internacionalizaçãoApreciação do grau de desenvolvimento do SIGQ em relação a este item:Substancial2.2.6.2 Fundamentação da apreciação expressa:A internacionalização faz parte da Missão da UTAD, é um dos seus valores e constitui um dos seuscinco eixos estratégicos.A UTAD considera a internacionalização em diferentes aspetos, da investigação e transferência deconhecimento na educação e interação com a sociedade e está a trabalhar no estabelecimento deestruturas que permitam avançar no processo de internacionalização. Por isso organizou o Gabinetede Gestão da Qualidade e o Gabinete de Relações Internacionais (GRIM) e Mobilidade sob acoordenação da Reitoria, por meio da Vice-Reitoria de Planeamento e Internacionalização (VRPI).A UTAD aprovou um regulamento para o concurso especial de acesso e entrada do estudanteinternacional nos cursos do 1º ciclo de estudos e mestrado.O Plano de Atividades 2020 contempla a constituição do “Conselho de Internacionalização” epropõe-se a realização do III Fórum de reflexão sobre Internacionalização.Os planos de atividades de 2019 e 2020 incluem a participação da UTAD em redes e consórciosinternacionais e estabelecem indicadores de internacionalização com metas definidas e alinhadascom os objetivos estratégicos.O processo de avaliação dos programas de mobilidade, usado pelo GRIM, é essencialmente realizado

pág. 8 de 18

ASIGQ/19/0000002 — Relatório final da CAEcom o preenchimento de questionários, mas não há evidências da utilização dos resultados.O GRIM promove e dinamiza todos os programas em andamento, divulgando-os pelos meios usuais.Indica-se que a UTAD participa, através do GRIM, como parceira e coordenadora de diversosprojetos, apoiando a Academia por meio do fornecimento de informações especializadas,esclarecimento de dúvidas, articulação com as entidades gestoras dos programas e assegura todo oprocessamento documental inerente ao processo de candidatura, de acordo com o papelrepresentado pela UTAD nos consórcios do projeto.O Relatório do GRIM de 2018 fornece os dados de estudantes de outras nacionalidades (284),mobilidade dos estudantes (315) e mobilidade dos professores (191). Tendo em consideração asevidências fornecidas, em relação à internacionalização, pode concluir-se que a aplicação do sistemade qualidade e o princípio da melhoria contínua ainda não se encontram implementados na suatotalidade. As estruturas a ele vinculadas foram apenas nomeadas em 25 julho de 2018 pelodespacho reitoral 32/2018.O Plano de Qualidade 2019 foi aprovado em abril de 2019 e sua revisão está prevista para janeiro de2020 e inclui a implementação de ações ligadas à internacionalização.Pode considerar-se que existem alguns procedimentos de garantia de qualidade no campo dainternacionalização, mas as informações recolhidas não mostram progresso significativo no aumentoda mobilidade de estudantes, docentes e técnicos dos serviços ou no aumento do número de projetosde investigação internacionais. Para que essa evidência seja produzida é preciso um prazo maisalargado para se poder afirmar que o SIGQ está totalmente implementado nesta área de atividade.Os processos de garantia de qualidade podem detetar défices existentes, mas há progresso poucosignificativo nas ações de melhoria. A eficácia do sistema só aumentará de forma mais visível com aimplementação das medidas previstas no Plano da Qualidade e com revisão do modelo deplaneamento e de relato destas atividades no relatório do GRIM e das Unidades Orgânicas (UI) quecoloquem em evidência os resultados atingidos e dinamizem a discussão interna sobre medidas demelhoria da qualidade a implementar.

2.3. Articulação entre o sistema de garantia da qualidade e os órgãos degovernação e gestão da instituição

2.3.1 Articulação entre o sistema de garantia da qualidade e os órgãos de governação e gestão dainstituiçãoApreciação do grau de desenvolvimento do SIGQ em relação a este item:Substancial2.3.2 Fundamentação da apreciação expressa:Para garantir o compromisso da comunidade académica com a qualidade, a UTAD possui órgãos coma participação de todas as partes interessadas. O SIGQ tem como principais órgãos a Comissão de Acompanhamento da Qualidade (CAQ), órgãoconsultivo do reitor, responsável pela coordenação e gestão da qualidade e a Comissão Consultiva daQualidade (CCQ) com representação de todas as Escolas e outros órgãos da Universidade queapresenta recomendações e pareceres quando solicitado.O SIGQ inclui a Comissão de Qualidade do Ensino e a Comissão de Qualidade dos Serviço.A CAQ é responsável por monitorar o Sistema com a participação de todas as partes interessadas.Como resultado dessa análise, propõe as ações de revisão e melhoria do próprio SIGQ.O Conselho Geral aprova o Plano Estratégico e o Plano Plurianual do Programa de Ação Quadrienal.O Plano Estratégico é concretizado por meio de planos de ação anuais operacionais específicos aonível institucional. Estes são monitorizados anualmente nos Relatórios de Atividades. A CAEverificou que são definidas metas que quantificam os objetivos para os principais indicadoresinstitucionais, mas que este procedimento não é replicado ao nível das Escolas. Durante a visita a CAE observou que este processo está em parte implementado, mas que nem todas

pág. 9 de 18

ASIGQ/19/0000002 — Relatório final da CAEas Escolas elaboram Planos de Atividades Anuais e os Relatórios de Atividades não apresentamreflexão crítica e a monitorização das metas necessariamente alinhadas com os objetivos do PE e oPlano de Atividades Anual da UTAD. A CAE não conseguiu esclarecer qual é o envolvimento das UO e dos serviços na preparação doPlano e do Relatórios de Atividades. Mas considera que é preciso estabelecer mais claramente aestrutura de coordenação, monitorização e articulação entre reitoria e as UOs e os Serviços.Também considera que é preciso incluir a descrição dos métodos e dos circuitos do processo deplaneamento e da monitorização no MQ, de forma a tornar evidente a capacidade de análise críticaaos vários níveis hierárquicos, e para tornar legível o processo de melhoria contínua.A atualização do Manual da Qualidade é de responsabilidade do Gabinete de Gestão da Qualidade,sob a dependência da Pró-Reitoria da área de qualidade em coordenação com a Vice-Reitoria dePlaneamento e o Reitor com a Comissão de Apoio à Qualidade (CAQ).Os estudantes participam através da sua representação no Conselho Pedagógico, Comissões deCursos, Comissão Consultiva do SIGQ, Conselho Académico e Conselho Geral.Durante a visita a CAE pode confirmar o compromisso do Reitor e de todos os elementos da reitoriacom a gestão da qualidade e a melhoria do SIGQ que é preciso alargar mais a toda a ComunidadeAcadémica através de um processo participativo no estabelecimento de metas para as Escolas e osServiços, a fim de que estas se sintam envolvidas no planeamento e no SIGQ e dessa forma secomprometam com maior intensidade na sua execução.O CAE considera que o sistema de garantia da qualidade está inter-relacionado com as atividades degestão estratégica da instituição, representa uma contribuição para o fornecimento de contas egarante valores éticos e integridade académica.As evidências apresentadas mostram que a informação gerada é utilizada no desenvolvimento dainstituição, embora ainda não exista uma apropriação completa do processo de planeamento ao níveldas Escolas e dos Serviços.Em síntese, a CAE considera que as metodologias definidas permitem confirmar que o SIGQ estáarticulado com as atividades e os órgãos de gestão da instituição, e que a informação gerada é usadapara o desenvolvimento da instituição.

2.4 Participação das partes interessadas (internas e externas) nos processosde garantia da qualidade

2.4.1 Participação das partes interessadas (internas e externas) nos processos de garantia daqualidadeApreciação do grau de desenvolvimento do SIGQ em relação a este item:Substancial2.4.2 Fundamentação da apreciação expressa:A instituição fomenta a participação de estudantes, pessoal docente e não docente no ConselhoGeral (13 docentes, 1 não docente e 4 estudantes); no Conselho Académico (20 docentes, 6estudantes); no Conselhos Científicos das Escolas (9 docentes e 1 representante da Unidade deInvestigação alocada a cada Escola) e nos Conselhos Pedagógicos das Escolas (9 docentes e 9estudantes). É ainda referido que a Reitoria fomenta fóruns de discussão abertos a toda acomunidade através de Reitorias Abertas, de reuniões gerais com Núcleos de Estudantes, do FórumPermanente e de outros fóruns temáticos. Porém, não ficou esclarecido como é realizado o ponto desituação e a recolha organizada de informação relativa aos resultados deste tipo de atividades. Osmembros da comunidade académica participam nos processos de garantia da qualidade, queratravés de representantes nos órgãos com responsabilidades no âmbito da qualidade, quer nosprocedimentos de monitorização e melhoria contínua. Inclusivamente, os estudantes estãoenvolvidos noutros processos institucionais, nomeadamente, através da sua representatividade nasComissões de Curso, nas Comissões de Análise de Curso e na Comissão Consultiva do SIGQ. Durante

pág. 10 de 18

ASIGQ/19/0000002 — Relatório final da CAEa visita, foi possível confirmar que a criação de novos cursos conta também com a presença eopinião de antigos estudantes e entidades empregadoras. Existe uma participação ativa no sistemapor parte de estudantes e do pessoal da instituição. As partes interessadas externas tambémparticipam nos processos de garantia da qualidade, ainda que de forma mais informal. Porém, nãoexiste ainda uma clara operacionalização das intenções plasmadas pela UTAD. Uma vez que osistema de informação se constitui como um importante suporte à participação das partesinteressadas internas e externas no que a um SIGQ diz respeito, e apesar do investimento referidono sentido de colmatar esta situação, a fragmentação no SI e o número excessivo de plataformaspode culminar numa falta de consistência na atualização da informação e consequente barreira àparticipação das partes interessadas. Esta situação é de resolução particularmente urgente noreferente às UC, uma vez que os docentes não têm acesso à informação que necessitam para arealização dos RUC e RAC de forma integrada e devidamente organizada.

2.5 Sistema de informação (mecanismos de recolha, análise e divulgaçãointerna da informação; abrangência e relevância da informação gerada)

2.5.1 Sistema de informação (mecanismos de recolha, análise e divulgação interna da informação;abrangência e relevância da informação gerada)Apreciação do grau de desenvolvimento do SIGQ em relação a este item:Parcial2.5.2 Fundamentação da apreciação expressa:No RAA a UTAD carateriza o seu Sistema de Informação (SI) como “um conjunto alargado desistemas (subsistemas) e aplicações que suportam os processos existentes”. Destes, destaca pela suaimportância, o desenvolvimento do Sistema Integrado de Gestão Académica (SIGACAD) que integraas vertentes académica, administrativa, balcão e contabilística. Esta aplicação interage com asplataformas de Distribuição de Serviço Docente (DSD) e o Sistema de Informação de Apoio aoEnsino (SIDE). Esta última suporta a gestão dos ciclos de estudo, horários, sumários, FUCs,lançamento de notas e a aplicação do questionário pedagógico. No apoio ao ensino dispõe daplataforma MOODLE.Na área da gestão de informação é usada a plataforma GESDOC na gestão documental e no arquivo.Na gestão de recursos humanos dispõe do sistema GIAF, onde também faz o processamento desalários, e a avaliação de desempenho dos docentes, é feita na aplicação PADDOC. A gestão orçamental e financeira é suportada por um ERP.Na área da investigação dispõe de acesso ao repositório institucional e de ligação a várias bases dedados documentais internacionais e apresenta nas propostas de melhoria o desenvolvimento de umaplataforma de gestão de projetos de investigação que é atualmente realizada de forma manual.Também apresenta no RAA várias outras propostas de melhoria do SI, como seja a implementaçãode um novo ERP e novos desenvolvimentos no SIDE e no SIGACAD.No RAA, a UTAD reconhece como uma das suas principais fraquezas os “atrasos nainteroperabilidade entre os seus sistemas de informação (SIGACAD, plataforma DSD, SIDE eindicadores do PE)” e a “dificuldade de investimento no desenvolvimento de um sistema integradona recolha de informação, monitorização, avaliação, bem como em estruturas de apoio ao SIGQ”. Pode assim concluir-se que a UTAD dispõe de um vasto conjunto de plataformas informáticas,independentes entre si e ainda com fortes limitações à interoperabilidade entre todas. Durante a visita, a CAE confirmou a dificuldade que esta diversidade de sistemas tem criadoproblemas à produção e disponibilização de indicadores fiáveis, aspeto que também penalizadocentes e técnicos na eficiência do seu trabalho. Tanto no RAA quanto durante a visita, a CAE foiinformada que foi submetida uma candidatura ao SAMA que, a ser aprovada, poderá permitir criarum sistema integrado e ultrapassar todas as limitações sentidas pela Instituição e por toda a suacomunidade académica. Em face destas limitações e até à criação de um sistema informático integrador das várias áreas e

pág. 11 de 18

ASIGQ/19/0000002 — Relatório final da CAEagregador da informação, a CAE recomenda a institucionalização de procedimentos de recolha,análise e organização da informação, assim como a sua monitorização e consequentes medidas demelhoria contínua do desempenho da instituição, para que as opções estratégicas e de atividadespermitam à UTAD dar novos saltos qualitativos nos diversos setores da sua atividade, em especialnos do ensino, investigação, internacionalização e ligação à sociedade.

2.6 Publicação de informação relevante para as partes interessadas externas

2.6.1 Publicação de informação relevante para as partes interessadas externasApreciação do grau de desenvolvimento do SIGQ em relação a este item:Parcial2.6.2 Fundamentação da apreciação expressa:A disponibilização de informação relevante sobre a Instituição e as suas atividades é realizada,maioritariamente, através do portal da UTAD sendo o Gabinete de Comunicação e Imagem (GCI)responsável pela gestão da informação disponível. Na visita, a CAE teve a oportunidade de confirmarque as UO comunicam com o GIC maioritariamente através de email e que a informação vai sendoatualizada, também, através do envio de formulários criados para o efeito. O GIC faz a gestão eanálise da informação e coloca-a online. No portal da UTAD são disponibilizadas informações sobre a missão, objetivos, estatutos eregulamentos, bem como, sobre a estrutura organizacional da Instituição e a composição dos váriosserviços e gabinetes. No separador relativo à “qualidade” existem diversos documentos paraconsulta e informação atualizada. É também fornecida informação sobre a oferta formativa, saídasprofissionais, instalações e serviços de apoio. No que concerne à oferta formativa, e ainda que deforma dispersa, tanto na página da UTAD como das diferentes UO se podem encontrar identificadosos diferentes ciclos de estudo e respetiva composição, bem como, uma ligação para os centros deinvestigação e laboratórios das respetivas UO. No RAA é referida a existência de uma aplicação disponível para android e IOS, contendo toda ainformação sobre os ciclos de estudo (estudarUTAD), assim como outra dirigida aos antigosestudantes (alumniUTAD). Contudo, na visita a CAE percebeu que há desconhecimentorelativamente a estes canais de comunicação por parte dos estudantes. Os cursos e os serviços de apoio ao estudante e ao ensino encontram-se também disponíveis e deforma mais centralizada no site campus online que é dirigido especificamente para os estudantes.Porém, este site está apenas em português, sendo necessário disponibilizá-lo também em línguainglesa. No portal da UTAD, existe a possibilidade de aceder a uma área para Elogios, Sugestões eReclamações, e a informações sobre o Provedor do Estudante e o Provedor do Trabalhador nãoDocente, sendo estas as estruturas criadas para a receção e tratamento das reclamações. Por suavez, e no âmbito do Fórum Permanente, é disponibilizada a Caixa de Ideias Virtual, que tem comoobjetivo receber contribuições de toda a comunidade académica. No que à plataforma SIDE diz respeito, existem ainda algumas UC em que informação não estácompleta e as FUC não se encontram devidamente preenchidas. Por outro lado, muitas não estãotraduzidas para inglês, o que dificulta o acesso à informação por parte de estudantes estrangeiros. Énecessário homogeneizar esta informação. Nesta plataforma, existe a indicação de que a informaçãointroduzida é meramente indicativa e que a UTAD se desvincula das informações disponibilizadas. ACAE considera que esta situação necessita de ser revista, uma vez que pode de alguma formadesvalorizar a informação que lá é inserida por parte dos docentes e que é fundamental para oprocesso de ensino-aprendizagem. Ainda no que respeita ao ensino e aprendizagem, a informação disponibilizada sobre mobilidade,quer para as partes interessadas internas, quer para potenciais candidatos, nacionais einternacionais, está dispersa pelas diferentes plataformas.

pág. 12 de 18

ASIGQ/19/0000002 — Relatório final da CAEPor sua vez, não existe informação sobre empregabilidade por curso e taxas de sucesso escolar queé fundamental para que os estudantes estejam devidamente informados aquando da escolha do ciclode estudos. As informações sobre apoios sociais encontram-se devidamente disponibilizadas naplataforma dos SASUTAD. Da mesma forma, sobre a atividade científica, a CAE entende que a UTADcumpre com a informação disponibilizada.A CAE verificou que a informação e divulgada de forma não sistemática e não é clara a ligação entreos diferentes canais de comunicação existentes, nem a satisfação dos utilizadores relativamente aestas plataformas digitais. Apesar do conjunto de aspetos sinalizados, que indiciam falta deintegração e articulação da informação, a CAE tomou conhecimento que a está em curso aorganização e implementação de um SI para integrar estas plataformas e melhorar o acesso àinformação.

2.7 Acompanhamento, avaliação e melhoria contínua do sistema de garantiada qualidade

2.7.1 Acompanhamento, avaliação e melhoria contínua do sistema de garantia da qualidadeApreciação do grau de desenvolvimento do SIGQ em relação a este item:Parcial2.7.2 Fundamentação da apreciação expressa:O SIGQ da UTAD foi desenvolvido a partir de 1999 com a criação do Gabinete de Avaliação que tinhacomo objetivo implementar uma cultura da qualidade. Em 2010, este gabinete passou a designar-sepor Gabinete de Gestão da Qualidade (GESQUA) sob a dependência da Pró-Reitoria para a Qualidade.O RAA refere que, entre 2013 e 2017, esta área ganhou nova dimensão, ampliando a suaabrangência, passando a ser referenciada como uma das atribuições da UTAD nos estatutos de 2016.Neste período, ficou sob a superintendência da Vice-Reitoria da área do Planeamento Estratégico e“passou a abranger todas as atividades desenvolvidas pela instituição”. A evolução descrita permite concluir que esta visão integrada e abrangente do SIGQ é bastanterecente e que, neste momento, está bastante associada às atividades de planeamento do sistema degestão.O processo de acompanhamento e avaliação do sistema da qualidade está descrito como modeloestrutural do sistema na página 17 do MQ, fazendo parte do Planeamento Estratégico e Operacional. O RAA refere que a eficiência do SIGQ é avaliada, “tendo como base os indicadores definidos noPlano Estratégico da UTAD”. Também refere que o PE é monitorizado com base na metodologiaBalanced Scorecard e nos Relatórios de Atividades e Contas Anuais.A estrutura responsável pela apresentação de propostas de melhoria do sistema é a Comissão deAcompanhamento da Qualidade (CAQ), com base nos resultados da monitorização.Em seguida, o RAA refere os procedimentos normais e os intervenientes no processo dePlaneamento Estratégico e respetivos mecanismos de monitorização e de melhoria contínua dodesempenho institucional.Na documentação consultada e nas reuniões, a CAE conseguiu confirmar que não há auditoriasinternas e que não está previsto elaborar um relatório específico que torne legível a análise doestado de desenvolvimento do sistema da qualidade. Embora este relatório não esteja previsto noMQ, a CAE teve acesso ao Relatório de Revisão do Sistema Interno de Garantia da Qualidade(2017/2018), elaborado em março de 2019, que constitui um bom referencial para o relatório demonitorização do SIGQ a elaborar no futuro.Pode afirmar-se que a Instituição monitoriza sistematicamente a sua atividade através dos Relatóriosde Atividades Anuais, que monitorizou o SIGQ em 2017/2018, mas como este último relatório é únicoe não faz parte dos referenciais de monitorização previstos no MQ, não é possível afirmar que asações de melhoria do sistema foram regularmente planeadas e estão documentadas. Porque oreferido relatório não foi apreciado nas várias instâncias previstas, a CAE não pode afirmar que

pág. 13 de 18

ASIGQ/19/0000002 — Relatório final da CAEexiste uma reflexão substantiva do SIGQ e do seu funcionamento, nomeadamente na implementaçãodos planos de melhoria.

3. Pontos fortes e boas práticas3.1. Principais pontos fortes do sistema:- Claro compromisso institucional com a promoção da qualidade e a melhoria contínua;- Forte envolvimento com a comunidade e compromisso com a região;- O sistema de planeamento estratégico e a monitorização do cumprimento de metas realizado nosRelatórios de Atividades Anuais;- O impacto no território da orientação estratégica das atividades de investigação e desenvolvimento.- Reconhecida disponibilidade dos docentes para acompanhamento dos estudantes.

3.2. Boas práticas, passíveis de difusão:O compromisso com a ética ambiental e com a sustentabilidade ecológica, onde inclui,nomeadamente, a qualidade de vida no campus através do seu planeamento e ordenamento, aconstrução sustentável e a eficiência energética, a mobilidade e acessibilidades, o bem-estar e asegurança. A título de exemplo, cita-se: o documento de definição da Política de Sustentabilidade; oprocesso de Certificação Energética e Ambiental; a Comissão de Biossegurança e o Código de BoasPráticas de Biossegurança dirigido às diversas atividades desenvolvidas nas unidades e estruturasda Instituição.

4. Recomendações para melhoria do sistema4.1. Recomendações essenciais – aspectos a requerer acção correctivaA CAE considera que o SIGQ da UTAD apresenta algumas fragilidades que podem ser ultrapassadascom a implementação das seguintes recomendações:A) A cumprir de imediato1. Eliminar do website institucional a menção de que a informação introduzida é meramenteindicativa e que a UTAD se desvincula das informações disponibilizadas;2. Divulgar os resultados do sucesso escolar das UC e a empregabilidade dos ciclos de estudos;3. Completar e homogeneizar a informação das Fichas de Unidades Curriculares;4. Rever os relatórios anuais de curso, de forma a incluir, para além da reflexão sobre os resultadosdos questionários pedagógicos aos estudantes vários outros elementos de informação sobre os CE eos resultados do E/A, incluindo a análise da eficiência formativa, sucesso e abandono escolar,empregabilidade e análise SWOT do CE, ações de melhoria e a monitorização das implementadas emanos anteriores;5. Rever os relatórios das UC na mesma linha dos RC e que incluem indicadores de E/A, históricodas UC, cumprimento dos programas e espaço de reflexão para docentes responsáveis analisaremtodos estes dados em conjunto com os resultados do questionário pedagógico;6. Estabelecer planos de ação com o objetivo de aumentar a taxa de resposta dos estudantes aoquestionário pedagógico e da taxa de adesão dos docentes ao preenchimento dos RUC e dos RC;7. Publicar o Regulamento de Avaliação de Desempenho dos Docentes para o triénio 2019-2021.B) A cumprir no prazo de 1 ano:1. Rever o MQ, com inclusão de uma clara identificação e caracterização dos mecanismos,procedimentos e instrumentos adotados nas várias vertentes da missão institucional e no seufuncionamento geral, bem como na monitorização e acompanhamento do próprio Sistema. Nestedomínio, a CAE considera essencial integrar os mecanismos de todas as vertentes num documentoúnico, incluindo serviços e o E/A, destacando os referenciais de sinalização adotados para

pág. 14 de 18

ASIGQ/19/0000002 — Relatório final da CAEidentificação de boas práticas e de situações de qualidade deficiente;2. Simplificar as estruturas de apoio ao SIGQ e registo formal definitivo desta estrutura simplificada,de forma a incluir um órgão de reflexão estratégica alargado aos vários níveis intervenção, incluindoporventura agentes das partes interessadas externas; 3. Elaborar relatório anual das atividades de colaboração interinstitucional e com a comunidade einserir uma síntese deste documento no relatório de atividades anual da Instituição;4. Implementar e registar no MQ os mecanismos formais de monitorização das atividades decolaboração interinstitucional e com a comunidade; 5. Implementar questionário de satisfação das partes interessadas no referente aos serviços;6. Desenvolver e registar o sistema de indicadores próprios para serviços de apoio e as estruturasespecializadas;7. Realizar Planos de Atividades Anuais das Escolas que incluam metas para os diferentesindicadores institucionais e que os seus Relatórios de Atividades incluam a reflexão crítica, análiseSWOT e propostas de melhoria;8. Desenvolver indicadores complementares de monitorização das atividades de internacionalizaçãoe melhorar o Plano de Atividades, alinhado com os objetivos do PE; e, que o Relatório de AtividadesAnual do GRIM inclua a monitorização das metas e reflexão crítica;9. Implementar e registar no MQ a elaboração do Relatório Anual de Monitorização do SIGQ queseja abrangente e que envolva um maior número de estruturas intermédias na reflexão crítica sobreos processos, objetivos e referenciais de qualidade.C) A cumprir no prazo de 2 anos:1. Realizar e registar no MQ os Relatórios de Atividades Anuais dos Serviços de Apoio e dasestruturas especializadas que incluam a monitorização das metas e dos resultados dos questionáriosde satisfação das partes interessadas, análise SWOT, reflexão crítica e propostas de melhoria para aatividade dos serviços de apoio e das estruturas especializadas;2. Desenvolver a curto prazo todas as ações para institucionalização de procedimentos de recolha,análise e organização da informação, assim como a sua monitorização e consequentes medidas demelhoria contínua necessárias para dar resposta imediata às exigências do SIGQ; em simultâneodefinir procedimentos de interoperabilidade entre as várias plataformas do Sistema de Informação,desenvolver as novas plataformas previstas, resolver os problemas de apresentação de informaçãoaos membros da comunidade académica.

4.2. Recomendações adicionais, colocadas à consideração da instituição1. Criar Regulamento do Sistema de Incentivos à Investigação de forma a identificar o méritocientífico, dando particular atenção ao seu alinhamento com os objetivos do Plano Estratégico paraeste eixo e com o Regulamento de Avaliação de Desempenho do Pessoal Docente;2. Definir regras para a monitorização da inserção de documentos no RCAAP - Repositório Científicode Acesso Aberto de Portugal, que incluam mecanismos de arbitragem interna alinhados com osreferenciais de qualidade do SIGQ;3. Definir e divulgar as medidas e indicadores de monitorização de publicações e citações e deincentivo à integração dos docentes em centros de investigação;4. Fazer a divulgação da atividade de investigação no separador “investigação” do portalinstitucional;5. Clarificar o papel do Colégio Doutoral na estrutura de investigação e a sua articulação com os CI eos cursos de 3º ciclo;6. Elaborar o Regulamento da Propriedade Intelectual e o Regulamento da Incubação de Empresasda UTAD;7. Introduzir mecanismos formais de reconhecimento do mérito pedagógico e da inovaçãopedagógica;8. Concluir a definição dos processos em curso;9. Aumentar a presença em feiras internacionais de estudantes, melhorar a informação da

pág. 15 de 18

ASIGQ/19/0000002 — Relatório final da CAEinternacionalização na página web, melhorar a articulação do GRIM com as Escolas na promoçãodos programas de mobilidade e organizar eventos como programas de acolhimento de estudantesestrangeiros, bem como a oferta de cursos e de eventos em línguas estrangeiras;10. Reforçar e registar no SIGQ a participação do pessoal técnico e das partes interessadas externasnos órgãos de reflexão do Sistema e nos processos de garantia da qualidade.

5. Observações5. ObservaçõesA Comissão de Avaliação Externa (CAE) analisou com apreço a pronúncia da Universidade deTrás-Os-Montes e Alto Douro (UTAD) sobre o Relatório Preliminar da Avaliação do Sistema Internode Garantia da Qualidade (ASIGQ/19/0000002), tendo considerado como muito positiva acalendarização de implementação das propostas de melhoria e a estratégia de reflexão interna paraa sua implementação.

6. Conclusão6.1. O sistema interno de garantia da qualidade auditado cumpre os requisitos mínimos para a suacertificação, de acordo com os critérios definidos no Manual para o Processo de Auditoria?Sim, sujeito a condições6.2. Condições a serem cumpridas e respetiva calendarização, no caso de ser proposta uma decisãode certificação condicionalO sistema interno de garantia da qualidade cumpre os requisitos para a sua certificação,condicionado à comprovação da superação das condições que são consideradas limitativas noenunciado das recomendações essenciais (ponto 4.1).6.3. Fundamentação da apreciação de cumprimento assinalada em 6.1Nenhuma vertente foi considerada como em desenvolvimento insuficiente; os serviços de apoio,sistema de informação, publicação de informação para as partes interessadas externas e deacompanhamento, avaliação e melhoria contínua do sistema da qualidade foram consideradas em“desenvolvimento parcial”. As outras vertentes foram apreciadas como em “desenvolvimentosubstancial”.

Para cada uma das vertentes:

2.1. A CAE considera que a política institucional para a qualidade e os objetivos de qualidade seencontram claramente definidos e bem documentados, constituindo-se como parte integrante dagestão estratégica global. A política para a garantia da qualidade concretiza-se num SIGQabrangente, envolvendo todas as vertentes da missão institucional e todas as partes interessadas,encontrando-se claramente definidas funções e níveis de responsabilidade, bem como o modeloestrutural e organizativo adotado. Existem evidências sobre a eficácia do SIGQ, mas a exigir especialanálise e reflexão em algumas áreas, designadamente as identificadas neste relatório como emdesenvolvimento parcial.Considerada em desenvolvimento substancial.2.2.1. Sobre o E/A, verifica-se que existem a maioria dos procedimentos de garantia da qualidade,documentados por relatórios de autoavaliação de UC (RUC) e de Curso (RC), planos de melhoria decursos (PMC), registos de controlo e monitorização do plano de melhoria do curso (CMPMC),relatórios vários, em torno do abandono académico, programa de tutoria, da formação pedagógica,do percurso profissional dos diplomados, entre outros. Também se confirma que a informaçãorecolhida é usada na melhoria da qualidade e que instâncias de qualidade deficiente são detetadas

pág. 16 de 18

ASIGQ/19/0000002 — Relatório final da CAEnos questionários pedagógicos e na análise dos Relatórios de Curso nos Conselhos Pedagógicos.Considerada em desenvolvimento substancial.2.2.2. A instituição dispõe de CI bem organizados que mereceram avaliação muito positiva da FCT,tem uma estrutura de apoio à investigação com capacidade para apoiar a apresentação decandidaturas a financiamento competitivo, capaz de produzir informação para a gestão e paraidentificar instâncias de qualidade deficiente, como é o caso dos docentes não integrados em CI; eque, apesar da dificuldade em assumir o novo modelo de organização da investigação protagonizadopelo Colégio Doutoral, dispõe de reflexão estratégica para a investigação com capacidade parapromover a melhoria da qualidade e a mudança.Considerada em desenvolvimento substancial.

2.2.3. Na reunião com representantes da comunidade e diversas entidades empresariais da região,foi possível confirmar a participação institucional em diversos organismos, entidades e estruturas daregião, assim como em projetos de inovação e transferência de conhecimento e em eventosrealizados na região na reunião com representantes da comunidade e de diversas entidadesempresariais da região. Por via de regra, muitas destas colaborações estão protocoladas, mas namaioria dos casos a monitorização dos projetos é informal, baseada nos contatos pessoais. Apesar dafragilidade deste método, foi possível confirmar que as instâncias de qualidade insuficiente sãodetetadas e existem mecanismos instalados para promover a melhoria da qualidade nas relaçõesinstitucionais e com a comunidade.Considerada em desenvolvimento substancial.2.2.4. Existem planos de formação sistemáticos para os docentes e pessoal técnico e todos estãosujeitos a sistemas de avaliação de desempenho, sendo o pessoal técnico e administrativo avaliadopelo SIADAP e o pessoal docente pelo RADD. Todavia, a CAE não conseguiu obter evidência daexistência de procedimentos formais de reconhecimento do mérito, mas pode confirmar que osmecanismos existentes são suficientes para promover a melhoria da qualidade na gestão do pessoal.Considerada em desenvolvimento substancial.2.2.5. As reuniões e os dados recolhidos permitiram concluir que os serviços não fazem PA, que nãohá indicadores específicos dos serviços e que a maioria faz RA que não incluem reflexão crítica epropostas de melhoria. Também se verificou que só estão concluídos um reduzido número deprocessos, podendo por isso concluir-se que não há ainda uma completa apropriação do SIGQ porparte dos serviços de apoio, sendo necessário consolidar os mecanismos de planeamento, incluindo adefinição de indicadores e metas, e de análise sistemática da informação proveniente de outrosvetores do Sistema, com procedimentos para garantir os correspondentes processos de tomada dedecisão, implementação e follow-up.Considerada em desenvolvimento parcial.2.2.6. Apesar das falhas na divulgação da informação sobre as atividades de internacionalizaçãopara as partes interessadas internas e externas e sobre programas de mobilidade que impedem amelhoria significativa dos resultados neste domínio, bem como do reduzido número de iniciativas ede ofertas para promover a internacionalização, a CAE identificou procedimentos de garantia daqualidade, como a aplicação de questionários on-line e a produção de indicadores desta atividade norelatório do GRIM e dos RA anuais da instituição, que permitem identificar instâncias de qualidadedeficiente e encontrar medidas para promover a melhoria como é o caso da constituição do Conselhoda Internacionalização.Considerada em desenvolvimento substancial.2.3. Apesar de nem todas as UO elaborarem PA e os RA não incluírem reflexão crítica emonitorização das metas e ser facilmente confirmável que as boas práticas de planeamentoinstitucional não são replicadas nas estruturas intermédias, a CAE confirmou que as metodologiasdefinidas permitem a articulação das atividades entre os órgãos de gestão e que a informaçãogerada é usada para o desenvolvimento da instituição. Também obteve evidência da interligação emonitorização aos vários níveis e da melhoria do desempenho observada nos diversos indicadores

pág. 17 de 18

ASIGQ/19/0000002 — Relatório final da CAEinstitucionais.Considerada em desenvolvimento substancial.2.4 Os estudantes, docentes e técnicos e as partes interessadas externas participam na gestão aomais alto nível no Conselho Geral. Os docentes participam em todos os órgãos e em especial nosórgãos de coordenação científica e nos órgãos de coordenação pedagógica. Nestes últimos tambémparticipam os estudantes que também fazem parte de comissões da qualidade. O administrador,como representante do pessoal técnico também participa no Conselho de Gestão. As partesinteressadas externas, nomeadamente os antigos estudantes e outros empregadores tambémparticipam nas atividades de colaboração com a comunidade embora na maior parte dos casos deforma informal.Considerada em desenvolvimento substancial.2.5. Com a informação recolhida nas reuniões e na documentação a CAE concluiu que se trata de umSI com insuficiente nível de integração, donde resulta perdas e redundâncias de informação. Estassão particularmente evidentes nas plataformas de E/A, no referente à ligação entre os indicadores ea elaboração de RUC e RC. Também se observa a não utilização dos indicadores institucionais nadefinição de metas nos planos de atividades das UO e serviços, por desatualização ou desadequaçãoda informação às necessidades destes órgãos. Embora se tenham encontrado evidências deconhecimento e tratamento informal de alguns dados, não foi confirmada a existência do seu registosistemático e transversal no SI, o qual se apresenta muito fragmentado e incapaz de produzirinformação adequada às necessidades dos decisores aos vários níveis do SIGQ e de contribuir deforma eficaz para a monitorização e a melhoria contínua da qualidade.Considerada em desenvolvimento parcial.2.6. A divulgação de informação para as partes interessadas externas apresenta falhas ao nível dasUC e dos cursos, de informação sobre as taxas de sucesso/insucesso, empregabilidade dos ciclos deestudos e sobre a mobilidade. Embora toda a restante informação prevista na lei seja disponibilizada,a CAE considera que a informação não é disponibilizada de forma adequada para as partesinteressadas externas por no website institucional haver menção explícita que a informação nelecontida é meramente indicativa e que a instituição se desvincula da informação disponibilizada.Considerada em desenvolvimento parcial.2.7. No âmbito do SIGQ, os relatórios de meta-avaliação não estão explicitados. Este instrumento,abrangendo todas as áreas da missão institucional, deve demonstrar os resultados da monitorizaçãodos níveis de cumprimento dos procedimentos, referindo a evolução temporal de taxas de adesãorelativamente aos instrumentos aplicados, as medidas tomadas para suprir situações deincumprimento, bem como a eficácia do Sistema e medidas de promoção da sua melhoria, incluindoindicadores de impacto. Não existindo evidências de produção de relatório(s) anuais demeta-avaliação, a CAE considerou que as ações para melhoria do sistema não são regularmenteplaneadas e não estão documentadas. Considerada em desenvolvimento parcial.

pág. 18 de 18