Post on 09-Jan-2017
RELATÓRIO DE VALIDAÇÃO DA VERSÃO 5.3.5 DO PROGRAMA PREVIVAZ
Operador Nacional do Sistema Elétrico
Diretoria de Planejamento Programação da Operação
Rua Júlio do Carmo, 251 - 6º andar - Cidade Nova
20211-160 Rio de Janeiro RJ
tel (+21) 2203-9899 fax (+21) 2203-9423
© 2015/ONS
Todos os direitos reservados.
Qualquer alteração é proibida sem autorização.
ONS RE 3/054/2015
RELATÓRIO DE VALIDAÇÃO DA VERSÃO 5.3.5 DO PROGRAMA PREVIVAZ
ONS Diretoria de Planejamento Programação da Operação 3 / 29
Sumário
1 Introdução 4
2 Objetivo 6
3 Testes Realizados 8
3.1 Testes da Primeira Etapa 8
3.2 Testes da Segunda Etapa 19
4 Conclusões 27
5 Sugestões 28
Referências bibliográficas 29
ONS Diretoria de Planejamento Programação da Operação 4 / 29
1 Introdução
O ONS utiliza e elabora periodicamente previsões de vazões naturais para os lo-
cais de aproveitamentos hidrelétricos do Sistema Interligado Nacional – SIN, com
o objetivo de subsidiar a tomada de decisão para o planejamento e a operação
eletroenergética, no âmbito do Programa Mensal de Operação - PMO e de suas
revisões semanais, bem como promover o despacho centralizado das usinas de
forma otimizada.
Para previsão de vazões em estágios semanais, o ONS utiliza, entre outros, o
programa PREVIVAZ que foi desenvolvido pelo Centro de Pesquisas de Energia
Elétrica - Cepel. Este programa escolhe entre diversas possibilidades de mode-
lagem estocástica de vazões semanais, o melhor modelo para cada semana,
realizando previsões de até 6 semanas a frente de forma univariada.1.. Atual-
mente o programa Previvaz é utilizado para previsão de 83 aproveitamentos do
SIN. O programa faz uso da interface comum dos programas do Cepel, ENCAD,
sendo que o ONS dispõe de uma versão autônoma para viabilizar sua utilização
em conjunto com os demais programas bases de dados do Operador.
No exercício de suas atribuições, o Subgrupo de Hidrologia do GT2, constituiu
uma Força Tarefa temporária com o propósito de validar a versão 5.3.5 do pro-
grama PREVIVAZ.
A Força Tarefa foi coordenada pela Eng. Angela de Oliveira Ghirardi e contou
com a participação de 9 Agentes além da CCEE, do ONS e do Cepel. A Tabela a
seguir mostra as empresas e profissionais envolvidos no processo de validação.
Nome Empresa email
Alexandre Ribeiro BOLT aribeiro@boltenergias.com.br
Deborah L. M. Silva Brookfield Renewa-
ble Energy Group
deborah.silva@brookfieldenergia.com
Vitor Hugo P. Ferreira BTG-PACTUAL vitor.pontes@btgpactual.com
Debora Y. Lacorte Cargill debora_lacorte@cargill.com
Humberto J. O. Alencar
Saulo Ribeiro Silva
CCEE humberto.alencar@ccee.org.br
saulo.silva@ccee.org.br
Maria Elvira P. Maceira
Jorge M. damázio
Luciano Xavier
Juan Pereira Colonese
Cepel elvira@cepel.br
damazio@cepel.br
xavier@cepel.br
jcolonese@cepel.br
Wendel L. Ferreira Compass wendel.ferreira@cpas.com.br
1 Os detalhes sobre o programa PREVIVAZ podem ser obtidos nos manuais do progra-
ma.
ONS Diretoria de Planejamento Programação da Operação 5 / 29
Nome Empresa email
Thiago P. Pietrafesa CPFL tpietrafesa@cpfl.com
Flávia A. Fontanet Diferencial Energia flavia.fontanet@diferencialenergia.com.br
Roberto C. L. Filho Eletrobrás roberto.leimig-filho@eletrobras.com
Flávio S. D. Alencar
Maria Teresa C. Quintão
Eletronorte flavio.almeida@eln.gov.br
mteka@eln.gov.br
Fabio da Costa Pinto ENDESA fpinto@endesabr.com.br
Vinicius Forain Rocha
Eduardo H. França
Angela O. Ghirardi
Simone B. da Silva
ONS vforain@ons.org.br
ehfranca@ons.org.br
angela.ghirardi@ons.org.br
simone.bs@ons.org.br
Ana Carolina E. Paiva ONS/Aquamet carolina.aquamet@ons.org.br
ONS Diretoria de Planejamento Programação da Operação 6 / 29
2 Objetivo
O objetivo deste relatório é validar as funcionalidades da versão 5.3.5 do PRE-
VIVAZ, subsisdiando desta forma a Agência Nacional de Energia Elétrica –
ANEEL, no processo de autorização para sua autilização no âmbito do PMO e
suas revisões.
A versão 5.3.5 do PREVIVAZ, traz as seguintes alterações em relação à versão
5.2.1, atualmente em uso:
• Correção da impressão do relatório de ordenação dos modelos pelo erro médio
quadrático e do arquivo com as previsões de todos os modelos quando o núme-
ro de anos do histórico de vazões semanais é inferior a 20 anos;
• Implementação de uma nova opção a ser considerada na escolha do melhor
modelo. Nesta nova opção, serão considerados os dois tipos de transformação
da série histórica de vazões (Box-Cox e Logarítmica) e a não aplicação de trans-
formação;
• Implementação de opção que permita o usuário definir limites (superior e inferi-
or) para as previsões;
• Correção da montagem do ano operativo (conforme considerado no Programa
Mensal de Operação);
• Possibilidade do programa considerar séries históricas com 53 semanas (opera-
tivas) anuais;
• Ajuste na definição do intervalo de confiança teórico em casos com limites de
previsão;
• Ajuste na consideração da tendência hidrológica nas situações em que o ano fi-
nal do histórico de vazões a ser considerado para a estimação dos parâmetros
dos modelos auto-regressivos for diferente do ano anterior ao inicio do período
de previsão, conforme descrito na Nota Técnica 01/2011 do Projeto PREVIVAZ;
• Ajuste na definição do intervalo de confiança teórico de previsões, conforme
descrito na Nota Técnica 02/2011 do Projeto PREVIVAZ;
• Ajuste na leitura do registro 16 do arquivo de dados gerais;
• Impressão do arquivo 'faixas.txt', com as faixas de vazão adotadas para a defini-
ção dos limites de previsão;
• Inclusão de testes de leitura (com emissão de mensagens de aviso e/ou erro)
nos arquivos de entrada (dados gerais, vazões, tendência hidrológica, limites)
• Impressão de arquivos temporários para o processo de validação;
ONS Diretoria de Planejamento Programação da Operação 7 / 29
• Modificação no formato de impressão do valor esperado e dos limites de previsão
no arquivo NNN.prv, onde NNN é o código do posto.
A versão do programa Previvaz avaliada inicialmente foi a versão 5.3.4. Durante
o processo de validação houve necessidade de implementações adicionais e cor-
reções no programa o que resultou na versão para 5.3.5. Findo o processo de
validação estará consolidada a versão 6.0 do PREVIVAZ.
O Caderno de Testes foi construído pelo ONS em conjunto com os participantes
da Força Tarefa. Foram escolhidos 3 tipos de testes: operacional, sensibilidade e
de produto intermediário. Testes operacionais são aqueles que cujo objetivo é
verificar os resultados fornecidos pelo programa, testes de sensibilidade são
aqueles cujo objetivo é verificar o comportamento do programa quando há alte-
rações de parâmetros ou dados de entrada, de produto intermediário são testes
que serão realizados para verificação se problemas encontrados no passado fo-
ram sanados na versão atual ou testes de verificação de cálculos intermediários
ao resultado final e de produto final para verificação do resultado final do pro-
grama.
Um teste é considerado aprovado quando alcança o valor esperado definido à
priori no Caderno de Testes. Com a aprovação de todos os testes a FT considera
o programa validado.
Não fará parte desta avaliação a verificação da estimação dos parâmetros dos
modelos utilizados.
ONS Diretoria de Planejamento Programação da Operação 8 / 29
3 Testes Realizados
Os testes foram divididos em duas etapas de acordo com sua complexidade.
3.1 Testes da Primeira Etapa
TESTE 1
Tipo Operacional
Objetivo Verificar a se o programa interrompe sua execução quando são
fornecidas séries históricas de tamanho reduzido
Descrição do teste Processar o modelo com menos de 20 anos de dados.
Teste realizado com e sem limites de previsão
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
O programa não deverá interromper a execução quando o histó-
rico contiver menos que 20 anos. Porém, deve ser emitida uma
advertência ao usuário antes da execução dos cálculos. Esta ad-
vertência deve ser impressa no arquivo Relatório da Previsão
(xxx.rel) e apresentada na interface Encad
Conclusão Verificou-se o resultado esperado
TESTE 2
Tipo Operacional
Objetivo Verificar se as previsões são influenciadas pela tendência hidro-
lógica
Descrição do teste
Processar o modelo para uma semana do ano considerando co-
mo tendência hidrológica diferentes conjuntos de semanas pas-
sadas
Caso o modelo escolhido seja a média anual ou a média sema-
nal, os resultados da previsão não devem ser influenciados pela
tandência hidrológica
Teste realizado com e sem limites de previsão
Saída analisada Arquivo xxx_fut.dat (xxx corresponde ao código do posto)
Observações
O teste foi realizado para o aproveitamento Furnas.
Não foram realizados testes para os casos em que o melhor mo-
delo fosse a média anual ou a média semanal.
Resultado Esperado Os resultados de previsão para a semana selecionada devem ser
diferentes quando calculadas a partir de diferentes origens
Conclusão Verificou-se o resultado esperado
ONS Diretoria de Planejamento Programação da Operação 9 / 29
TESTE 3
Tipo Operacional
Objetivo Verificar se o programa seleciona o melhor modelo dentro das
opções de modelagem estocástica
Descrição do teste
Processar o modelo para uma semana do ano e verificar se o
modelo escolhido é o de menor erro médio quadrático (EMQ)
Teste realizado com e sem limites de previsão
Devem ser executados testes para todas as opções de transfor-
mação
Saída analisada Arquivos xxx.rel e xxx.exc (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Furnas.
Resultado Esperado O modelo selecionado deve ser o de menor erro médio quadrá-
tico (EMQ) segundo o relatório de ordenação dos erros
Conclusão Verificou-se o resultado esperado
TESTE 4
Tipo Operacional
Objetivo Verificar se o programa interrompe a operação na ausência dos
arquivos de dados de entrada
Descrição do teste
Utilizando a interface Encad, processar o modelo:
a. excluindo os dados de vazão
b. excluindo os dados gerais
Saída analisada Arquivos xxx.rel (xxx corresponde ao código do posto)
Observações Os testes foram realizados para o aproveitamento Furnas.
Resultado Esperado Nos dois casos, o programa não deve ser executado e uma men-
sagem de alerta ao usuário sobre ausência de dados
Conclusão Verificou-se o resultado esperado
TESTE 5
Tipo Sensibilidade
Objetivo Verificar o comportamento do programa na estimação dos pa-
râmetros dos modelos reduzindo o tamanho da série
Descrição do teste
Serão escolhidos dois aproveitamentos com diferentes tama-
nhos de série histórica e, em cada um deles, serão excluídos 20%
dos anos iniciais. Testes realizados com e sem limites de previ-
são
Saída analisada Arquivos xxx.rel (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Furnas e para Jauru
ONS Diretoria de Planejamento Programação da Operação 10 / 29
TESTE 5
Resultado Esperado
Os parâmetros dos modelos deverão apresentar resultados dife-
rentes quando comparados aos parâmetros da série sem redu-
ção
Conclusão Verificou-se o resultado esperado
TESTE 6
Tipo Sensibilidade
Objetivo Verificar o comportamento do programa em relação a tendência
hidrológica na transição do período seco para o úmido
Descrição do teste
Processar o modelo aumentando em 100% as vazões das quatro
semanas anteriores à prevista na transição do período seco para
o período úmido.
Devem ser executados testes para todas as opções de transfor-
mação
Testes realizados com e sem limites de previsão
Saída analisada Arquivos xxx_fut.dat (xxx corresponde ao código do posto)
Observações O teste foi realizado para os aproveitamentos Itá e Furnas
Resultado Esperado As previsões devem ser coerentes com a tendência hidrológica
informada.
Conclusão Verificou-se o resultado esperado
TESTE 7
Tipo Sensibilidade
Objetivo
Verificar o comportamento do programa em relação às caracte-
rísticas da série histórica no trecho de transição do período seco
para o úmido
Descrição do teste
Processar o modelo aumentando em 100% as vazões das quatro
últimas semanas da série histórica na transição do período úmi-
do para o período seco
Devem ser executados testes para todas as opções de transfor-
mação
O teste deverá ser executado com e sem limites de previsão
Saída analisada Arquivos xxx_fut.dat (xxx corresponde ao código do posto)
Observações O teste foi realizado para os aproveitamentos Itá e Furnas
Resultado Esperado As previsões devem ser coerentes com a tendência de variação
das vazões no período em análise
Conclusão Verificou-se o resultado esperado
ONS Diretoria de Planejamento Programação da Operação 11 / 29
TESTE 8
Tipo Sensibilidade
Objetivo
Verificar o comportamento do programa em relação às caracte-
rísticas da série histórica no trecho de transição do período seco
para o úmido
Descrição do teste
Processar o modelo diminuindo em 50% as vazões das quatro
últimas semanas da série histórica na transição do período seco
para o período úmido
Devem ser executados testes para todas as opções de transfor-
mação
O teste deverá ser executado com e sem limites de previsão
Saída analisada Arquivos xxx_fut.dat (xxx corresponde ao código do posto)
Observações O teste foi realizado para os aproveitamentos Itá e Furnas
Resultado Esperado As previsões devem ser coerentes com a tendência de variação
das vazões no período em análise
Conclusão Verificou-se o resultado esperado
TESTE 9
Tipo Sensibilidade
Objetivo
Verificar o comportamento do programa em relação às caracte-
rísticas da série histórica no trecho de transição do período seco
para o úmido
Descrição do teste
Processar o modelo diminuindo em 50% as vazões das quatro
últimas semanas da série histórica na transição do período úmi-
do para o período seco
Devem ser executados testes para todas as opções de transfor-
mação
O teste deverá ser executado com e sem limites de previsão
Saída analisada Arquivos xxx_fut.dat (xxx corresponde ao código do posto)
Observações O teste foi realizado para os aproveitamentos Itá e Furnas
Resultado Esperado As previsões devem ser coerentes com a tendência de variação
das vazões no período em análise
Conclusão Verificou-se o resultado esperado
TESTE 10
Tipo Produto Intermediário
Objetivo
Verificar se o programa está realizando corretamente os cálculos
da transformação logarítmica e Box-Cox ao gerar séries trans-
formadas de vazões históricas
Descrição do teste Calcular as séries transformadas por meio de uma planilha ele-
trônica e comparar com as calculadas pelo modelo
ONS Diretoria de Planejamento Programação da Operação 12 / 29
TESTE 10
As séries calculadas pelo programa não fazem parte dos arquivos
de saída, porém, foram fornecidas pelo provedor para validação
destes testes.
Os testes deverão ser executados com e sem limites de previsão
Saída analisada Arquivos xxx.bcx (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado Os resultados obtidos para as séries transformadas devem ser os
mesmos dos valores calculados pelo modelo
Conclusão Verificou-se o resultado esperado
TESTE 11
Tipo Operacional
Objetivo Verificar se ao utilizar um histórico com 53 semanas e ativar o
flag para esta condição o programa tem processamento normal.
Descrição do teste
Processar o programa indicando no registro correspondente do
arquivo de dados que o histórico de vazões tem 53 semanas, e
fornecendo um histórico que também tenha 53 semanas
O teste deverá ser executado com e sem limites de previsão
Saída analisada Arquivos xxx.rel e xxx_fut.dat (xxx corresponde ao código do
posto)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado O programa deve ser executado corretamente sem mensagem
de erro
Conclusão Verificou-se o resultado esperado
TESTE 12
Tipo Operacional
Objetivo Verificar se ao utilizar um histórico com 52 semanas e ativar o
flag para a condição de 53 semanas, o programa é abortado.
Descrição do teste
Processar o modelo indicando que o arquivo histórico de vazões
possui 53 semanas. Porém, será informado um arquivo com 52
semanas
O teste deverá ser executado com e sem limites de previsão
Saída analisada Arquivos xxx.rel (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
A execução do programa deve ser interrompida e deve haver
impressão de mensagem de erro no arquivo Relatório da Previ-
são (xxx.rel) e apresentada na interface Encad
Conclusão Este teste foi realizado na primeira etapa e sua execução não foi
ONS Diretoria de Planejamento Programação da Operação 13 / 29
TESTE 12
interrompida como era o resultado esperado. O provedor forne-
ceu nova versão que foi testada e o problema apresentado foi
sanado. Logo, verificou-se o resultado esperado
TESTE 13
Tipo Operacional
Objetivo
Verificar se ao utilizar um histórico com 52 semanas e ativar o
flag para esta condição o programa tem processamento normal.
Descrição do teste
Processar o programa indicando no registro correspondente do
arquivo de dados que o histórico de vazões tem 52 semanas, e
fornecendo um histórico que também tenha 52 semanas
Saída analisada Arquivos xxx.rel e xxx_fut.dat (xxx corresponde ao código do
posto)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado O programa deve ser executado corretamente sem mensagem
de erro
Conclusão Verificou-se o resultado esperado
TESTE 14
Tipo Operacional
Objetivo Verificar se ao utilizar um histórico com 52 semanas e ativar o
flag para outra condição o programa tem processamento normal
Descrição do teste
Processar o programa indicando no registro correspondente do
arquivo de dados que o histórico de vazões tem 52 semanas, e
fornecendo um histórico que também tenha 53 semanas
Saída analisada Arquivos xxx.rel e xxx_fut.dat (xxx corresponde ao código do
posto)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
A execução do programa deve ser interrompida e deve haver
impressão de mensagem de erro no arquivo Relatório da Previ-
são (xxx.rel) e apresentada na interface Encad
Conclusão Verificou-se o resultado esperado
ONS Diretoria de Planejamento Programação da Operação 14 / 29
TESTE 15
Tipo Operacional
Objetivo Verificar se ao utilizar um histórico com 52 semanas e ativar o
flag para outra condição o programa tem processamento normal
Descrição do teste
Processar o modelo indicando no registro correspondente no
arquivo de dados que o histórico de vazões não tem 52 ou 53
semanas (indicador = 5), e fornecendo um histórico que tenha
52 semanas
Saída analisada Não é gerado relatório
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
A execução do programa deve ser interrompida e deve haver
impressão de mensagem de erro no arquivo Relatório da Previ-
são (xxx.rel) e apresentada na interface Encad
Conclusão Verificou-se o resultado esperado
TESTE 16
Tipo Operacional
Objetivo Verificar se ao utilizar um histórico com 53 semanas e ativar o
flag para outra condição o programa tem processamento normal
Descrição do teste
Processar o modelo indicando no registro correspondente no
arquivo de dados que o histórico de vazões não tem 52 ou 53
semanas (indicador = 5), e fornecendo um histórico que tenha
53 semanas
Saída analisada Não é gerado relatório
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
A execução do programa deve ser interrompida e deve haver
impressão de mensagem de erro no arquivo Relatório da Previ-
são (xxx.rel) e apresentada na interface Encad
Conclusão Verificou-se o resultado esperado
TESTE 17
Tipo Operacional
Objetivo
Verificar se o programa considera adequadamente a informação
do registro que representa o uso ou não de limites de previsão
no arquivo de dados gerais
Descrição do teste
Processar o modelo preenchendo no arquivo de dados gerais o
indicador para não utilização dos limites (indicador = 0) e verfifi-
car se o programa ignora o arquivo de limites fornecido como
entrada.
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Furnas
ONS Diretoria de Planejamento Programação da Operação 15 / 29
TESTE 17
Resultado Esperado erros resultados obtidos com e sem o fornecimento do arquivo
de limites deve ser o mesmo.
Conclusão Verificou-se o resultado esperado
TESTE 18
Tipo Operacional
Objetivo
Verificar se o programa considera adequadamente a informação
do registro que representa o uso ou não de limites de previsão-
no arquivo de dados gerais
Descrição do teste
Processar o modelo preenchendo no arquivo de dados gerais o
indicador para utilização dos limites (indicador = 1 - limites na
escolha do melhor modelo e na previsão)) porém, não indicando o
nome do arquivo de limites
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
A execução do programa deve ser interrompida e deve haver
impressão de mensagem de erro no arquivo Relatório da Previ-
são (xxx.rel) e apresentada na interface Encad
Conclusão Verificou-se o resultado esperado
TESTE 19
Tipo Operacional
Objetivo
Verificar se o programa considera adequadamente a informação
do registro que representa o uso ou não de limites de previsão
no arquivo de dados gerais
Descrição do teste
Processar o programa preenchendo corretamente no arquivo de
dados gerais o indicador para utilização dos limites (indica-
dor = 2 - limites na escolha da previsão)) porém, não indicando o
nome do arquivo de limites
Saída analisada Não é gerado relatório
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
A execução do programa deve ser interrompida e deve haver
impressão de mensagem de erro no arquivo Relatório da Previ-
são (xxx.rel) e apresentada na interface Encad
Conclusão Verificou-se o resultado esperado
ONS Diretoria de Planejamento Programação da Operação 16 / 29
TESTE 20
Tipo Operacional
Objetivo
Verificar se o programa considera adequadamente a informação
do registro que representa o uso ou não de limites de previsão
no arquivo de dados gerais
Descrição do teste
Processar o programa preenchendo incorretamente no arquivo
de dados gerais o indicador para utilização dos limites (indica-
dor = 5)
O teste deverá ser executado com e sem limites de previsão
Saída analisada Não é gerado relatório
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
A execução do programa deve ser interrompida e deve haver
impressão de mensagem de erro no arquivo Relatório da Previ-
são (xxx.rel) e apresentada na interface Encad
Conclusão Verificou-se o resultado esperado
TESTE 21
Tipo Operacional
Objetivo
Verificar se o programa considera adequadamente a informação
do registro que representa o uso ou não de limites de previsão
no arquivo de dados gerais
Descrição do teste
Processar o programa de forma que sua execução considere o
arquivo de limites fornecido. Porém, o indicador para utilização
de limites não estará ativo (indicador = 0)
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
O programa deve ser executado corretamente sem mensagem
de erro porém, sem a utilização dos limites. Isso acontecerá por-
que a indicação no arquivo de dados gerais não considera o uso
de limites
Conclusão Verificou-se o resultado esperado
TESTE 22
Tipo Operacional
Objetivo
Verificar se o programa considera adequadamente a leitura do
registro que representa o uso ou não de limites de previsão no
arquivo de dados gerais
Descrição do teste Processar o programa preenchendo corretamente no arquivo de
dados gerais o indicador para utilização dos limites (indica-
ONS Diretoria de Planejamento Programação da Operação 17 / 29
TESTE 22
dor = 1 - limites na escolha do melhor modelo e na previsão)
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado O programa deve ser executado corretamente sem mensagem
de erro
Conclusão Verificou-se o resultado esperado
TESTE 23
Tipo Operacional
Objetivo
Verificar se o programa considera adequadamente a leitura do
registro que representa o uso ou não de limites de previsão no
arquivo de dados gerais
Descrição do teste
Processar o programa preenchendo corretamente no arquivo de
dados gerais o indicador para utilização dos limites (indica-
dor = 2 - limites na escolha da previsão)
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado O programa deve ser executado corretamente sem mensagem
de erro
Conclusão Verificou-se o resultado esperado
TESTE 24
Tipo Operacional
Objetivo
Verificar se o programa considera adequadamente a leitura do
registro que representa o uso ou não de limites de previsão no
arquivo de dados gerais
Descrição do teste
Processar o programa preenchendo incorretamente no arquivo
de dados gerais o indicador para utilização dos limites (indica-
dor = 5)
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
A execução do programa deve ser interrompida e deve haver
impressão de mensagem de erro no arquivo Relatório da Previ-
são (xxx.rel) e apresentada na interface Encad
Conclusão Verificou-se o resultado esperado
ONS Diretoria de Planejamento Programação da Operação 18 / 29
TESTE 25
Tipo Operacional
Objetivo
Verificar se o programa considera adequadamente a leitura do
registro que representa o uso ou não de limites de previsão no
arquivo de dados gerais
Descrição do teste
Processar o programa preenchendo corretamente no arquivo de
dados gerais o indicador para utilização dos limites (indica-
dor = 1 - limites na escolha do melhor modelo e na previsão).
Porém, preencher o nome do arquivo de limites incorretamente
O teste deverá ser executado com e sem limites de previsão
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
A execução do programa deve ser interrompida e deve haver
impressão de mensagem de erro no arquivo Relatório da Previ-
são (xxx.rel) e apresentada na interface Encad
Conclusão Verificou-se o resultado esperado
TESTE 26
Tipo Operacional
Objetivo Verificar se o programa considera o uso da opção de transfor-
mação automática
Descrição do teste
Processar o modelo com todas as combinações de opções de
transformação possíveis e comparar todos os processamentos
com a opção automática
O teste deverá ser executado com e sem limites de previsão
Saída analisada Arquivo xxx_fut.dat (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
O programa deve apresentar o mesmo resultado de previsão
quando a opção de escolha for automática se comparada à
transformação correspondente
Conclusão Verificou-se o resultado esperado
ONS Diretoria de Planejamento Programação da Operação 19 / 29
3.2 Testes da Segunda Etapa
TESTE 1
Tipo Sensibilidade
Objetivo
Testar a consistência espacial das previsões. Verificar se o mode-
lo Previvaz faz previsões incompatíveis em postos próximos, em
série ou em paralelo
Descrição do teste
Selecionar dois ou mais postos próximos, numa mesma bacia, e
verificar, para diferentes condições hidrológicas, o comporta-
mento das previsões ao se alterar as vazões observadas
O teste deverá ser executado com e sem limites de previsão
Saída analisada Arquivo xxx_fut.dat (xxx corresponde ao código do posto)
Observações
Foram selecionados postos base da bacia do rio Paranaíba
As vazões dos postos foram alteradas em 100% para todas as
semanas do ano
Foram selecionadas 2 semanas de previsão para cada trimes-
tre do ano
Resultado Esperado
Não ocorrência de previsões incompatíveis como, por exemplo,
prever aumento de vazão num posto e diminuição em outro
próximo (em série ou paralelo).
Conclusão Verificou-se o resultado esperado
TESTE 2
Tipo Sensibilidade
Objetivo
Verificar se ocorrem alterações nas estimativas de parâmetros
dos modelos periódicos alterando o mês de início do ano hidro-
lógico
Descrição do teste
Processar o programa e comparar os parâmetros dos modelos
PAR(p) e PARMA (p,1) estimados para diferentes datas de início
de ano hidrológico
Testar para todos os meses do ano e verificar alterações nos
parâmetros estimados e nas funções de auto-correlação
O teste deverá ser executado com e sem limites de previsão
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto)
Observações
As variações quanto ao mês de início do ano hidrológico podem
ser realizadas diretamente via interface Encad
O teste foi realizado para o aproveitamento Furnas
Resultado Esperado As mudanças encontradas devem estar compatíveis com as alte-
rações observadas nas funções de auto-correlação
Conclusão Verificou-se o resultado esperado
ONS Diretoria de Planejamento Programação da Operação 20 / 29
TESTE 3
Tipo Sensibilidade
Objetivo Avaliar o comportamento do programa em períodos úmidos
normais
Descrição do teste
Processar o programa substituindo as quatro últimas semanas
do período úmido pelas respectivas médias semanais de longo
termo
O teste deverá ser executado com e sem limites de previsão
Saída analisada Arquivo xxx_fut.dat (xxx corresponde ao código do posto)
Observações
O teste foi realizado para o aproveitamento Furnas e Itá
A Substituição da tendência pela média de longo termo da se-
mana foi feita de acordo com o início do período úmido de cada
aproveitamento
Os parâmetros para a realização deste teste não fazem parte
dos arquivos de saída do programa, porém, foram fornecidos
pelo provedor para validação destes testes
Resultado Esperado As vazões previstas deverão acompanhar as médias de longo
termo
Conclusão Verificou-se o resultado esperado
TESTE 4
Tipo Produto Intermediário
Objetivo Verificar se o programa está realizando corretamente os cálcu-
los das funções de auto-correlações
Descrição do teste
Processar o programa e calcular as funções de auto-correlação
para a série histórica completa
Considerar as opções: sem agrupamento e com agrupamento
mensal, trimestral e semestral
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto)
Observações
Calcular as funções de auto-correlações por meio de uma plani-
lha eletrônica e comparar com as calculadas pelo programa
Os parâmetros para a realização deste teste não fazem parte
dos arquivos de saída do programa, porém, foram fornecidos
pelo provedor para validação destes testes
O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
Os valores calculados das funções de auto-correlaçõesdevem
estar corretos quando comparados aos valores fornecidos pelo
provedor
Conclusão Verificou-se o resultado esperado
ONS Diretoria de Planejamento Programação da Operação 21 / 29
TESTE 5
Tipo Produto Intermediário
Objetivo Verificar se o programa está realizando corretamente os cálcu-
los das médias e dos desvios-padrão.
Descrição do teste
Processar o programa e calcular as médias e os desvios-padrão
para todas as semanas da série histórica
Teste com e sem limites de previsão
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto)
Observações
Calcular as médias e desvios padrão por meio de uma planilha
eletrônica e comparar com as calculadas pelo programa
Os parâmetros para a realização deste teste não fazem parte
dos arquivos de saída do programa, porém, foram fornecidos
pelo provedor para validação destes testes
O teste foi realizado para o aproveitamento Furnas
Resultado Esperado
Os valores calculados das médias e dos desvios-padrão devem
estar corretos quando comparados aos valores fornecidos pelo
provedor
Conclusão Verificou-se o resultado esperado
TESTE 6
Tipo Produto Intermediário
Objetivo Verificar se o programa está realizando corretamente os cálcu-
los dos erros médios quadráticos
Descrição do teste
Processar o programa e calcular os valores das estatísticas para
todos os modelos considerados pelo programa
Teste com e sem limites de previsão
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto)
Observações
Calcular os erros médios quadráticos por meio de uma planilha
eletrônica e comparar com os calculados pelo modelo.
Os cálculos deverão ser realizados conforme o equacionamento
adotado pelo programa fornecido pelo provedor
Os parâmetros para a realização deste teste não fazem parte
dos arquivos de saída do programa, porém, foram fornecidos
pelo provedor para validação destes testes
Resultado Esperado
Os valores calculados dos erros médios quadráticos devem estar
corretos quando comparados aos valores fornecidos pelo pro-
vedor
Conclusão Verificou-se o resultado esperado
ONS Diretoria de Planejamento Programação da Operação 22 / 29
TESTE 7
Tipo Produto final
Objetivo Verificar se o programa está gerando previsões conforme o
modelo adotado
Descrição do teste
Calcular externamente ao programa as previsões de vazões
com origem numa semana qualquer para as 6 semanas previs-
tas para todos os modelos
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto), arquivo
previsões.txt e arquivo previsão.dat
Observações
Calcular as previsões por meio de uma planilha eletrônica e
comparar com os calculados pelo modelo.
Os cálculos deverão ser realizados conforme o equacionamen-
to adotado pelo programa fornecido pelo provedor
Os parâmetros para a realização deste teste não fazem parte
dos arquivos de saída do programa, porém, foram fornecidos
pelo provedor para validação destes testes
O teste foi realizado para o aproveitamento Furnas
Resultado Esperado Resultados iguais aos valores calculados pelo programa, de-
vendo ser considerada a precisão dos parâmetros impressos
Conclusão Verificou-se o resultado esperado
TESTE 8
Tipo Produto final
Objetivo
Verificar se o programa está calculando os intervalos de confi-
ança de acordo com o equacionamento utilizado pelo progra-
ma
Descrição do teste
Calcular os intervalos de confiança das previsões com origem
numa semana qualquer para as semanas 6 semanas previstas
para todos os modelos
Saída analisada Arquivo xxx.rel (xxx corresponde ao código do posto) e
xxx_fut.dat
Observações
Deve-se levar em consideração a variância do ruído
Calcular os intervalos de confiança por meio de uma planilha
eletrônica e comparar com os calculados pelo modelo.
Os cálculos deverão ser realizados conforme o equacionamen-
to adotado pelo programa fornecido pelo provedor
Os parâmetros para a realização deste teste não fazem parte
dos arquivos de saída do programa, porém, foram fornecidos
pelo provedor para validação destes testes
O teste foi realizado para o aproveitamento Furnas
Resultado Esperado Resultados iguais aos valores calculados pelo modelo, devendo
ser considerada a precisão dos parâmetros impressos
Conclusão Verificou-se o resultado esperado
ONS Diretoria de Planejamento Programação da Operação 23 / 29
TESTE 9
Tipo Produto Intermediário
Objetivo Verificar se a previsão obtida está contida no intervalo de con-
fiança teórico quando do uso de limites de previsão
Descrição do teste
Calcular o intervalo de confiança nas situações em que os mo-
delos fornecem previsões fora dos limites de previsão
Analisar um aproveitamento que já tenha tido problemas no
uso de limites de previsão
Saída analisada Arquivo xxx_fut.dat (xxx corresponde ao código do posto)
Observações
O teste foi realizado para o aproveitamento Foz do Areia (G. B.
Munhoz) que apresentou problemas em 25 de fevereiro de
2011
Resultado Esperado As previsões devem estar contidas no intervalo de confiança
Conclusão Verificou-se o resultado esperado
TESTE 10
Tipo Produto Intermediário
Objetivo
Verificar quando forem usados limites de previsão e o modelo
com transformação for o escolhido, se os intervalos de confi-
ança estão corretamente calculados
Descrição do teste
Calcular o intervalo de confiança nas situações em que o mo-
delo escolhido é um modelo com transformação (Logarítmica
ou Box&Cox)
Analisar um aproveitamento que já tenha tido problemas no
cálculo dos intervalos de confiança
Saída analisada Arquivo xxx_fut.dat (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Tucuruí, que apre-
sentou problemas em 25 de fevereiro de 2011
Resultado Esperado Os intervalos de confiança devem ser calculados corretamente
Conclusão Verificou-se o resultado esperado
ONS Diretoria de Planejamento Programação da Operação 24 / 29
TESTE 11
Tipo Operacional
Objetivo
Verificar se a tendência hidrológica é considerada corretamen-
te nas situações em que o ano final para estimação dos parâ-
metros dos modelos não é imediatamente anterior ao ano de
previsão
Descrição do teste
Fazer com que o último ano considerado para estimação dos
parâmetros seja diferente do último ano completo do histórico
de vazões
Analisar um aproveitamento que já tenha tido problemas no
uso de limites de previsão
Teste com e sem limites de previsão
Saída analisada Arquivo xxx_fut.dat (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Foz do Areia, que
apresentou problemas em 2011
Resultado Esperado Resultados iguais aos valores calculados pelo modelo
Conclusão Verificou-se o resultado esperado
TESTE 12
Tipo Sensibilidade
Objetivo
Verificar se a tendência hidrológica é considerada corretamen-
te nas situações em que o ano final para estimação dos parâ-
metros dos modelos não é imediatamente anterior ao ano de
previsão
Descrição do teste
Repetir o teste 11 variando-se a tendência hidrológica (au-
mentar em 50% os últimos 4 valores)
Teste com e sem limites de previsão
Analisar um aproveitamento que já tenha tido problemas no
uso de limites de previsão
Saída analisada Arquivo xxx_fut.dat (xxx corresponde ao código do posto)
Observações O teste foi realizado para o aproveitamento Foz do Areia, que
apresentou problemas em 2011
Resultado Esperado A tendência hidrológica deve ser calculada corretamente
Conclusão Verificou-se o resultado esperado
ONS Diretoria de Planejamento Programação da Operação 25 / 29
TESTE 13
Tipo Produto Intermediário
Objetivo Verificar se o programa está calculando corretamente as
faixas de vazão
Descrição do teste
Deverão ser calculadas as faixas de vazão (2, 3 ou 4 faixas),
considerando sem agrupamento e com agrupamento mensal,
trimestral e semestral
Considerar o uso de limites nos dois possíveis casos: na esti-
mação dos parâmetros e na previsão; e apenas na previsão
Teste com e sem limites de previsão
Saída analisada Arquivo xxx_fut.dat (xxx corresponde ao código do posto)
Observações
Calcular as faixas de vazão por meio de uma planilha eletrô-
nica e comparar com os calculados pelo modelo
Os cálculos deverão ser realizados conforme o equaciona-
mento adotado pelo programa fornecido pelo provedor
Os parâmetros para a realização deste teste não fazem parte
dos arquivos de saída do programa, porém, foram fornecidos
pelo provedor para validação destes testes
O teste foi realizado para o aproveitamento Furnas
Resultado Esperado Resultados iguais aos valores calculados pelo modelo
Conclusão Verificou-se o resultado esperado
TESTE 14
Tipo Produto Intermediário
Objetivo Verificar se o programa está escolhendo o modelo correta-
mente de acordo com os limites
Descrição do teste
Obter o resultado da previsão de todos os modelos e verifi-
car o modelo selecionado é o melhor modelo
Considerar casos com e sem modelos com vazões previstas
dentro da faixa de vazão
Saída analisada
Analisar o arquivo previsão.dat onde estão as previsões "antes
dos limites" de todos os modelos e o arquivo NNN_MOD.DAT
(NNN é o código do posto) onde são impressos os resultados
finais pós-aplicação dos limites
Observações
Calcular os modelos por meio de uma planilha eletrônica e
comparar com os resultados fornecidos pelo modelo
Os cálculos deverão ser realizados conforme o equaciona-
mento adotado pelo programa fornecido pelo provedor
O teste foi realizado para o aproveitamento Furnas
Resultado Esperado O modelo selecionado deve ser o melhor modelo
Conclusão Verificou-se o resultado esperado
ONS Diretoria de Planejamento Programação da Operação 26 / 29
TESTE 15
Tipo Produto Intermediário
Objetivo Verificar o uso do arquivo VazpastS
Descrição do teste
Calcular a previsão de dois modelos quando se obtém a ten-
dência hidrológica de arquivo externo (arquivo VazpastS)
Teste com e sem limites de previsão
Saída analisada Arquivo com as vazões previstas de todos os modelos (arquivo
previsão.dat)
Observações O teste foi realizado para o aproveitamento Furnas
Resultado Esperado As previsões deverão ser coerentes com a vazão informada
no arquivo externo
Conclusão
Verificou-se o resultado esperado. Porém, a interface do
programa apresenta tabela com valores previstos com uma
inconsistência no cabeçalho (o cabeçalho apresenta como
semana inicial a semana que é considerada a tendência hi-
drológica)
ONS Diretoria de Planejamento Programação da Operação 27 / 29
4 Conclusões
Na primeira etapa foram realizados 26 testes sendo todos aprovados. Na segun-
da etapa foram realizados 15 testes sendo que apenas o nº 15 foi aprovado com
ressalvas .
Em função dos resultados obtidos, com a aprovação de todos os testes realiza-
dos, a FT considera a versão 5.3.5 do programa PREVIVAZ validado, após a cor-
reção necessária que foi identificada no teste nº 15 da segunda Etapa.
ONS Diretoria de Planejamento Programação da Operação 28 / 29
5 Sugestões
Algumas implementações devem ser realizadas pelo provedor a fim de tornar a
execução do programa Previvaz mais amigável e segura para o usuário:
• Melhorar a interface de modo que todas as mensagens de erro estejam
contempladas em arquivos e na interface;
• Mensagens de erro de forma mais clara, informando ao usuário a causa
do problema na execução;
• Impressão de mensagens de erro na tela e em relatório quando a execu-
ção não for realizada;
• Estudar a possibilidade de divisão do arquivo relatório em arquivos meno-
res de forma que cada arquivo possua um tipo de dado;
• Estudar a possiblidade da criação de um arquivo próprio com o satus da
execução;
• Utilizar formato de número científico apenas quando a previsão de uma
semana ultrapassar o formato de número real definido como padrão
ONS Diretoria de Planejamento Programação da Operação 29 / 29
Referências bibliográficas
CEPEL, Aplicação de Limites nas Previsões de Afluências Semanais no
Modelo Previvaz, Nota Técnica 01/2009, Modelo Previvaz, v. 5.3, 2009
CEPEL, Cálculo do Intervalo de Confiança Teórico das Previsões pelo Pro-
grama PREVIVAZ, Nota Técnica 01/2011, Modelo Previvaz, 2011
CEPEL, Correção da Consideração da Tendência Hidrológica pelo Programa
PREVIVAZ, Nota Técnica 01/2011, Modelo Previvaz, 2011
CEPEL, Programa de Previsão de Vazões Semanais – PREVIVAZ, Manual do
Usuário, Novembro de 2014
CEPEL, PREVIVAZ – Modelo de Previsão de Vazões Semanais Afluentes aos
Aproveitamentos Hidroelétricos do Sistema Brasileiro, Manual de Metodolo-
gia, Versão 5.3.4, Outubro de 2014