BRAZIL IP The BrazilIP Network BRAZIL IP The BrazilIP Network Verificação funcional Curso do...

BRAZIL IPBRAZIL IP

The BrazilIP Network

BRAZIL IPBRAZIL IP

Verificação funcional

Curso do programa Brazil-IP

Elmar Melcher

elmar@dsc.ufcg.edu.br

http://lad.dsc.ufcg.edu.br/ip

BRAZIL IPBRAZIL IP

Roteiro

IntroduçãoMotivaçãoFluxo de projetoVerificaçãoTipos de verificaçãoVerificação funcionalAbordagens de verificaçãoPlano de verificação

BRAZIL IPBRAZIL IP

Roteiro

Metodologia BVMTestbenchElementos básicosRegras de projetoImplementaçãoTipos de estímulosCoberturaBiblioteca OVM

BRAZIL IPBRAZIL IP

Roteiro

ExemplosCodificador DPCMDecodificador MPEG4Lacre Eletrônico

BRAZIL IPBRAZIL IP

Introdução

Ninguém usa um IP core no qual não confia.

IP core: “Lógica ou os dados necessários para construir um dado projeto de hardware. Idealmente ele é “reusável” e pode ser adaptado a vários tipos dedispositivos de hardware. Pode-se entender o IP-core como a implementação de um dado projeto de hardware em uma linguagem especifica para esse objetivo.”

BRAZIL IPBRAZIL IP

Motivação

BRAZIL IPBRAZIL IP

Caso famoso: NASA

Exemplo de problema causado por má verificação na NASA:Mars Climate Orbiter de 1999Erro de verificação de sistema fez com que o Orbiter voasse muito próximo à atmosfera marciana e queimasse.Problema era uma mistura de unidades métricas e unidades inglesas que causou um erro no cálculo da trajetória.

BRAZIL IPBRAZIL IP

Caso famoso: INTEL

Problema descoberto no Pentium em 1994 por um professor de matemática durante uma pesquisa matemática.A FPU produzia resultados de divisão errôneos no oitavo digito significativo para certos argumentos.Embora no máximo 1 usuário em 1 milhão jamais foi afetado, a confiança na INTEL caiu.Abriu o caminho para crescimento maior da AMD.Prejuízo de 500 MUS$ (?)

BRAZIL IPBRAZIL IP

Verificação de IP cores

Como alcançar confiança em um projeto?Processo de verificação bem executado e documentado.

IP cores precisam ser verificados mais amplamente,Todas propriedades e utilizações possíveis devem ser verificadas,Não somente um ambiente específico.

BRAZIL IPBRAZIL IP

Fases de um projeto de hardware

SínteseSínteseSimulaçãoPós-sínteseSimulaçãoPós-síntese

PrototipaçãoPrototipação

Implementaçãodo

Código RTL

Implementaçãodo

Código RTL

Especificação do

hardware

Especificação do

hardware

Especificação da

verificaçãofuncional

Especificação da

Implementaçãodo

testbench

Implementaçãodo

testbench

BRAZIL IPBRAZIL IP

Custo versus Tempo

Entregar produtos e ganhar dinheiro.

Custo e tempo de corrigir um defeito cresce quando descoberto mais tardeno ciclo de vida do produto.na especificaçãona simulaçãona prototipagemna fabricação em volumeno uso pelo cliente

BRAZIL IPBRAZIL IP

Verificação

BRAZIL IPBRAZIL IP

Tipos de verificação

Verificação:

Dinâmica ou Funcional.

Estática ou Formal.

Híbrida.

BRAZIL IPBRAZIL IP

“Verificação funcional é um processo usado para demonstrar que o objetivo do projeto é

preservado em sua implementação” [bergeron2003]

BRAZIL IPBRAZIL IP

Verificação funcional x Teste

Verificação Funcional: confrontar um modelo a ser verificado a outro modelo padrão, comparando a funcionalidade por simulação.

Teste: verificar se um CI está sem erro de fabricação.Teste: verificar se um CI está sem erro de fabricação.

BRAZIL IPBRAZIL IP

Mais da metade do esforço de projeto está na verificação.Um testbench muitas vezes contém duas vezes mais linhas que a própria descrição do projeto.A equipe de engenheiros de verificação é maior do que a equipe de projetistas.

Verificação é difícil.

BRAZIL IPBRAZIL IP

Engenheiros da Motorola no SBCCI 2002:“Estamos procurando trabalhos sobre verificação”Novas metodologias em 2006:VMM, AVM, OVM, ...Procura por “bons” engenheiros de verificação em todas as empresas.

BRAZIL IPBRAZIL IP

Custo da verificação

Um mal necessáriosempre leva tempo demais e custa caro demais

mas indispensável.porque afeta diretamente os três requisitos:cronograma

qualidade

BRAZIL IPBRAZIL IP

Isso funciona mesmo ?

A verificação funcional deve responder a esta pergunta.“isso” é uma descrição RTL de um projeto.“funciona” se refere a simulação.O funcionário de uma empresadeve poder dormir tranqüilose a verificação responde “sim”.

BRAZIL IPBRAZIL IP

Como saber fazer ?

Muitos livros falam sobre implementação.

Poucos falam sobre verificação.Writing Testbenches: Functional Verification of HDL Models by Janick Bergeron, 3rd edition, KluwerAcademic Publishers, 2006

Piziali, Functional verification Coverage Measurement and Analysis, Kluwer 2004.

BRAZIL IPBRAZIL IP

Verificação estática

Analisadores de código HDL, Lint ou linting toolsTipos de problemas detectáveis case incompleto

atribuições em if...else inconsistente

falta de sinais na lista de sensibilidade

reset síncrono / assíncrono

falta de sinais a serem resetados

BRAZIL IPBRAZIL IP

Fluxo de projeto

Especificação

Descrição comportamental

Descrição estrutural

Layout

Função

Descrição RTL

Função & Timing

consumo, área, etc.

Verificação

BRAZIL IPBRAZIL IP

Projeto x Verificação

Intenção do projeto

Especificação

Implementação

BRAZIL IPBRAZIL IP

Especificação

Implementação

BRAZIL IPBRAZIL IP

Especificação

Implementação

BRAZIL IPBRAZIL IP

Especificação

Implementação

BRAZIL IPBRAZIL IP

Especificação

Implementação

BRAZIL IPBRAZIL IP

Especificação

Implementação

BRAZIL IPBRAZIL IP

Especificação e

Implementação

BRAZIL IPBRAZIL IP

Nível hierárquico adequado

Verificação funcional pode ser realizada a vários níveis:componente/unidade/sub-unidade, ...

ASIC/FPGA/IP

Sistema/SoC

BRAZIL IPBRAZIL IP

Nível hierárquico adequado

Como decidir qual nível?Nível mais baixo fornece mais observabilidade mas exige mais esforço,

A nível mais alto os elementos menores são verificados implicitamente com menos esforço desde que os cenários e vetores de entrada sejam completos.

Decisão depende do projeto.Faz parte do plano de verificaçãopara cada elemento existe uma seção nele.

BRAZIL IPBRAZIL IP

Verificação em vários níveis

Na verificação no nível de sistema é suficiente verificar a interação dos componentes se uma verificação correta a nível de componentes foi feita.Verificação entre dois níveis adjacentes, do topo até a base.

BRAZIL IPBRAZIL IP

Para realizar a verificação funcional necessita-se de:

Um projeto a ser verificado denominado DUV (Design Under Verification).

Um Modelo de Referência que implementa as funcionalidades do DUV de forma ideal.

Um ambiente de verificação (testbench).Responsável por gerar estímulos para o DUV e comparar as respostas do DUV com as respostas do Modelo de Referência.

BRAZIL IPBRAZIL IP

Tudo a mesma coisa:UUV (Unit Under Test).unidade a ser testada.

MUT (Model Under Test).

DUT (Device Under Test, Design Under Test).

EUV (Entity Under Verification).

DUV (Design Under Verification).

BRAZIL IPBRAZIL IP

Modelo de Referência pode ser escrito em qualquer linguagem que possa se comunicar com SystemVerilog.

Normalmente escrito em C, C++, podendo ser escrito em outras linguagens.

BRAZIL IPBRAZIL IP

TestbenchMontagem de teste para simulação.Código escrito em SystemVerilog.Cria estímulos e verifica a resposta.Não tem entrada nem saída.Um modelo do universo em volta do projeto.Imprime mensagens quando o DUV apresenta comportamento inesperado.Caso tudo está ok imprime uma única mensagem no final.

BRAZIL IPBRAZIL IP

Testbench

DUVDUV

Reference

BRAZIL IPBRAZIL IP

DUVDUV

Reference

ModelInserirestímul

Comparar

resposta

BRAZIL IPBRAZIL IP

Verificação funcional deve:Ser dirigida pela cobertura (Coverage-driven)Quando parar de simular ?Cobertura - processo que mostra que as funcionalidades especificadas estão sendo exercitadas.

Auxilia na análise de redirecionamento de estímulo.

Mostra o progresso da verificação.

Determina quando terminar a verificação.Possuir estímulosDirecionados.Corner-cases.Reais.

BRAZIL IPBRAZIL IP

Verificação funcional deve:

Apresentar estímulos com aleatoriedade direcionada (Random-constrained)

Estímulos são gerados baseados em uma distribuição de probabilidade direcionada para o DUV.

Visa alcançar os critérios de cobertura.

Encontra erros não previstos.

BRAZIL IPBRAZIL IP

Ser auto verificando (Self-checking)O ambiente de verificação deve comparar as respostas do DUV com as respostas do Modelo de Referência sem intervenção humana.

BRAZIL IPBRAZIL IP

Ter o testbench implementado no nível de transação (Transaction-level (TL ou TLM)) Transação: uma estrutura de instruções e/ou dados que tem início e fim no tempo.

Exemplos:

Pacote Ethernet

BRAZIL IPBRAZIL IP

Resumo

Im plem entação dotestbench com

cobertura

Im plem entação do D UV

S im ulação

Dados decobertura

Análise dacobertura

BRAZIL IPBRAZIL IP

Verificação

AutomaçãoEliminar intervenção humana no processo.

Realidade mostra que não é possível:processos mal definidos,

precisando de invenção e criatividade humana.

RedundânciaUsar dois engenheiros (ou grupos) para um verificar o outro.Projetista

Engenheiro de verificação

BRAZIL IPBRAZIL IP

Quem pode errar ?

Um projetista pode implementar uma funcionalidade de forma errada ?

Sim, o erro será descoberto por um teste.

Um engenheiro de verificação pode testar uma funcionalidade de forma errada ?

Sim, um erro falso aparecerá no teste.

O projetista e o engenheiro de verificação podem cometer o mesmo erro ?

Não, o erro será aceito no teste.

BRAZIL IPBRAZIL IP

Quem pode errar ?

Um projetista pode esquecer de implementar alguma funcionalidade ?

Sim, a falha será descoberta por um teste.

Um engenheiro de verificação pode esquecer de testar alguma funcionalidade ?

Não, um possível erro do projetista passará despercebido.

BRAZIL IPBRAZIL IP

Pode provar a presença de erros, mas não pode provar a ausência de erros.

É preciso saber quando pode-se terminar o processo de verificação.medição de cobertura

BRAZIL IPBRAZIL IP

Abordagens de Verificação

Black BoxGrey BoxWhite Box

BRAZIL IPBRAZIL IP

Black Box

Entradas, saídas, funçãoFunção bem documentada (ou não...)Para verificar, é preciso entender a função e prever as saídas sabendo as entradas.

BRAZIL IPBRAZIL IP

White Box

Todas as variáveis internas visíveis.Podem ser acessadas para verificação.Para teste de unidades pequenas nas folhas da hierarquia

BRAZIL IPBRAZIL IP

Grey Box

Uma seleção restrita de variáveis internas pode ser usado para verificação.Exemplo: registradores de um processador

BRAZIL IPBRAZIL IP

Plano de Verificação

Especificação do processo de verificação;Define o quê será verificado e como.Abordagem tradicional:faça como quiser

Abordagem nova:uso de métricas para saber quando a verificação estiver completa: Cobertura da Verificação idealmente a definição de sucesso “de primeira”.

BRAZIL IPBRAZIL IP

Feito a partir da especificação do DUV.Define os cenários de teste (testbenches a serem escritos):define a complexidade deles,

as dependências entre eles.

A partir daí é feito um cronograma:recursos (humanos, máquinas, etc.) necessários,

recursos disponíveis

BRAZIL IPBRAZIL IP

Pertence à equipe:todo mundo envolvido é responsável,

tudo mundo deve contribuir.

Plano de Verificação não é algo novo, já é usado por:NASA

Software

BRAZIL IPBRAZIL IP

Conteúdo do Plano de Verificação

Resumo do sistemaNíveis de abstraçãoTecnologias de VerificaçãoModelos de referência a serem usadosFluxograma da verificaçãoDefinição dos estímulosTestes de regressão

BRAZIL IPBRAZIL IP

Conteúdo do Plano de Verificação

Gerência de falhasPlano de recursosCronograma

BRAZIL IPBRAZIL IP

Os três mandamentosda verificação funcional

Você deve solicitar mais seu projeto do que jamais ele será solicitado no futuro.

Você deve monitorar tudo.

Você não deve passar a um nível mais alto de hierarquia antes de atingir cobertura completa.

BRAZIL IPBRAZIL IP

Metodologia BVM

BRAZIL IPBRAZIL IP

Brazil-IP

Metodologia BVM é VeriSC usando OVM.VeriSC surgiu no contexto do projeto Brazil-IP.Brazil-IP é um esforço de universidades brasileiras para a capacitação de pessoas para a produção de IPs.VeriSC foi defendida como tese de doutorado.

BRAZIL IPBRAZIL IP

Fluxo de projeto

Implementaçãodo

Código RTL

Implementaçãodo

Código RTL

Especificação do

hardware

Especificação do

hardware

Especificação da

Implementaçãodo

testbench

Implementaçãodo

testbench

Especificação do hardware

Especificação da Verificação funcional

Implementação do testbench

Implementação

do DUV (Design Under

Verification)

Implementação

do DUV Design) Under

(VerificationVerificação funcional

BRAZIL IPBRAZIL IP

Metodologia VeriSC

Inicia pela implementação do testbench. Implementa um mecanismo para simular a presença do DUV unicamente com os elementos do testbench, sem usar nenhum artifício extra.Todas as partes do testbench podem estar prontas e simuladas antes do início do desenvolvimento do DUV.

BRAZIL IPBRAZIL IP

Testbench da metodologia VeriSC

DUVDUV

Nível de transações

Nível de

sinais

BRAZIL IPBRAZIL IP

Testbench

Definição: Montagem em volta do Design Under Verification

BRAZIL IPBRAZIL IP

Transação

Definição: Uma operação que inicia num determinado momento no tempo e termina em outro.

É caracterizada pelo conjunto de instruções e dados necessárias para realizar a operação.Exemplos:transmissão de um pacote ethernet

recepção de uma imagem

uma escrita num barramento

execução de uma instrução de máquina de um processador

BRAZIL IPBRAZIL IP

Testbench

DesignUnderVerification

TDriver

Monitor

Source

ReferenceModel

Checker

channelsinal

refmod

BRAZIL IPBRAZIL IP

Elementos de um testbench

SourceEnvia transações de entrada para o driver e para o reference model.

CheckerCompara as transações de saída recebidas do monitor com as de um reference model.

É bom ser reutilizável, ou seja, depender pouco do DUV.

Reference ModelTipicamente timeless

BRAZIL IPBRAZIL IP

Elementos de um testbench

TDriverRecebe transações de entrada e as converte em transições de sinais da interface de entrada do DUV.

MonitorObserva sinais da interface de saída do DUV e gera transações de saída que ele repassa para o checker.

ActorObserva sinais da interface de saída do DUV e implementa o protocolo de sinalização.

BRAZIL IPBRAZIL IP

Regras de projeto

TDriver Acesso ao DUV somente pela interface do mesmo;Transação flui do source para o driver mas nunca na direção oposta.

MonitorAcesso somente pela interface do DUV;Envia transações ao checker;Independente de driver e checker.

ActorFaz verificação de protocolo (baixo nível);

BRAZIL IPBRAZIL IP

Regras de projeto

SourceNão envia sinais diretamente para o DUV

CheckerNunca escreve (força sinal) dentro do DUV;

Pode eventualmente ler informação do DUV (por exemplo registradores internos);

Reference ModelModela a funcionalidade, mas não a interface

BRAZIL IPBRAZIL IP

Ferramentas usadas na Metodologia BVM

SystemVerilog.

OVM (Open Verification Methodology).

Ferramenta eTBc (Easy Testbench Creator) de geração semi-automática de testbenches.

BRAZIL IPBRAZIL IP

Passos da metodologia BVM

Passo 1: Testbench Conception1.1 Single Refmod1.2 Double Refmod1.3 DUV Emulation

Passo 2: Hierarchical Refmod Decomposition2.1 Refmod Decomposition2.2 Single Hierarchical Refmods2.3 Hierarchical Refmods Verifications

BRAZIL IPBRAZIL IP

Passos da metodologia BVM

Passo 3: Hierarchical Testbench3.1 Double Hierarchical Refmods3.2 Hierarchical DUV Emulation3.3 Hierarchical DUV

Passo 4: Full Testbench

BRAZIL IPBRAZIL IP

Passo 1: Testbench Conception

pre-source

ReferenceModel sink

1.1 Single Refmod

BRAZIL IPBRAZIL IP

tb_single_refmod

pre_source

refmod sink

1.1 Single Refmod – Templates (eTBc)

BRAZIL IPBRAZIL IP

1.1 Single Refmod – Templates (eTBc)

- pre_source - trans

- refmod - sdi

- sink - tb_tcl

- tb_single_refmod - Makefile_single_refmod

BRAZIL IPBRAZIL IP

1.1 Single RefmodReference model é testado em sua capacidade de interagir com o testbench.Pré-Source é um subconjunto do Source com quase as mesmas funcionalidades.Sink possui um subconjunto das funcionalidades do Checker.

BRAZIL IPBRAZIL IP

Source

ReferenceModel

Checker

ReferenceModel

1.2 Double Refmod

BRAZIL IPBRAZIL IP

tb_double_refmod

source

refmod checker

refmod

1.2 Double Refmod – Templates (eTBc)

BRAZIL IPBRAZIL IP

1.2 Double Refmod – Templates (eTBc)

- source - trans

- refmod - sdi

- checker - tb_tcl

- tb_double_refmod - Makefile_double_refmod

BRAZIL IPBRAZIL IP

1.2 Double RefmodTestar Source e Checker.Pode-se inserir erros em uma das instâncias do reference model para testar a capacidade do Checker de detectá-los.Checker emite mensagem somente em caso de ERRO.

BRAZIL IPBRAZIL IP

ReferenceModel

river_

1.3 DUV Emulation

Monitor_0

Actor_0

ReferenceModel

Monitor

BRAZIL IPBRAZIL IP

duv_emulation

tb_duv

refmod

vrefmod

1.3 DUV Emulation – Templates (eTBc)so

monitor

_duvin_actor

monitor out

_actor

BRAZIL IPBRAZIL IP

Passo 1: Testbench Conception1.3 DUV Emulation – Templates (eTBc)

- source - duv_emulation

- refmod - tb_duv

- checker - top

- tdriver - trans

- tmonitor - sdi

- tdriver_duv - top_tcl

- tmonitor_duv - gene_clock

- in_actor - axi_cover

- out_actor - Makefile_duv_emulation

BRAZIL IPBRAZIL IP

1.3 DUV EmulationTestar TDriver(s), Actor(s) e Monitor(es)Tdriver-Monitor_0 e Tdriver_0-Monitor precisam ser simétricos

BRAZIL IPBRAZIL IP

Passo 2: Hierarchical Refmod Decomposition

ReferenceModel_2

channelsinal

ReferenceModel_1

ReferenceModel

2.1 Refmod Decomposition

ReferenceModel_3

BRAZIL IPBRAZIL IP

2.1 Refmod DecompositionReference Model é dividido hierarquicamente como o DUV.

BRAZIL IPBRAZIL IP

pre-source

ReferenceModel_1 sink_

2.2 Single Hierarchical Refmods

BRAZIL IPBRAZIL IP

pre-source_2

ReferenceModel_2

sink_2

BRAZIL IPBRAZIL IP

pre-source_3

ReferenceModel_3 sink

BRAZIL IPBRAZIL IP

tb_single_refmod

pre_source

refmod sink

2.2 Single Hierarchical Refmods – Templates (eTBc)

BRAZIL IPBRAZIL IP

2.2 Single Hierarchical Refmods – Templates (eTBc)

- pre_source * - trans

- refmod - sdi

- sink * - tb_tcl

- tb_single_refmod - Makefile_single_refmod

* Um pre_source e um sink podem ser reusados.

BRAZIL IPBRAZIL IP

2.2 Single Hierarchical RefmodsCada bloco do Reference Model deve ter suas entradas e saída testadas

BRAZIL IPBRAZIL IP

channelsinal

ReferenceModel

2.3 Hierarchical Refmods Verification

ReferenceModel_2

ReferenceModel_1

ReferenceModel_3

BRAZIL IPBRAZIL IP

channelsinal

2.3 Hierarchical Refmods Verification – Templates (eTBc)

tb_hierarchical_refmod

refmod

refmodrefmod refmod

BRAZIL IPBRAZIL IP

channelsinal

2.3 Hierarchical Refmods Verification – Templates (eTBc)

- source - trans

- refmod * - sdi

- checker - tb_tcl

- tb_hierarchical_refmod - Makefile_hierarchical_refmod

* Todos os refmods usados nesse passo podem ser reusados.

BRAZIL IPBRAZIL IP

2.3 Hierarchical Refmods VerificationA junção dos reference models hierárquicos deve ser comparada com o Modelo original para ver se ainda é equivalente.

BRAZIL IPBRAZIL IP

Passo 3: Hierarchical Testbench

Source

ReferenceModel_1

Checker

ReferenceModel_1

3.1 Double Hierarchical Refmods

BRAZIL IPBRAZIL IP

Source_2

ReferenceModel_2 C

hecker

ReferenceModel_2

BRAZIL IPBRAZIL IP

Source_3

ReferenceModel_3 C

hecker

ReferenceModel_3

BRAZIL IPBRAZIL IP

tb_double_refmod

source

refmod checker

refmod

3.1 Double Hierarchical Refmods – Templates (eTBc)

BRAZIL IPBRAZIL IP

3.1 Double Hierarchical Refmods – Templates (eTBc)

- source * - trans

- refmod - sdi

- checker * - tb_tcl

- tb_double_refmod - Makefile_double_refmod

* Um source e um checker podem ser reusados.

BRAZIL IPBRAZIL IP

ReferenceModel_1

river_

3.2 Hierarchical DUV Emulation

Monitor_0

Actor_0

ReferenceModel_1

Monitor_1

Actor_1

BRAZIL IPBRAZIL IP

river_

ReferenceModel_2

river_

Monitor_1

Actor_1

ReferenceModel_2

Monitor_2

Actor_2

BRAZIL IPBRAZIL IP

river_

ReferenceModel_3

river_

Monitor_2

Actor_2

ReferenceModel_3

Monitor

BRAZIL IPBRAZIL IP

duv_emulation

tb_duv

refmod

3.2 Hierarchical DUV Emulation – Templates (eTBc)

monitor

_duvin_actor

refmodmonit

or out_

BRAZIL IPBRAZIL IP

Passo 3: Hierarchical Testbench3.2 Hierarchical DUV Emulation – Templates (eTBc)

- source - duv_emulation

- refmod - tb_duv

- checker - top

- tdriver * - trans

- tmonitor * - sdi

- tdriver_duv * - top_tcl

- tmonitor_duv * - gene_clock

- in_actor * - axi_cover

- out_actor * - Makefile_duv_emulation

BRAZIL IPBRAZIL IP

ReferenceModel_1

3.3 Hierarchical DUV

Monitor_1

Actor_1

channelsinal

BRAZIL IPBRAZIL IP

river_

ReferenceModel_2

Monitor_2

Actor_2

BRAZIL IPBRAZIL IP

river_

ReferenceModel_3

Monitor

BRAZIL IPBRAZIL IP

tb_duv

refmod

3.3 Hierarchical DUV – Templates (eTBc)

monitor out

_actor

BRAZIL IPBRAZIL IP

Passo 3: Hierarchical Testbench3.3 Hierarchical DUV – Templates (eTBc)- source - tb_duv

- refmod - top

- checker - trans

- tdriver - sdi

- tmonitor - top_tcl

- in_actor - gene_clock

- out_actor - axi_cover

- duv_hierarchical - Makefile_duv

BRAZIL IPBRAZIL IP

ReferenceModel_2

ReferenceModel_1

ReferenceModel_3

Monitor

BRAZIL IPBRAZIL IP

ReferenceModel

duvMonit

BRAZIL IPBRAZIL IP

tb_duv

refmod

duvmonit

orout_

Templates (eTBc)

BRAZIL IPBRAZIL IP

Passo 4: Full Testbench Templates (eTBc)- source - tb_duv

- refmod - top

- checker - trans

- tdriver - sdi

- tmonitor - top_tcl

- in_actor - gene_clock

- out_actor - axi_cover

- duv - Makefile_duv

- duv_hierarchical *

BRAZIL IPBRAZIL IP

Metodologia BVM

Testbench passa pela fase de depuração composta de passos, reduzindo a quantidade de erros.

Muito reuso de código, diminuindo tempo de implementação do testbench.

BRAZIL IPBRAZIL IP

A Arte da verificação

Estou exercitando todos os possíveis cenários de entrada?Como vou saber se ocorreu um erro?

BRAZIL IPBRAZIL IP

Ideal x Real

Gerar todas as possíveis combinações de entrada tem custo inviável para unidades maiores.Testar muitos unidades pequenas também tem custo inviável.É necessário fazer uma escolha.

BRAZIL IPBRAZIL IP

Tipos de Estimulos

Compliance TestingVerificar situações mencionadas na especificação

Corner CaseVerificar situações críticas (extremas) do projeto

Real CodeUtilizar estímulos reais da aplicação

RandomCria situações “inusitadas”Cobertura tipicamente melhor do que os outros tipos porque pode gerar cenários que seriam esquecidos.

BRAZIL IPBRAZIL IP

Forma mais óbvia: inspeção visual de formas de onda:muito usado,

impossível de reaproveitar,

passível a mal interpretação (erro humano),

impraticável para muitas transações.

Use a visualização de formas de onda somente

para depuração.

BRAZIL IPBRAZIL IP

Sniffers Possuem interface dedicada para monitorar e extrair estatísticas dos sinais de um módulo.Muito usado na depuração de sinais.

BRAZIL IPBRAZIL IP

Self Checking TestbenchTdriver, Monitor e Actor implementados em código do

simulador (SystemVerilog);

Checker implementado em SystemVerilog compara dados

recebidos do Monitor com dados esperados;

BRAZIL IPBRAZIL IP

Implementação do checker

A simulação de rodar quieto enquanto tudo estiver o.k. para não afogar mensagens de erro no meio de outras mensagens.Quando aparece um erro, devem ser fornecidas todas as informações disponíveis sobre o problema para facilitar a depuração.Inserir erro no DUV para ver se o Checker funciona.

BRAZIL IPBRAZIL IP

Implementaçãodo Reference Model

Refmod implementado em códigoSystemVerilog, SystemC, C++, C, ou Pascal, Java etc.Checker compara diretamente saída do Monitor com a saída do refmod.

Refmod fácil de escrever.

Basic, Matlab, etc.Problema de comunicação com SystemC, pode usar IPC ou arquivos.

Refmod ainda mais fácil de escrever.

BRAZIL IPBRAZIL IP

Implementaçãodo Reference Model

Refmod implementado em código (continuação)

possibilita teste pseudo-aleatório com número grande de amostras (muitos vetores de entrada),

deixar rodar a noite,

dormir tranqüilo !

BRAZIL IPBRAZIL IP

Cobertura

Ao acordar de manhã ainda está rodando...Quando vou parar ?

Quando atingir a cobertura indicada no plano de Verificação

Tipos de cobertura:de códigofuncional

BRAZIL IPBRAZIL IP

Cobertura de código

Cobertura de linhasmostra quantas vezes uma linhas de código (um comando) foi executada

também chamada cobertura de blocos ou cobertura de segmentos

Cobertura de chaveamentoconta quantas vezes cada sinal mudou de nível lógico

Cobertura de estados de FSMconta quantas vezes se chegou em cada estado

quais transições entre estados foram simuladas

BRAZIL IPBRAZIL IP

Cobertura de códigoCobertura de eventosverifica se todos os eventos na lista de sensibilidade de todos processos foram exercitadas

Cobertura de desviosresultado semelhante ao cobertura de blocos

Cobertura de expressõesverifica se todas as combinações de expressões lógicas foram exercitadas

Cobertura de caminhosverifica passagem variada por seqüência de comandos if...else

BRAZIL IPBRAZIL IP

Cobertura funcional

É mais importante do que a cobertura de código.

Observa sinais e transações durante a simulação.

Conta ocorrências de determinadas situações,por exemplo: “quantas vezes o valor da saída fica entre 0 e 8”

BRAZIL IPBRAZIL IP

Cobertura funcional

Cobertura desejada é especificada no Plano de Verificação (“a tal situação deve ser verificada 100 vezes”)

Quando a cobertura desejada é atingida a simulação é encerrada

BRAZIL IPBRAZIL IP

Cobertura funcional

“Cobertura é responsável por medir o progresso da verificação através de várias

métricas pré-estabelecidas e ajudar o engenheiro a se localizar com relação ao

término da verificação” [piziali2004].

BRAZIL IPBRAZIL IP

Cobertura funcional

Mede o progresso da simulação e reporta quais funcionalidades não foram exercitadas ou foram exercitadas mais de uma vez.

Pode ajudar a inspecionar a qualidade da verificação e direcionar os estímulos de forma a alcançar as funcionalidades não cobertas (buracos de cobertura).

BRAZIL IPBRAZIL IP

Cobertura funcional

BRAZIL IPBRAZIL IP

Onde Fazer Cobertura Funcional?

Source

TDriverTMonit

Checker

Reference Model

DUVDUV

Cobertura FuncionalCobertura Funcional

BRAZIL IPBRAZIL IP

Cobertura Funcional

Consiste em medir o número de vezes que uma variável recebe um determinado valor durante uma simulação:

É fácil de interpretar;

Ajuda a identificar valores ou intervalos não testados;

Quando a cobertura desejada é atingida a simulação é encerrada.

Porém, a complexidade aumenta com o aumento do intervalo de valores, e com a inclusão de cruzamentos, de combinações e de valores inválidos.

BRAZIL IPBRAZIL IP

Cobertura Funcional

Covergroups

Os engenheiros de verificação podem observar os valores das variáveis agrupando-as em um ou mais grupos de cobertura (covergroups).

Um covergroup é um agrupamento de pontos de cobertura (coverpoints – um grupo de variáveis cujos valores serão simultaneamente amostrados e contados.

BRAZIL IPBRAZIL IP

The BrazilIP Network 137

Cobertura Funcional

covergroup cg1 @(posedge clk);coverpoint b { bins b1 = {0, 1, 2, 3}; bins b2 = { [5:8], 9 };}

endgroupValores quedevem serobservados

variável

Número de vezesque a condição deveocorrer durantea simulação

Definindo um covergroup

BRAZIL IPBRAZIL IP

Cobertura Funcional

cg1 cg1_inst = new();

Instanciando um covergroup

Define a instânciacg1_instdo covergroup cg1

O uso deparêntesesé opcional

BRAZIL IPBRAZIL IP

Cobertura Funcional

Instanciando um covergroup

Um covergroup pode ser instanciado dentro de um módulo,

uma interface, um bloco de programa, ou de uma classe.

Não é suportado por SystemVerilog:Atribuições nulas a uma instância de um covergroup

cg1 cg1_inst = null;

Atribuições diretas entre duas instâncias de covergroups

cg1_inst1 = cg_inst2;

BRAZIL IPBRAZIL IP

Cobertura Funcional

Definindo um coverpoint

As variáveis cujos valores devem ser observados são definidas

como coverpoints dentro de um ou mais covergroups.

Durante a simulação os valores das variáveis definidas como

coverpoints são medidos e armazenados na base de dados da

cobertura.

Expressões de mais de 32 bits não são suportadas!

BRAZIL IPBRAZIL IP

Cobertura Funcional

Caixas (bins)

Um coverpoint bin é usado para definir os valores que devem

ser medidos e armazenados durante uma simulação.

A definição do intervalo de um bin pode ser em qualquer base

(binária, decimal, hexadecimal, ou octal).

Adicionalmente, o intervalo de um bin pode ter uma constante

ou uma expressão.

BRAZIL IPBRAZIL IP

Cobertura Funcional

Caixas (bins), exemplos:

Para definir o intervalo como sendo os valores de 0 a 5 e 10:

bins b1 = {[0:5], 10};

Para definir o intervalo como sendo os valores de 0 a 5 e 9 a 14:

bins b1 = {[0:5], [9:14]};

Para definir o intervalo como sendo os valores 0, 2, e 7:

bins b1 = {0,2,7};

BRAZIL IPBRAZIL IP

Cobertura Funcional

Caixas (bins), exemplos:

Para definir o intervalo como sendo os valores em hexadecimal de 0 a F:

bins b1 = {[‘h0:‘hF]};

Para definir o intervalo como sendo os valores menor que ou igual a 5, e 10:

bins b1 = {[$:5], 10};

Para definir o intervalo como sendo os valores maior que ou igual a 7:

bins b1 = {[7:$]};

BRAZIL IPBRAZIL IP

Cobertura Funcional

Ignorando valores nos resultados de cobertura

Valores associados a um coverpoint podem ser ignorados na

medição da cobertura especificando-os como ignore_bins.

Os valores especificados com ignore_bins são excluídos da

medição de valores de coverpoints e não resultam em um

incremento na contagem da cobertura.

BRAZIL IPBRAZIL IP

Cobertura Funcional

ignore_bins ignore_vals = {2, 3};

Ignorando valores nos resultados de cobertura

Palavra-chave paradefinir valores a seremignorados

Os valores 2 e 3serão ignoradosna medição dacobertura

BRAZIL IPBRAZIL IP

Cobertura Funcional

Especificando valores como sendo ilegais

Valores associados a um coverpoint podem ser definidos como

ilegais na medição da cobertura especificando-os como

illegal_bins.

Se um valor de um coverpoint for detectado e tiver sido

especificado com illegal_bins, a simulação gera um erro.

BRAZIL IPBRAZIL IP

Cobertura Funcional

illegal_bins ill_vals = {1, 2};

Especificando valores como sendo ilegais

Palavra-chave paradefinir valores queserão consideradosilegais

Os valores 1 e 2são ilegais egerarão um errose detectados

BRAZIL IPBRAZIL IP

Cobertura Funcional

Diferenças e semelhanças entre illegal_bins e

ignore_bins

O cálculo da cobertura para illegal_bins é exatamento o

mesmo para ignore_bins.

A diferença entre os dois é que no caso de detectados illegal_bins,

a simulação reporta um erro.

Não são reportados erros no caso de ignore_bins.

Illegal_bins têm precedência sobre quaisquer outros bins, o que

implica que eles resultam em um erro em tempo de execução,

mesmo caso eles estejam incluídos em um outro bin.

BRAZIL IPBRAZIL IP

Cobertura Funcional

Geração deestímulos

Simulação doDUV

Medida decobertura

Análise decobertura

BRAZIL IPBRAZIL IP

Exemplos

BRAZIL IPBRAZIL IP

Exemplo MPEG4

Conexão de dados

Conexão de configuração

bitstream SUM

PIACDC QI IDCT

DVM CBP RGB

BRAZIL IPBRAZIL IP

Exemplo MPEG4

Testbench depois do RTL, com ferramenta para templates.Pior problema: erramos em fazer um só testbench para PIACDC e QI

Tempo entre Verificação dos sub-blocos o.k. e verificação do conjunto dos DUVs o.k.: 3 semanas

Tempo entre Verificação o.k. e FPGA rodando: 3 dias

BRAZIL IPBRAZIL IP

Exemplo Lacre Eletrônico

FEC EEC

MAQ_EST

BRAZIL IPBRAZIL IP

Exemplo Lacre Eletrônico

Testbench antes do RTL, sem ferramenta para templatesPior problema: Verificação da junção dos sub-blocos feita depois já ter iniciado verificação de 2 blocos.

Tempo entre Verificação dos sub-blocos o.k. e verificação do conjunto dos DUVs o.k.: 1 dia

Tempo entre Verificação o.k. e FPGA rodando: 0

BRAZIL IP The BrazilIP Network BRAZIL IP The BrazilIP Network Verificação funcional Curso do...

Documents

Transcript of BRAZIL IP The BrazilIP Network BRAZIL IP The BrazilIP Network Verificação funcional Curso do...

International Code Country Rate - otelco.com · 5581 brazil recife 0.0075 5521 brazil rio de janeiro 0.0051 5571 brazil salvador 0.0070 55111 brazil sao paulo 0.0051 55116 brazil

CEMIG GERAÇÃO E TRANSMISSÃO S.A.cemig.infoinvest.com.br/ptb/2505/991_Cemig_Elmar_por.pdf · Elmar de Oliveira Santana ... 92,3 96,6 88,15 94,5 94,6 93,5 98,5 100 ... • Modernização

Elmar Lins e Silva Martins Avaliação financeira com alta alavancagem e ... · Elmar Lins e Silva Martins Avaliação financeira com alta alavancagem e estrutura de capital variável:

Webinar ITI Brazil - Investing in Brazil in a time of change

SystemVerilog para descrição RTL - lad.dsc.ufcg.edu.brlad.dsc.ufcg.edu.br/lad/uploads/Lad/BVM_SV_RTL_open.pdf · The BrazilIP Network BRAZIL IP Elmar Melcher UFCG elmar@dsc.ufcg.edu.br

BRAZIL SA1

Escolas Do Brazil

Liberty brazil

china brazil

OneThor - Brazil

WWF Study Brazil

Brazil Applause

Hello, Brazil

Keune - Brazil

Apresentação do PowerPoint - if.ufrgs.br · Sérgio B. Duarte- CBPF, Brazil S. O. Kepler - UFRGS, Brazil Ulisses B. de Almeida - CBPF, Brazil Valdir B. Bezerra - UFPb, Brazil ...

Brazil Culture

Apex brazil

# Name Country 1 Nestor Bercovich Argentina 2 Raquel ... · 48 Gabriel Daudt Brazil 49 Jo Brazil 50 Neda Maria Carneiro Leão Mattos Brazil 51 Cl Brazil 52 NO NAME Brazil 53 carmem

HealthCare Brazil

Integrantes Eduardo Silvestri Elmar Pacheco José Ricardo Vaz Osvandre Alves Martins Robson Calvetti Walter Abrahão PVA Protótipo de Veículo Autônomo G4.