BRAZIL IP The BrazilIP Network BRAZIL IP The BrazilIP Network Verificação funcional Curso do...

BRAZIL IPBRAZIL IP

The BrazilIP Network

BRAZIL IPBRAZIL IP


Verificação funcional

Curso do programa Brazil-IP

Elmar Melcher

UFCG

[email protected]

http://lad.dsc.ufcg.edu.br/ip

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Roteiro

IntroduçãoMotivaçãoFluxo de projetoVerificaçãoTipos de verificaçãoVerificação funcionalAbordagens de verificaçãoPlano de verificação

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Roteiro

Metodologia BVMTestbenchElementos básicosRegras de projetoImplementaçãoTipos de estímulosCoberturaBiblioteca OVM

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Roteiro

ExemplosCodificador DPCMDecodificador MPEG4Lacre Eletrônico

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Introdução

Ninguém usa um IP core no qual não confia.

IP core: “Lógica ou os dados necessários para construir um dado projeto de hardware. Idealmente ele é “reusável” e pode ser adaptado a vários tipos dedispositivos de hardware. Pode-se entender o IP-core como a implementação de um dado projeto de hardware em uma linguagem especifica para esse objetivo.”

IP core: “Lógica ou os dados necessários para construir um dado projeto de hardware. Idealmente ele é “reusável” e pode ser adaptado a vários tipos dedispositivos de hardware. Pode-se entender o IP-core como a implementação de um dado projeto de hardware em uma linguagem especifica para esse objetivo.”

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Motivação

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Caso famoso: NASA

Exemplo de problema causado por má verificação na NASA:Mars Climate Orbiter de 1999Erro de verificação de sistema fez com que o Orbiter voasse muito próximo à atmosfera marciana e queimasse.Problema era uma mistura de unidades métricas e unidades inglesas que causou um erro no cálculo da trajetória.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Caso famoso: INTEL

Problema descoberto no Pentium em 1994 por um professor de matemática durante uma pesquisa matemática.A FPU produzia resultados de divisão errôneos no oitavo digito significativo para certos argumentos.Embora no máximo 1 usuário em 1 milhão jamais foi afetado, a confiança na INTEL caiu.Abriu o caminho para crescimento maior da AMD.Prejuízo de 500 MUS$ (?)

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Verificação de IP cores

Como alcançar confiança em um projeto?Processo de verificação bem executado e documentado.

IP cores precisam ser verificados mais amplamente,Todas propriedades e utilizações possíveis devem ser verificadas,Não somente um ambiente específico.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Fases de um projeto de hardware

SínteseSínteseSimulaçãoPós-sínteseSimulaçãoPós-síntese

PrototipaçãoPrototipação

S o C

Implementaçãodo

Código RTL

Implementaçãodo

Código RTL



Especificação do

hardware

Especificação do

hardware

Especificação da

verificaçãofuncional

Especificação da


Implementaçãodo

testbench

Implementaçãodo

testbench

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Custo versus Tempo

Entregar produtos e ganhar dinheiro.

Custo e tempo de corrigir um defeito cresce quando descoberto mais tardeno ciclo de vida do produto.na especificaçãona simulaçãona prototipagemna fabricação em volumeno uso pelo cliente

Custo

Tempo

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Verificação

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Tipos de verificação

Verificação:

Dinâmica ou Funcional.

Estática ou Formal.

Híbrida.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



“Verificação funcional é um processo usado para demonstrar que o objetivo do projeto é

preservado em sua implementação” [bergeron2003]

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Verificação funcional x Teste

Verificação Funcional: confrontar um modelo a ser verificado a outro modelo padrão, comparando a funcionalidade por simulação.

Verificação Funcional: confrontar um modelo a ser verificado a outro modelo padrão, comparando a funcionalidade por simulação.

X

Teste: verificar se um CI está sem erro de fabricação.Teste: verificar se um CI está sem erro de fabricação.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Mais da metade do esforço de projeto está na verificação.Um testbench muitas vezes contém duas vezes mais linhas que a própria descrição do projeto.A equipe de engenheiros de verificação é maior do que a equipe de projetistas.

Verificação é difícil.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Engenheiros da Motorola no SBCCI 2002:“Estamos procurando trabalhos sobre verificação”Novas metodologias em 2006:VMM, AVM, OVM, ...Procura por “bons” engenheiros de verificação em todas as empresas.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Custo da verificação

Um mal necessáriosempre leva tempo demais e custa caro demais

mas indispensável.porque afeta diretamente os três requisitos:cronograma

custo

qualidade

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Isso funciona mesmo ?

A verificação funcional deve responder a esta pergunta.“isso” é uma descrição RTL de um projeto.“funciona” se refere a simulação.O funcionário de uma empresadeve poder dormir tranqüilose a verificação responde “sim”.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Como saber fazer ?

Muitos livros falam sobre implementação.

Poucos falam sobre verificação.Writing Testbenches: Functional Verification of HDL Models by Janick Bergeron, 3rd edition, KluwerAcademic Publishers, 2006

Piziali, Functional verification Coverage Measurement and Analysis, Kluwer 2004.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Verificação estática

Analisadores de código HDL, Lint ou linting toolsTipos de problemas detectáveis case incompleto

atribuições em if...else inconsistente

falta de sinais na lista de sensibilidade

reset síncrono / assíncrono

falta de sinais a serem resetados

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Fluxo de projeto

Especificação

Descrição comportamental

Descrição estrutural

Layout

Função

Descrição RTL

Função & Timing

Função & Timing

Função & Timing

consumo, área, etc.

Verificação

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Projeto x Verificação

G

C

F

BA

E

D

Intenção do projeto

Especificação

Implementação

H

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



G

C

FA

E

D


Especificação

Implementação

H

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



G FA

D


Especificação

Implementação

H

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



FA

D


Especificação

Implementação

H

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



FAD


Especificação

Implementação

H

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



FAD


Especificação e

Implementação

H

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Nível hierárquico adequado

Verificação funcional pode ser realizada a vários níveis:componente/unidade/sub-unidade, ...

ASIC/FPGA/IP

Sistema/SoC

placa

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Nível hierárquico adequado

Como decidir qual nível?Nível mais baixo fornece mais observabilidade mas exige mais esforço,

A nível mais alto os elementos menores são verificados implicitamente com menos esforço desde que os cenários e vetores de entrada sejam completos.

Decisão depende do projeto.Faz parte do plano de verificaçãopara cada elemento existe uma seção nele.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Verificação em vários níveis

Na verificação no nível de sistema é suficiente verificar a interação dos componentes se uma verificação correta a nível de componentes foi feita.Verificação entre dois níveis adjacentes, do topo até a base.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Para realizar a verificação funcional necessita-se de:

Um projeto a ser verificado denominado DUV (Design Under Verification).

Um Modelo de Referência que implementa as funcionalidades do DUV de forma ideal.

Um ambiente de verificação (testbench).Responsável por gerar estímulos para o DUV e comparar as respostas do DUV com as respostas do Modelo de Referência.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Tudo a mesma coisa:UUV (Unit Under Test).unidade a ser testada.

MUT (Model Under Test).

DUT (Device Under Test, Design Under Test).

EUV (Entity Under Verification).

DUV (Design Under Verification).

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Modelo de Referência pode ser escrito em qualquer linguagem que possa se comunicar com SystemVerilog.

Normalmente escrito em C, C++, podendo ser escrito em outras linguagens.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



TestbenchMontagem de teste para simulação.Código escrito em SystemVerilog.Cria estímulos e verifica a resposta.Não tem entrada nem saída.Um modelo do universo em volta do projeto.Imprime mensagens quando o DUV apresenta comportamento inesperado.Caso tudo está ok imprime uma única mensagem no final.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



DUV

Testbench

DUVDUV

Reference

Model

Reference

Model

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



DUVDUV

Reference

Model

Reference

ModelInserirestímul

o

Comparar

resposta

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Verificação funcional deve:Ser dirigida pela cobertura (Coverage-driven)Quando parar de simular ?Cobertura - processo que mostra que as funcionalidades especificadas estão sendo exercitadas.

Auxilia na análise de redirecionamento de estímulo.

Mostra o progresso da verificação.

Determina quando terminar a verificação.Possuir estímulosDirecionados.Corner-cases.Reais.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Verificação funcional deve:

Apresentar estímulos com aleatoriedade direcionada (Random-constrained)

Estímulos são gerados baseados em uma distribuição de probabilidade direcionada para o DUV.

Visa alcançar os critérios de cobertura.

Encontra erros não previstos.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP




Ser auto verificando (Self-checking)O ambiente de verificação deve comparar as respostas do DUV com as respostas do Modelo de Referência sem intervenção humana.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP




Ter o testbench implementado no nível de transação (Transaction-level (TL ou TLM)) Transação: uma estrutura de instruções e/ou dados que tem início e fim no tempo.

Exemplos:

Pacote Ethernet

Frame

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Resumo

Im plem entação dotestbench com

cobertura

Im plem entação do D UV

S im ulação

Dados decobertura

Análise dacobertura

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Verificação

AutomaçãoEliminar intervenção humana no processo.

Realidade mostra que não é possível:processos mal definidos,

precisando de invenção e criatividade humana.

RedundânciaUsar dois engenheiros (ou grupos) para um verificar o outro.Projetista

Engenheiro de verificação

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Quem pode errar ?

Um projetista pode implementar uma funcionalidade de forma errada ?

Sim, o erro será descoberto por um teste.

Um engenheiro de verificação pode testar uma funcionalidade de forma errada ?

Sim, um erro falso aparecerá no teste.

O projetista e o engenheiro de verificação podem cometer o mesmo erro ?

Não, o erro será aceito no teste.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Quem pode errar ?

Um projetista pode esquecer de implementar alguma funcionalidade ?

Sim, a falha será descoberta por um teste.

Um engenheiro de verificação pode esquecer de testar alguma funcionalidade ?

Não, um possível erro do projetista passará despercebido.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Pode provar a presença de erros, mas não pode provar a ausência de erros.

É preciso saber quando pode-se terminar o processo de verificação.medição de cobertura

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Abordagens de Verificação

Black BoxGrey BoxWhite Box

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Black Box

Entradas, saídas, funçãoFunção bem documentada (ou não...)Para verificar, é preciso entender a função e prever as saídas sabendo as entradas.

DUV

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


White Box

Todas as variáveis internas visíveis.Podem ser acessadas para verificação.Para teste de unidades pequenas nas folhas da hierarquia

DUV

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Grey Box

Uma seleção restrita de variáveis internas pode ser usado para verificação.Exemplo: registradores de um processador

DUV

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Plano de Verificação

Especificação do processo de verificação;Define o quê será verificado e como.Abordagem tradicional:faça como quiser

Abordagem nova:uso de métricas para saber quando a verificação estiver completa: Cobertura da Verificação idealmente a definição de sucesso “de primeira”.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Feito a partir da especificação do DUV.Define os cenários de teste (testbenches a serem escritos):define a complexidade deles,

as dependências entre eles.

A partir daí é feito um cronograma:recursos (humanos, máquinas, etc.) necessários,

recursos disponíveis

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Pertence à equipe:todo mundo envolvido é responsável,

tudo mundo deve contribuir.

Plano de Verificação não é algo novo, já é usado por:NASA

FAA

Software

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Conteúdo do Plano de Verificação

Resumo do sistemaNíveis de abstraçãoTecnologias de VerificaçãoModelos de referência a serem usadosFluxograma da verificaçãoDefinição dos estímulosTestes de regressão

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Conteúdo do Plano de Verificação

Gerência de falhasPlano de recursosCronograma

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Os três mandamentosda verificação funcional

Você deve solicitar mais seu projeto do que jamais ele será solicitado no futuro.

Você deve monitorar tudo.

Você não deve passar a um nível mais alto de hierarquia antes de atingir cobertura completa.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Metodologia BVM

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Brazil-IP

Metodologia BVM é VeriSC usando OVM.VeriSC surgiu no contexto do projeto Brazil-IP.Brazil-IP é um esforço de universidades brasileiras para a capacitação de pessoas para a produção de IPs.VeriSC foi defendida como tese de doutorado.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Fluxo de projeto



S o C

Implementaçãodo

Código RTL

Implementaçãodo

Código RTL



Especificação do

hardware

Especificação do

hardware

Especificação da


Especificação da


Implementaçãodo

testbench

Implementaçãodo

testbench

Especificação do hardware

Especificação do hardware

Especificação da Verificação funcional

Especificação da Verificação funcional

Implementação do testbench

Implementação do testbench



Implementação

do DUV (Design Under

Verification)

Implementação

do DUV Design) Under

(VerificationVerificação funcional


S o C

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Metodologia VeriSC

Inicia pela implementação do testbench. Implementa um mecanismo para simular a presença do DUV unicamente com os elementos do testbench, sem usar nenhum artifício extra.Todas as partes do testbench podem estar prontas e simuladas antes do início do desenvolvimento do DUV.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Testbench da metodologia VeriSC

DUVDUV

Nível de transações

Nível de

sinais

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Testbench

Definição: Montagem em volta do Design Under Verification

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Transação

Definição: Uma operação que inicia num determinado momento no tempo e termina em outro.

É caracterizada pelo conjunto de instruções e dados necessárias para realizar a operação.Exemplos:transmissão de um pacote ethernet

recepção de uma imagem

uma escrita num barramento

execução de uma instrução de máquina de um processador

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Testbench

DesignUnderVerification

TDriver

Monitor

Source

ReferenceModel

duv

Checker

channelsinal

refmod

Actor

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Elementos de um testbench

SourceEnvia transações de entrada para o driver e para o reference model.

CheckerCompara as transações de saída recebidas do monitor com as de um reference model.

É bom ser reutilizável, ou seja, depender pouco do DUV.

Reference ModelTipicamente timeless

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Elementos de um testbench

TDriverRecebe transações de entrada e as converte em transições de sinais da interface de entrada do DUV.

MonitorObserva sinais da interface de saída do DUV e gera transações de saída que ele repassa para o checker.

ActorObserva sinais da interface de saída do DUV e implementa o protocolo de sinalização.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Regras de projeto

TDriver Acesso ao DUV somente pela interface do mesmo;Transação flui do source para o driver mas nunca na direção oposta.

MonitorAcesso somente pela interface do DUV;Envia transações ao checker;Independente de driver e checker.

ActorFaz verificação de protocolo (baixo nível);

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Regras de projeto

SourceNão envia sinais diretamente para o DUV

CheckerNunca escreve (força sinal) dentro do DUV;

Pode eventualmente ler informação do DUV (por exemplo registradores internos);

Reference ModelModela a funcionalidade, mas não a interface

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Ferramentas usadas na Metodologia BVM

SystemVerilog.

OVM (Open Verification Methodology).

Ferramenta eTBc (Easy Testbench Creator) de geração semi-automática de testbenches.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Passos da metodologia BVM

Passo 1: Testbench Conception1.1 Single Refmod1.2 Double Refmod1.3 DUV Emulation

Passo 2: Hierarchical Refmod Decomposition2.1 Refmod Decomposition2.2 Single Hierarchical Refmods2.3 Hierarchical Refmods Verifications

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Passos da metodologia BVM

Passo 3: Hierarchical Testbench3.1 Double Hierarchical Refmods3.2 Hierarchical DUV Emulation3.3 Hierarchical DUV

Passo 4: Full Testbench

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Passo 1: Testbench Conception

pre-source

ReferenceModel sink

1.1 Single Refmod

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



tb_single_refmod

pre_source

refmod sink

1.1 Single Refmod – Templates (eTBc)

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



1.1 Single Refmod – Templates (eTBc)

- pre_source - trans

- refmod - sdi

- sink - tb_tcl

- tb_single_refmod - Makefile_single_refmod

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



1.1 Single RefmodReference model é testado em sua capacidade de interagir com o testbench.Pré-Source é um subconjunto do Source com quase as mesmas funcionalidades.Sink possui um subconjunto das funcionalidades do Checker.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Source

ReferenceModel

Checker

ReferenceModel

1.2 Double Refmod

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


tb_double_refmod


source

refmod checker

refmod

1.2 Double Refmod – Templates (eTBc)

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



1.2 Double Refmod – Templates (eTBc)

- source - trans

- refmod - sdi

- checker - tb_tcl

- tb_double_refmod - Makefile_double_refmod

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



1.2 Double RefmodTestar Source e Checker.Pode-se inserir erros em uma das instâncias do reference model para testar a capacidade do Checker de detectá-los.Checker emite mensagem somente em caso de ERRO.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



TD

river

Sourc

e

Check

er

ReferenceModel

TD

river_

0

1.3 DUV Emulation

Monitor_0

Actor_0

ReferenceModel

Monitor

Actor

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


top

duv_emulation

tb_duv


tdri

ver

refmod

tdri

ver_

du

vrefmod

1.3 DUV Emulation – Templates (eTBc)so

urc

e

check

er

monitor

_duvin_actor

monitor out

_actor

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Passo 1: Testbench Conception1.3 DUV Emulation – Templates (eTBc)

- source - duv_emulation

- refmod - tb_duv

- checker - top

- tdriver - trans

- tmonitor - sdi

- tdriver_duv - top_tcl

- tmonitor_duv - gene_clock

- in_actor - axi_cover

- out_actor - Makefile_duv_emulation

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



1.3 DUV EmulationTestar TDriver(s), Actor(s) e Monitor(es)Tdriver-Monitor_0 e Tdriver_0-Monitor precisam ser simétricos

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Passo 2: Hierarchical Refmod Decomposition

ReferenceModel_2

channelsinal

ReferenceModel_1

ReferenceModel

2.1 Refmod Decomposition

ReferenceModel_3

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



2.1 Refmod DecompositionReference Model é dividido hierarquicamente como o DUV.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



pre-source

ReferenceModel_1 sink_

1

2.2 Single Hierarchical Refmods

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



pre-source_2

ReferenceModel_2

sink_2


BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



pre-source_3

ReferenceModel_3 sink


BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


tb_single_refmod


pre_source

refmod sink

2.2 Single Hierarchical Refmods – Templates (eTBc)

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



2.2 Single Hierarchical Refmods – Templates (eTBc)

- pre_source * - trans

- refmod - sdi

- sink * - tb_tcl

- tb_single_refmod - Makefile_single_refmod

* Um pre_source e um sink podem ser reusados.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



2.2 Single Hierarchical RefmodsCada bloco do Reference Model deve ter suas entradas e saída testadas

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



channelsinal

ReferenceModel

Sourc

e

Check

er

2.3 Hierarchical Refmods Verification

ReferenceModel_2

ReferenceModel_1

ReferenceModel_3

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



channelsinal

2.3 Hierarchical Refmods Verification – Templates (eTBc)

tb_hierarchical_refmod

refmod

sourc

e

check

er

refmodrefmod refmod

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



channelsinal

2.3 Hierarchical Refmods Verification – Templates (eTBc)

- source - trans

- refmod * - sdi

- checker - tb_tcl

- tb_hierarchical_refmod - Makefile_hierarchical_refmod

* Todos os refmods usados nesse passo podem ser reusados.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



2.3 Hierarchical Refmods VerificationA junção dos reference models hierárquicos deve ser comparada com o Modelo original para ver se ainda é equivalente.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Passo 3: Hierarchical Testbench

Source

ReferenceModel_1

Checker

_1

ReferenceModel_1

3.1 Double Hierarchical Refmods

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Source_2

ReferenceModel_2 C

hecker

_2

ReferenceModel_2


BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Source_3

ReferenceModel_3 C

hecker

ReferenceModel_3


BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


tb_double_refmod


source

refmod checker

refmod

3.1 Double Hierarchical Refmods – Templates (eTBc)

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



3.1 Double Hierarchical Refmods – Templates (eTBc)

- source * - trans

- refmod - sdi

- checker * - tb_tcl

- tb_double_refmod - Makefile_double_refmod

* Um source e um checker podem ser reusados.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



TD

river

Sourc

e

Check

er_

1

ReferenceModel_1

TD

river_

2

3.2 Hierarchical DUV Emulation

Monitor_0

Actor_0

ReferenceModel_1

Monitor_1

Actor_1

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



TD

river_

2

Sourc

e_2

Check

er_

2

ReferenceModel_2

TD

river_

3


Monitor_1

Actor_1

ReferenceModel_2

Monitor_2

Actor_2

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



TD

river_

3

Sourc

e_3

Check

er

ReferenceModel_3

TD

river_

0


Monitor_2

Actor_2

ReferenceModel_3

Monitor

Actor

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


top

duv_emulation

tb_duv


tdri

ver

sourc

e

check

er

refmod

tdri

ver_

duv

3.2 Hierarchical DUV Emulation – Templates (eTBc)

monitor

_duvin_actor

refmodmonit

or out_

actor

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Passo 3: Hierarchical Testbench3.2 Hierarchical DUV Emulation – Templates (eTBc)

- source - duv_emulation

- refmod - tb_duv

- checker - top

- tdriver * - trans

- tmonitor * - sdi

- tdriver_duv * - top_tcl

- tmonitor_duv * - gene_clock

- in_actor * - axi_cover

- out_actor * - Makefile_duv_emulation

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



TD

river

Sourc

e

Check

er_

1

ReferenceModel_1


DUV_1

3.3 Hierarchical DUV

Monitor_1

Actor_1

channelsinal

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



TD

river_

2

Sourc

e_2

Check

er_

2

ReferenceModel_2


DUV_2


Monitor_2

Actor_2

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



TD

river_

3

Sourc

e_3

Check

er

ReferenceModel_3


DUV_3


Monitor

Actor

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


top

tb_duv


tdri

ver

sourc

e

check

er

refmod


DUV

3.3 Hierarchical DUV – Templates (eTBc)

monitor out

_actor

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Passo 3: Hierarchical Testbench3.3 Hierarchical DUV – Templates (eTBc)- source - tb_duv

- refmod - top

- checker - trans

- tdriver - sdi

- tmonitor - top_tcl

- in_actor - gene_clock

- out_actor - axi_cover

- duv_hierarchical - Makefile_duv

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



TD

river

Sourc

e

Check

er

DUV_1

DUV_2

DUV_3

ReferenceModel_2

ReferenceModel_1

ReferenceModel_3

Monitor

Actor

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



TD

river

Sourc

e

Check

er

ReferenceModel


duvMonit

or

Actor

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


top

tb_duv


tdri

verso

urc

e

check

er

refmod


duvmonit

orout_

actor

Templates (eTBc)

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Passo 4: Full Testbench Templates (eTBc)- source - tb_duv

- refmod - top

- checker - trans

- tdriver - sdi

- tmonitor - top_tcl

- in_actor - gene_clock

- out_actor - axi_cover

- duv - Makefile_duv

- duv_hierarchical *

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Metodologia BVM

Testbench passa pela fase de depuração composta de passos, reduzindo a quantidade de erros.

Muito reuso de código, diminuindo tempo de implementação do testbench.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


A Arte da verificação

Estou exercitando todos os possíveis cenários de entrada?Como vou saber se ocorreu um erro?

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Ideal x Real

Gerar todas as possíveis combinações de entrada tem custo inviável para unidades maiores.Testar muitos unidades pequenas também tem custo inviável.É necessário fazer uma escolha.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Tipos de Estimulos

Compliance TestingVerificar situações mencionadas na especificação

Corner CaseVerificar situações críticas (extremas) do projeto

Real CodeUtilizar estímulos reais da aplicação

RandomCria situações “inusitadas”Cobertura tipicamente melhor do que os outros tipos porque pode gerar cenários que seriam esquecidos.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Forma mais óbvia: inspeção visual de formas de onda:muito usado,

impossível de reaproveitar,

passível a mal interpretação (erro humano),

impraticável para muitas transações.

Use a visualização de formas de onda somente

para depuração.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Sniffers Possuem interface dedicada para monitorar e extrair estatísticas dos sinais de um módulo.Muito usado na depuração de sinais.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP



Self Checking TestbenchTdriver, Monitor e Actor implementados em código do

simulador (SystemVerilog);

Checker implementado em SystemVerilog compara dados

recebidos do Monitor com dados esperados;

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Implementação do checker

A simulação de rodar quieto enquanto tudo estiver o.k. para não afogar mensagens de erro no meio de outras mensagens.Quando aparece um erro, devem ser fornecidas todas as informações disponíveis sobre o problema para facilitar a depuração.Inserir erro no DUV para ver se o Checker funciona.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Implementaçãodo Reference Model

Refmod implementado em códigoSystemVerilog, SystemC, C++, C, ou Pascal, Java etc.Checker compara diretamente saída do Monitor com a saída do refmod.

Refmod fácil de escrever.

Basic, Matlab, etc.Problema de comunicação com SystemC, pode usar IPC ou arquivos.

Refmod ainda mais fácil de escrever.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Implementaçãodo Reference Model

Refmod implementado em código (continuação)

possibilita teste pseudo-aleatório com número grande de amostras (muitos vetores de entrada),

deixar rodar a noite,

dormir tranqüilo !

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura

Ao acordar de manhã ainda está rodando...Quando vou parar ?

Quando atingir a cobertura indicada no plano de Verificação

Tipos de cobertura:de códigofuncional

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura de código

Cobertura de linhasmostra quantas vezes uma linhas de código (um comando) foi executada

também chamada cobertura de blocos ou cobertura de segmentos

Cobertura de chaveamentoconta quantas vezes cada sinal mudou de nível lógico

Cobertura de estados de FSMconta quantas vezes se chegou em cada estado

quais transições entre estados foram simuladas

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura de códigoCobertura de eventosverifica se todos os eventos na lista de sensibilidade de todos processos foram exercitadas

Cobertura de desviosresultado semelhante ao cobertura de blocos

Cobertura de expressõesverifica se todas as combinações de expressões lógicas foram exercitadas

Cobertura de caminhosverifica passagem variada por seqüência de comandos if...else

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura funcional

É mais importante do que a cobertura de código.

Observa sinais e transações durante a simulação.

Conta ocorrências de determinadas situações,por exemplo: “quantas vezes o valor da saída fica entre 0 e 8”

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura funcional

Cobertura desejada é especificada no Plano de Verificação (“a tal situação deve ser verificada 100 vezes”)

Quando a cobertura desejada é atingida a simulação é encerrada

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura funcional

“Cobertura é responsável por medir o progresso da verificação através de várias

métricas pré-estabelecidas e ajudar o engenheiro a se localizar com relação ao

término da verificação” [piziali2004].

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura funcional

Mede o progresso da simulação e reporta quais funcionalidades não foram exercitadas ou foram exercitadas mais de uma vez.

Pode ajudar a inspecionar a qualidade da verificação e direcionar os estímulos de forma a alcançar as funcionalidades não cobertas (buracos de cobertura).

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura funcional

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Onde Fazer Cobertura Funcional?

Source

Source

TDriverTMonit

or

Checker

Checker

Reference Model

Reference Model

DUVDUV

Cobertura FuncionalCobertura Funcional

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

Consiste em medir o número de vezes que uma variável recebe um determinado valor durante uma simulação:

É fácil de interpretar;

Ajuda a identificar valores ou intervalos não testados;

Quando a cobertura desejada é atingida a simulação é encerrada.

Porém, a complexidade aumenta com o aumento do intervalo de valores, e com a inclusão de cruzamentos, de combinações e de valores inválidos.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

Covergroups

Os engenheiros de verificação podem observar os valores das variáveis agrupando-as em um ou mais grupos de cobertura (covergroups).

Um covergroup é um agrupamento de pontos de cobertura (coverpoints – um grupo de variáveis cujos valores serão simultaneamente amostrados e contados.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP

The BrazilIP Network 137

Cobertura Funcional

covergroup cg1 @(posedge clk);coverpoint b { bins b1 = {0, 1, 2, 3}; bins b2 = { [5:8], 9 };}

endgroupValores quedevem serobservados

variável

Número de vezesque a condição deveocorrer durantea simulação

Definindo um covergroup

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

cg1 cg1_inst = new();

Instanciando um covergroup

Define a instânciacg1_instdo covergroup cg1

O uso deparêntesesé opcional

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

Instanciando um covergroup

Um covergroup pode ser instanciado dentro de um módulo,

uma interface, um bloco de programa, ou de uma classe.

Não é suportado por SystemVerilog:Atribuições nulas a uma instância de um covergroup

cg1 cg1_inst = null;

Atribuições diretas entre duas instâncias de covergroups

cg1_inst1 = cg_inst2;

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

Definindo um coverpoint

As variáveis cujos valores devem ser observados são definidas

como coverpoints dentro de um ou mais covergroups.

Durante a simulação os valores das variáveis definidas como

coverpoints são medidos e armazenados na base de dados da

cobertura.

Expressões de mais de 32 bits não são suportadas!

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

Caixas (bins)

Um coverpoint bin é usado para definir os valores que devem

ser medidos e armazenados durante uma simulação.

A definição do intervalo de um bin pode ser em qualquer base

(binária, decimal, hexadecimal, ou octal).

Adicionalmente, o intervalo de um bin pode ter uma constante

ou uma expressão.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

Caixas (bins), exemplos:

Para definir o intervalo como sendo os valores de 0 a 5 e 10:

bins b1 = {[0:5], 10};

Para definir o intervalo como sendo os valores de 0 a 5 e 9 a 14:

bins b1 = {[0:5], [9:14]};

Para definir o intervalo como sendo os valores 0, 2, e 7:

bins b1 = {0,2,7};

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

Caixas (bins), exemplos:

Para definir o intervalo como sendo os valores em hexadecimal de 0 a F:

bins b1 = {[‘h0:‘hF]};

Para definir o intervalo como sendo os valores menor que ou igual a 5, e 10:

bins b1 = {[$:5], 10};

Para definir o intervalo como sendo os valores maior que ou igual a 7:

bins b1 = {[7:$]};

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

Ignorando valores nos resultados de cobertura

Valores associados a um coverpoint podem ser ignorados na

medição da cobertura especificando-os como ignore_bins.

Os valores especificados com ignore_bins são excluídos da

medição de valores de coverpoints e não resultam em um

incremento na contagem da cobertura.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

ignore_bins ignore_vals = {2, 3};

Ignorando valores nos resultados de cobertura

Palavra-chave paradefinir valores a seremignorados

Os valores 2 e 3serão ignoradosna medição dacobertura

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

Especificando valores como sendo ilegais

Valores associados a um coverpoint podem ser definidos como

ilegais na medição da cobertura especificando-os como

illegal_bins.

Se um valor de um coverpoint for detectado e tiver sido

especificado com illegal_bins, a simulação gera um erro.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

illegal_bins ill_vals = {1, 2};

Especificando valores como sendo ilegais

Palavra-chave paradefinir valores queserão consideradosilegais

Os valores 1 e 2são ilegais egerarão um errose detectados

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

Diferenças e semelhanças entre illegal_bins e

ignore_bins

O cálculo da cobertura para illegal_bins é exatamento o

mesmo para ignore_bins.

A diferença entre os dois é que no caso de detectados illegal_bins,

a simulação reporta um erro.

Não são reportados erros no caso de ignore_bins.

Illegal_bins têm precedência sobre quaisquer outros bins, o que

implica que eles resultam em um erro em tempo de execução,

mesmo caso eles estejam incluídos em um outro bin.

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Cobertura Funcional

Geração deestímulos

Geração deestímulos

Simulação doDUV

Simulação doDUV

Medida decobertura

Medida decobertura

Análise decobertura

Análise decobertura

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Exemplos

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Exemplo MPEG4

Conexão de dados

Conexão de configuração

DCDCT

bitstream SUM

PIACDC QI IDCT

DVM CBP RGB

SI

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Exemplo MPEG4

Testbench depois do RTL, com ferramenta para templates.Pior problema: erramos em fazer um só testbench para PIACDC e QI

Tempo entre Verificação dos sub-blocos o.k. e verificação do conjunto dos DUVs o.k.: 3 semanas

Tempo entre Verificação o.k. e FPGA rodando: 3 dias

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Exemplo Lacre Eletrônico

FEC EEC

DES

MAQ_EST

BRAZIL IPBRAZIL IP


BRAZIL IPBRAZIL IP


Exemplo Lacre Eletrônico

Testbench antes do RTL, sem ferramenta para templatesPior problema: Verificação da junção dos sub-blocos feita depois já ter iniciado verificação de 2 blocos.

Tempo entre Verificação dos sub-blocos o.k. e verificação do conjunto dos DUVs o.k.: 1 dia

Tempo entre Verificação o.k. e FPGA rodando: 0

BRAZIL IP The BrazilIP Network BRAZIL IP The BrazilIP Network Verificação funcional Curso do...

Documents

Transcript of BRAZIL IP The BrazilIP Network BRAZIL IP The BrazilIP Network Verificação funcional Curso do...