Esquema hıbrido para renderizacoes foto-realistascom mapas de iluminacao

Aldo Rene ZangLaboratorio VISGRAF - IMPA

Email: zang@impa.br

Luiz VelhoLaboratorio VISGRAF - IMPA

Email: lvelho@impa.br

Abstract—This paper introduces a new approach to theproblem of direct illumination in physically-based rendering of 3Dscenes using illumination maps captured from real environments.We developed a system that takes advantage of the best features ofthe current solutions to the problem: namely, the approximationof illumination maps through directional lights; and stochasticsampling of the light maps. Our framework is flexible and canbe used with most rendering programs.

Keywords—Three-dimesional Graphics and Realism, Sampling,Rendering, Environment Maping, Importance Sampling, Determin-istic Sampling.

Resumo—Neste artigo apresentamos uma nova abordagempara o problema de iluminacao na renderizacao foto-realistacom mapas de iluminacao provenientes de cenas reais. Desen-volvemos um sistema que extrai o melhor das duas principaisabordagens existentes para o problema: aproximacao dos mapasde iluminacao com luzes direcionais e amostragem estocastica dosmapas.

O Esquema Hıbrido proposto pode ser utilizado tantocom metodos de iluminacao direta quanto com algoritmos deiluminacao global. Nossa proposta vem complementar e conso-lidar as tecnicas tradicionais, pois permite utiliza-las separada-mente ou combina-las para tratar o problema de amostragem dasfontes luminosas durante a renderizacao com iluminacao real.

I. INTRODUCAO

A renderizacao de cenas complexas, com iluminacao pro-veniente de ambientes reais representa um problema desafiadore de grande interesse para a comunidade de computacao graficanas ultimas decadas. Atualmente metodos de renderizacaofoto-realista de cenas sinteticas com mapas de iluminacaoextraıdos de ambientes reais sao muito utilizados e estudadosno processo de sıntese de imagem e demandam solucoeseficientes, uma vez que tecnicas de incorporacao de objetossinteticos em filmes e comerciais sao muito procuradas.

Para renderizar objetos sinteticos em cenas reais e precisodispor da iluminacao do ambiente real onde sera feita ainsercao, que pode ser capturada como uma imagem esfericade alta faixa dinamica (HDR - High Dynamic Range). Estatecnica de captura de iluminacao, introduzida por Paul De-bevec [1], esta presente em muitos programas comerciais eamplamente utilizada no cinema. O objetivo deste trabalho eestudar as principais abordagens para o problema de calculoda iluminacao direta de uma cena e propor uma tecnica hıbridaque combina as abordagens atuais.

A. O problema de iluminacao direta com mapas de iluminacao

O problema central no processo de renderizacao e calculara equacao de espalhamento (scattering equation)

Lo(p, ωo) =

∫S2f(p, ωo, ωi)Li(p, ωi)| cos θi|dωi, (1)

da radiancia Lo que chega ao ponto p na direcao ωo,onde Li(p, ωi) e a radiancia incidente em p na direcao wi,f(p, ωo, ωi) e a BSDF (Funcao de Espalhamento Bidirecio-nal), e θi e o angulo de incidencia [6].

No contexto de iluminacao direta, estamos interessados naradiancia incidente diretamente das fontes luminosas, denota-das por Ld(p, ω). Portanto a integral anterior pode ser escritacomo ∫

S2f(p, ωo, ωi)Ld(p, ωi)| cos θi|dωi. (2)

A mesma pode ser quebrada num somatorio sobre as fontesde luz da cena

luzes∑j=1

∫S2f(p, ωo, ωi)Ld(j)(p, ωi)| cos θi|dωi, (3)

onde Ld(j) denota a radiancia incidente em p proveniente daj-esima fonte de luz e

Ld(p, ωi) =∑j

Ld(j)(p, ωi). (4)

Quando usamos um mapa de iluminacao, deixamos de teruma luz pontual e para obter sua contribuicao num pontoda cena e preciso calcular uma integral sobre S2. Mesmose considerarmos que o mapa tem uma resolucao finita, porexemplo, 1024 × 512 pixels, terıamos 1024 · 512 somas, oque torna a solucao computacionalmente inviavel. Para reduzireste somatorio, entram em cena os metodos de integracaoprobabilısticos com estimadores de Monte Carlo. Entao seescolhem N direcoes ωi com algum metodo probabilıstico,obtendo a estimativa:

1

N

N∑j=1

f(p, ωo, ωi)Ld(p, ωj)| cos θj |pdf(ωj)

. (5)

Neste trabalho, propomos uma abordagem que pretende ex-trair as vantagens dos metodos de integracao de Monte Carlo,introduzindo a utilizacao de pre-amostragem e geracao de luzesdirecionais de maneira combinada. A maioria dos softwaresde renderizacao atuais permite o uso de mapas de iluminacao,

porem as formas em que os mesmo sao utilizados no processode renderizacao, ainda sao limitados. Em alguns softwares omapa e utilizado pelas rotinas de amostragem de Monte Carlo,como no caso do PBRT [6], enquanto que em outros e precisorealizar algum pre-processamento e transformar o mapa numacolecao de luzes pontuais ou direcionais.

Neste artigo apresentaremos um sistema de pre-processamento multifuncional que permite trabalharcom mapas de iluminacao de diversas formas: obtendouma colecao de luzes direcionais mediante metodos deamostragem como Corte Mediano de Debevec [2]; ouAmostragem Hierarquica por Importancia com Mosaicos dePenrose [4]; ou selecionando um numero grande de amostraspara ser passadas as rotinas de Monte Carlo de renderizadorescomo PBRT, Luxrender e POV-Ray entre outros. Tambemtrataremos os mapas de iluminacao de maneira intermediaria,estratificando-os, e selecionando regioes das quais vamosextrair luzes direcionais e outras que manteremos intactaspara passa-las as rotinas de Monte Carlo. Um sistema destaındole e muito util, pois permite ter um controle fino dosresultados nas renderizacoes. Permite adaptar um mapa deiluminacao para a maioria dos softwares de renderizacao, oupela utilizacao do mapa como um todo, ou por partes (luzese um conjunto de amostras).

II. MAPAS DE ILUMINACAO

Existem diversos formatos para os mapas de iluminacao,entretanto adotaremos o formato equiretangular. Dado ummapa de dimensoes 2N × N neste formato, um ponto (x, y)pode ser identificado com uma direcao ~ωi = (φ, θ) emcoordenadas esfericas, tomando

(φ, θ) =

(2xπ

2N,yπ

N

). (6)

A direcao ~ωi tambem pode ser representada por coordena-das retangulares (x, y, z) em funcao das coordenadas esfericas(φ, θ) como

x = sin(θ) · cos(φ), y = sin(θ) · sin(φ), z = cos(θ). (7)

A. Deformacao de area do formato equiretangular

Em aplicacoes como calculo de iluminacao e amostragemde mapas, a irradiancia esta associada com a area emissora,portanto devemos conhecer as deformacoes de area sofridas aopassar do formato esferico para o formato equiretangular.

A relacao entre a diferencial de area de um conjunto dedirecoes dω e a diferencial de area do par (φ, θ), figura 1a, edada por:

dω = sin(θ)dθdφ.

Dado um mapa M(x, y, z) no formato esferico, consi-dere a funcao luminancia L : R3 → R definida porL(r, g, b) := 0.2125 · r+ 0.7154 · g+ 0.0721 · b. Entao, temosque a funcao LM(x, y, z) := L(M(x, y, z)) e a radiancia nadirecao ω = (x, y, z), e a irradiancia total do mapa esfericoM e dada por:

E =

∫S2

LM(ω)dω =

∫ 2π

0

∫ π

0

LM(φ, θ) sin(θ)dθdφ, (8)

y

x

z

(a) (b) original | correcao de area

Figura 1: (a) O diferencial de area dA subtendido por um dife-rencial de angulo solido e o produto do diferencial das arestassin(θ)dφ e dθ. (b) Amostragem Hierarquica por Importanciacom Mosaicos de Penrose [4] de um mapa isoluminante.

A correcao do mapa pela deformacao de area torna-se necessaria em nosso caso, no calculo de iluminacao ena construcao de PDFs (Funcoes de Densidade de Pro-babilidade), para aplicar tecnicas de amostragem e realizarimplementacoes eficientes.

No caso de mapas de iluminacao equiretangulares detamanho 2N×N pixels, se M(i, j) e a funcao de radiancia domapa esferico M(x, y, z) associado, a funcao de compensacaopela deformacao de area e definida por:

F (M(i, j)) := M(i, j) · sin(j

Nπ

)= M(i, j) · sin(θ). (9)

A equacao 9 tambem e aplicada a luminancia para obter asPDFs utilizadas na amostragem:

F (LM(i, j)) := LM(i, j) · sin(j

Nπ

). (10)

Na figura 1b vemos o efeito de amostrar um mapa iso-luminante e sua transformacao. Como resultado, as posicoesdas amostras mudam quando considerarmos a deformacaoinduzida pelo mapeamento equiretangular.

III. METODOS TRADICIONAIS DE RENDERIZACAO COMMAPAS DE ILUMINACAO

Como escolher as fontes de luz para obter uma iluminacaorealista quando a informacao da qual dispomos e um mapade iluminacao omnidirecional? Basicamente podemos dividira literatura em duas abordagens: a primeira consiste em aplicaralgum algoritmo de selecao de amostras sobre o mapa deiluminacao para criar um conjunto de luzes direcionais. Asegunda opcao e utilizar o mapa de iluminacao como umaluz de area a uma distancia infinita que envolve a cena eaplicar algoritmos de selecao de amostras durante o calculode iluminacao.

A. Aproximacao do mapa de iluminacao com luzes direcionais

A geracao de luzes direcionais a partir de um mapade iluminacao pode ser realizada utilizando metodos de

amostragem. Dois dos metodos mais populares sao:

Amostragem por Corte Mediano [2]: O metodo fornece aposicao das amostras no mapa e a iluminacao total da celulaa qual pertence cada amostra. As posicoes (u, v) das amostrasno mapa sao transformadas para sua correspondentes direcoes(x, y, z) na esfera unitaria, obtendo-se um conjunto Ω deluzes direcionais.

Amostragem Hierarquica por Importancia com Mosaicosde Penrose [4]: O resultado da amostragem e uma lista coma localizacao das amostras no mapa de iluminacao. A partirda localizacao, calculam-se as posicoes (x, y, z) na esferaunitaria mediante as equacoes 6 e 7. A seguir calculam-se ascelulas de Voronoi esfericas [3] para as amostras, e finalmentee calculada a radiancia em cada celula para obter a radianciade cada luz direcional.

(a) Metodo de Corte Mediano. Varias celulasretangulares tem uma grande diferenca entreseus lados (retangulos achatados).

(b) Mapeamentoesferico.

(c) Amostragem hierarquica por importancia. (d) Mapeamentoesferico.

(e) Escala logarıtmica de cores, ln(I(i, j)), onde I(i, j) = LM(i, j) ·sin(j/N) e a funcao de importancia do mapa.

Figura 2: Amostragem do mapa Galileo utilizando 64 amos-tras. Os pontos pretos representam a localizacao das luzes. Epossıvel observar uma boa distribuicao das amostras e celulassobre a esfera em d e uma aglomeracao de celulas nos polosem (b).

O conjunto de luzes obtido pelos metodos mencionadose utilizado para renderizar a cena. Para ambos os metodos, aradiancia de cada luz e calculada da mesma forma. A radianciatotal de um mapa e dada por:

E =

∫S2RM(ω)dω =

∫ 2π

0

∫ π

0

RMφ, θ) sin(θ)dθdφ,

Logo, para um mapa de iluminacao M de resolucao 2N ×N

no formato equiretangular

E =

∫ 2π

0

∫ π

0

RM(φ, θ) sin(θ)dθdφ

=2ππ

2N2

2N−1∑i=0

N−1∑j=0

RM(i, j) · sin(

(j + 12 ) · πN

).

Desta forma, a radiancia da celula C(pk) correspondente aamostra pk, e:

RC(pk) =2ππ

2N2

∑( 2i+1

2 , 2j+12 )∈C(pk)

RM(i, j)·sin(

(j + 12 ) · πN

).

(11)

1) Vantagens e desvantagens: A renderizacao com luzesdirecionais e simples de ser implementada, a iluminacaona cena e uniforme, pois todas as luzes sao utilizadas narenderizacao de cada pixel, portanto a cena apresenta poucavariancia local. Entre os inconvenientes podemos mencionar aalta quantidade de luzes necessarias para obter efeitos realistasna renderizacao e o problema de penumbras e sombras combordas definidas por causa da discretizacao do ambiente deiluminacao. Este ultimo problema pode ser evitado, na maioriados casos, aumentando o numero de luzes. Porem, isto poderesultar em tempos de computacao excessivos.

B. Amostragem direta por importancia - IS

Dado um mapa de iluminacao M, a amostragem diretae utilizada quando o mapa e considerado como uma luz dearea, a distancia infinita, envolvendo a cena. O metodo deamostragem direta utilizado neste trabalho e o de amostragempor importancia (IS), descrito por Pharr e Humpreys [5]. Afigura 3a mostra a distribuicao das amostras no mapa Galileodurante uma renderizacao do modelo Killeroo.

1) Vantagens e desvantagens: A amostragem direta porimportancia permite obter renderizacoes fisicamente corretasde boa qualidade utilizando poucas amostras, dependendo dadistribuicao das fontes de iluminacao na cena. Este metodotambem proporciona sombras com bordas suaves e efeitos re-alistas em penumbras. A principal desvantagem e a granulosi-dade na imagem final devido a variancia associada aos metodosprobabilısticos, que pode ser reduzida aumentando o numerode amostras. Porem esta solucao resulta computacionalmentecara.

C. Mapas de pre-amostragem - MPA

Uma alternativa a geracao de luzes direcionais e a amos-tragem direta do mapa, que chamamos de mapa de pre-amostragem, consiste em gerar um grande numero de amostrasa partir do mapa de iluminacao, e passa-las ao integrador paraserem utilizadas durante a renderizacao, em lugar de utilizaro mapa ou mesmo uma quantidade fixa de luzes direcionais.

Desenvolvemos o plugin PRESAMP para o PBRT [6],que utiliza um mapa de pre-amostragem para realizar arenderizacao. Na criacao do mapa de pre-amostragem e precisoguardar as seguintes informacoes:

• a posicao das amostras no mapa de iluminacao;

• uma imagem equiretangular da particao do mapa emregioes de influencia das amostras obtidas;

• uma lista da radiancia total da regiao de influencia decada amostra.

Nosso software e capaz de criar mapas de pre-amostragemcom dois algoritmos: Amostragem por Corte Mediano [2] - CM: o mapa depre-amostragem e gerado facilmente, pois o algoritmo devolveuma lista com as posicoes das amostras e a radiancia decada regiao de influencia. A imagem da particao pode sercalculada durante a execucao do algoritmo, utilizando asdivisoes sucessivas feitas no mapa, e guardada no final.

Amostragem Hierarquica por Importancia com Mosaicosde Penrose [4] - OS: o mapa de pre-amostragem sera geradoda seguinte maneira:

• obtem-se o conjunto de amostras e suas posicoes;

• e calculada a particao de Voronoi da esfera unitariapara o conjunto de amostras;

• a particao de Voronoi obtida e guardada no formatoequiretangular;

• para cada amostra e calculada a radiancia total da suacelula de Voronoi.

(a) Mapa de densidade de amostras duranteuma renderizacao utilizando o mapa Galileo1024×512.

(b) Mapeamentoesferico de (a).

(c) Escala logarıtmica de cores utilizada. A escala e obtida calculandoo logaritmo natural do numero de amostras coletado em cada pixeldo mapa Galileo.

(d) Mapa de pre-amostragem com 256 amostras, gerada com Amos-tragem Hierarquica por Importancia [4].

Figura 3: (a) O mapa de densidade foi construıdo contandoa quantidade de vezes que a posicao de um pixel do mapaGalileo foi amostrada durante a renderizacao. Foram tomadas10434404 amostras durante a renderizacao.

IV. ESQUEMA HIBRIDO PARA RENDERIZACAO

Como vimos na secao anterior, as abordagens tradicionaisdo problema de iluminacao baseada em imagens sao feitas deduas maneiras: uma gerando um conjunto de luzes direcionaisou pontuais a partir de um mapa de iluminacao e renderizandoa cena com este conjunto. A segunda alternativa e utilizar omapa de iluminacao para obter uma funcao de importancia etomar amostras durante a renderizacao para calcular posicoesnuma luz de area definida pelo mapa de iluminacao.

A seguir apresentamos nossa proposta, o esquema hıbrido(HIB), uma abordagem intermediaria que permite utilizar namesma renderizacao tanto luzes direcionais quanto amostra-gem direta do mapa, segundo a necessidade do problema, afim de ter um controle fino da situacao e obter melhoras nosresultados.

A. Separacao do mapa de iluminacao

Primeiramente, estratificamos o mapa de iluminacao Mutilizando a funcao de luminancia para definir duas regioesA e B, tais que A

⋃B = M e A

⋂B = Ø. A estratificacao

e feita de maneira que a regiao A concentre as zonas com demaior luminancia, e a regiao B as zonas de menor luminancia.

Consideremos o mapa de iluminacao equiretangularM : [0, 2π] × [0, π] → R3 e a funcao de luminanciaL : R3 → R definida na secao II-A. A luminancia total domapa M sobre a esfera e:

EM =

∫ 2π

0

∫ π

0

LM(φ, θ) sin(θ)dθdφ.

Dado um limiar real ρ ∈ [0, 1], as regioes A e B saodeterminadas de forma tal a satisfazer as seguintes condicoes:∫ 2π

0

∫ π

0

ξA(φ, θ) · LM(φ, θ) sin(θ)dθdφ = ρ · EM,

∫ 2π

0

∫ π

0

ξB(φ, θ) · LM(φ, θ) sin(θ)dθdφ = (1− ρ) · EM,

∀(φi, θi) ∈ A,∀(φj , θj) ∈ B,LM(φi, θi) ≥ LM(φj , θj).

Assim, o estrato A concentra ρ · 100% da luminancia totaldo mapa M nas regioes de maior radiancia, e B contem(1− ρ) · 100% da luminancia nas regioes de menor radiancia.

A area dos estratos A e B considerados sobre a esferaunitaria e dada por:

AreaS2(A) =

∫S2ξA(x)dx =

∫ 2π

0

∫ π

0

ξA(φ, θ) · sin(θ)dθdφ,

(12)

AreaS2(B) =

∫S2ξB(y)dy =

∫ 2π

0

∫ π

0

ξB(φ, θ) · sin(θ)dθdφ,

(13)

onde: ξΩ : ∆→ 0, 1 e a funcao caracterıstica de Ω ⊂ ∆,

ξΩ(ω) =

1 se ω ∈ Ω

0 se ω /∈ Ω

x

f(x)

ψ0

0 x

(a) Funcao monotona nao crescente de luminancia do mapa Kitchen, f(x).

x

g(x)

ζ(x)

EMo

g(x)

ζ(x)

ψ0

0 x

(b) Funcoes ζ(x) e g(x) do mapa Kitchen.

Figura 4: Funcoes f(x), g(x) e ζ(x) utilizadas para estratificar o mapa Kitchen. A funcao g(x) e a funcao integral de f(x),enquanto que ζ(x) aproxima a integral do mapa Kitchen pela area de 2 trapezios de base [0, x] e [x, ψ].

1) Implementacao computacional da estratificacao: Napratica, como o mapa de iluminacao M e uma imagem de2N ×N pixels, trabalhamos com uma discretizacao da esfera,obtida pelo mapeamento esferico do mapa de iluminacao. Aimplementacao e realizada da seguinte forma:

• Dado o mapa M, com 2N × N pixels, criamos umarray M [2N2, 2], definido da seguinte forma:

M [k, 1] := LM (mod(k, 2N), bk/2Nc) ,M [k, 2] := k.

• O array M e ordenado de forma decrescente segundoa primeira coordenada, M [x, 1]. Dado um limiarρ ∈ [0, 1], para obter a regiao A tal que

∫ 2π

0

∫ π

0

ξA(φ, θ) · LM(φ, θ) sin(θ)dθdφ ≈ ρ · EM,

e necessario determinar o menor valor inteiro r tal que

r∑i=0

M [i, 1] · sin

π⌊M [i,2]

2N

⌋+ 1

2

N

≥ ρ · EM.

O valor r < 2N2 representa a area do estrato A em pixelsna representacao equiretangular plana, pois consideramos cadapixel como sendo um quadrado de lado um. O valor da area doestrato A depois do mapeamento esferico e obtido aplicando adeformacao de area a cada M [i, 2] para 0 ≤ i ≤ r e realizandoo somatorio:

Aesf (A) =

r∑i=0

sin

⌊M [i,2]

2N

⌋+ 1

2

N· π

. (14)

Agora e possıvel definir dois mapas MA e MB , tais que

MA(φ, θ) = M(φ, θ) · ξA(φ, θ),

MB(φ, θ) = M(φ, θ) · ξB(φ, θ).

Os mapas MA e MB podem ser descritos em funcao daimagem digital do mapa de iluminacao M e do valor r:

MA(x, y) =

M(x, y) se ∃ 0 ≤ k ≤ r tal que

M [k, 2] = x+ 2N · y,0 caso contrario,

MB(x, y) =

M(x, y) se ∃ r < k < 2N2 tal que

M [k, 2] = x+ 2N · y,0 caso contrario

obtendo uma formulacao de facil implementacao computacio-nal.

Em geral, para um mapa de iluminacao proveniente de umambiente real, a area da regiao A para um limiar ρ = 0.5representa menos que o 5% da area total do mapa. Porexemplo, no mapa Kitchen a area da regiao A para ρ = 0.6371e aproximadamente 2.8% da area do mapa, figura 5. Estaacumulacao de radiancia numa pequena area pode ser apro-veitada selecionando amostras da regiao A e convertendo-asnum conjunto Ω de luzes direcionais, figura 5a. Como a areae pequena a regiao pode ser representada com poucas amostras,i.e., poucas luzes direcionais. A regiao complementar B, cujaarea representa a maior parte do mapa de iluminacao, pode sertratada de duas formas:

• Guardar o estrato B como um mapa HDR MB , ondeos pixels do estrato A tem radiancia nula. Neste caso arenderizacao da cena sera feita utilizando amostragemdireta por importancia (IS [6]) sobre o mapa MB ,enquanto que as luzes direcionais Ω, obtidas da regiaoA, sao renderizadas de maneira tradicional.

• Amostrar o estrato B com o metodo de AmostragemHierarquica por Importancia com Mosaicos de Pen-rose [4] ou de Corte Mediano [2], e guardar um mapade pre-amostragem MPA, figura 5b. A renderizacaofinal e feita com o plugin PRESAMP, criado parao PBRT [6], para renderizar a iluminacao dada pelo

mapa MPA, juntamente com a renderizacao do con-junto Ω de luzes direcionais extraıdas da regiao A.

B. Determinacao dos estratos e limiar de separacao ρ

Um aspecto importante na abordagem hıbrida e a escolhacerta do limiar ρ utilizado para realizar a separacao do mapade iluminacao, devido a que o valor de ρ esta relacionadodiretamente com a area do mapa destinada a criacao de luzesdirecionais e a area a ser utilizada para amostragem diretaou pre-amostragem. Uma boa escolha de ρ ajudara a reduziro numero de luzes direcionais utilizadas e a maximizar ailuminacao total das mesmas. Estudamos alternativas pararealizar estimativas do limiar ρ, para dar ao usuario umaaproximacao previa junto com a possibilidade de ajustar estevalor manualmente. Alem da escolha direta do limiar ρ porparte do usuario, apresentamos a seguir duas estimativas au-tomaticas do limiar ρ apropriadas para a maioria dos casos.

1) Estimativa por taxa de variacao maxima: O limiar deseparacao ρ e determinado a partir do valor mınimo de umafuncao. Primeiramente consideremos a funcao constante porpartes obtida a partir do array M :

f(x) =

M [0, 1] se 0 ≤ x ≤ sin

π ·⌊

M[0,2]2N

⌋+ 1

2

N

M [i, 1] se xi−1 < x ≤ xi i = 1, . . . , 2N2 − 1

onde

xi =

i∑j=0

sin

π ·⌊M [j,2]

2N

⌋+ 1

2

N

. (15)

Seja ψ = 2N ·∑2N2−1i=0 sin

(π · i+0.5

N

). A funcao

f : [0, ψ] → R esta definida para 0 ≤ x ≤ ψ. Definimosagora a funcao integral linear por partes:

g : [0, ψ]→ R, g(x) =

∫ x

0

f(x)dx.

Definimos a seguir a funcao

ζ(x) =f(0) + f(x)

2· x+

f(x) + f(ψ)

2(ψ − x).

A funcao ζ(x) representa uma aproximacao da integral daluminancia do mapa de iluminacao pela soma das areas dedois trapezios, como na figura 4a. Neste esquema, a melhorrelacao entre area e iluminacao para o estrato A(x) e obtidono ponto x, que minimiza a funcao ζ(x). Tanto o calculo dovalor x quanto a implementacao computacional sao simples,pois a funcao ζ e avaliada numa quantidade finita de pontosxi, para i = 0, . . . , 2N2 − 1, associados aos pixels do mapade iluminacao M. Calculamos o conjunto de mınimos globais:

Ψ =xj : ζ(xj) ≤ ζ(xi); ∀i, j = 0, . . . , 2N2 − 1; i 6= j

onde os xk’s sao definidos pela equacao (15). Claramente oconjunto Ψ 6= ∅, e no caso de termos #(Ψ) > 1 tomamosx = minx Ψ , dado que Areaesf.(A(x)) = x e principalmentepretendemos minimizar a area de A(x).

Uma vez determinado o valor de x, o valor da area doestrato A sera o proprio x. O calculo do valor do limiar de

separacao de luminancia ρ segue de calcular o menor inteiror tal que

x ≤ xr =

r∑j=0

sin

π ·⌊M [j,2]

2N

⌋+ 1

2

N

. (16)

Calculado o valor de r, obtemos o valor de ρ como sendo

ρ =

r∑i=0

M [i, 1] · sin

π ·⌊M [i,2]

2N

⌋+ 1

2

N

2N2−1∑i=0

LM

(mod(i, 2N),

⌊ i

2N

⌋)· sin

π ·⌊

i2N

⌋+ 1

2

N

.

(17)

2) Estimativa por quantidade de luzes desejadas e angulode separacao mınima: Dado um valor angular α de separacaomınima desejada entre as luzes direcionais e um valor inteiroP para a quantidade de luzes desejadas pelo usuario, e possıveldeterminar os estratos A e B e obter conjuntamente o valordo limiar ρ. Considerando que a area de uma calota esfericae:

Areacalota = 2π ·R · h (18)

onde R e o raio da esfera e h e a altura da calota.

Considerando R = 1, por estarmos trabalhando na esferaunitaria, podemos pensar que a zona de influencia de uma luze dada por uma calota esferica com centro na luz e aberturaangular igual a α/2. Com estas consideracoes temos que aarea de influencia de uma luz k e

Arealuz(k) = 2π · h = 2π · (1− cos(α/2)). (19)

Logo, para P luzes a area total mınima ocupada pelas luzessobre a esfera unitaria e:

AreaLuzes = P · 2π · (1− cos(α/2)). (20)

Levando em conta que dado um mapa de iluminacao M,o trabalho computacional e feito sobre uma imagem I de2N × N pixels, portanto a relacao de areas entre o formatoequiretangular e o mapeamento esferico e a seguinte:

Areaplana(I)

Areaplana(M)=

Areaesferica(I)

Areaesferica(M), (21)

ou equivalentemente

2N ·N2ππ

=Areaesferica(M)

4π, (22)

obtendo-se desta forma:

Areaesferica(M) =2N2

2ππ· 4π. (23)

Utilizando o fator anterior, obtemos a estimativa para aarea do estrato A sobre a imagem I depois do mapeamentoesferico:

Areaesferica(A) =2N2

2ππ· P · 2π · (1− cos(α/2)). (24)

(a) Estrato A, area= 14730 pixels. Geracao de 92 luzes com Amos-tragem Hierarquica por Importancia sobre o estrato A.

(b) Estrato B = Mapa − A, area= 509558 pixels. Mapa de pre-amostragem do estrato B com 382 amostras.

(c) Detalhe ampliado da amostragem realizada em (a). (d) Mapa de Iluminacao Kitchen.

Figura 5: Estratos A e B do Mapa HDR Kitchen segundo o limiar de variacao maxima ρ = 0.6371. (a) Foi realizada umaclusterizacao com frequencia Fi = 1 para obter as 92 luzes finais.

Agora o trabalho de calcular o estrato A se reduz a acharo menor inteiro r tal que:

2N2

π·P ·(1−cos(α/2)) ≤

r∑i=0

sin

(bM [i, 2]/2Nc+ 0.5

N· π).

(25)

O valor do limiar ρ pode ser aproximado como a relacaoentre a luminancia do estrato A e a luminancia total do mapa:

ρ ≈

∑ri=0M [i, 1] · sin

(π bM [i,2]/2Nc+0.5

N

)∑2N2−1i=0 LM(mod(i, 2N), bi/2Nc) sin

(π bi/2Nc+0.5

N

) .(26)

Agora o usuario pode ajustar este valor de ρ manualmentepara obter a distribuicao desejada. Devemos esclarecer tambemque mesmo desejando P luzes direcionais, o metodo deamostragem escolhido pode introduzir M > P amostras noestrato A. Neste caso o sistema realizara uma clusterizacaopara eliminar M − P amostras antes de proceder ao calculoda luzes direcionais finais.

C. Clusterizacao

Juntamente com a estratificacao, tambem tivemos cuidadode introduzir controles adicionais, dado que o metodo de

Amostragem Hierarquica por Importancia com Mosaicos dePenrose de Ostromoukhov e Donohue [4] apresenta algunsinconvenientes. Como o metodo de Ostromoukhov e Do-nohue [4] aplicado a um mapa de iluminacao faz amostra-gem hierarquica por importancia de uma regiao retangularcontınua do plano com as dimensoes do mapa, e funcao deimportancia constante por partes igual a luminancia do mapa,tem-se frequentemente uma alta condensacao de amostras emregioes de area muito pequena. Por exemplo, muitas vezestemos duas ou mais amostras numa area que correspondea um pixel do mapa. Este fenomeno acontece porque nosmapas extraıdos de ambientes reais a variacao de luminanciae muito grande. Como o objetivo e obter luzes direcionaisque iluminem a cena, precisamos de amostras devidamenteespalhadas para cobrir bem a regiao A (por este motivo naotemos interesse em amostras cujos vizinhos estao a menosde 1 pixel de distancia). Por fim, agrupamos estas amostras,aplicando um metodo de clusterizacao sugerido por Velho eGomes [7], eliminando desta forma as amostras redundantes.Implementamos em nosso sistema a clusterizacao com tresopcoes para a frequencia F (veja exemplos na figura 6):

F1 = 1, F2 =

∫V or(ci)

L(x)dx, F3 =

∫V or(ci)

L(x)dx

Area V or(ci).

Dado um cluster com dois elementos K = ci, cj, o nıvelde quantizacao otima utilizando a metrica do quadrado da

distancia geodesica sobre a esfera e:

c =Ft,i

Ft,i + Ft,jci +

Ft,jFt,i + Ft,j

cj , t ∈ 1, 2, 3,

E(ci, cj) =Ft,iF

2t,j + Ft,jF

2t,i

(Ft,i + Ft,j)2‖ arccos(cicj)‖2, t ∈ 1, 2, 3.

(a) (b) Freq. F1. (c) Freq. F2. (d) Freq. F3.

Figura 6: Detalhes de uma clusterizacao do mapa Galileo com304 amostras iniciais em (a) para 200 amostras clusterizadasem (b), (c) e (d).

V. RESULTADOS

O esquema hıbrido proposto neste trabalho requer o pro-cessamento do mapa de iluminacao para gerar a iluminacaohıbrida que sera utilizada na renderizacao. Desenvolvemoso software Hybrid Sampling Machine (HSM) [8] para reali-zar o pre-processamento do mapa de iluminacao e gerar ailuminacao que sera utilizada pelo renderizador. Os experi-mentos foram executados no software PBRT [6].

Para trabalhar com mapas de pre-amostragem foi desen-volvido o plugin PRESAMP para o PBRT [6], que realizaamostragem por importancia a partir de um mapa de pre-amostragem. Com o plugin PRESAMP, mais os plugins doPBRT e possıvel implementar os diversos esquemas de amos-tragem descritos anteriormente, utilizando-os separadamenteou combinados. Realizamos comparacoes numericas utilizandoquatro estrategias de renderizacao:

• DL: Aproximacao do mapa de iluminacao por luzesdirecionais, atraves do metodo de Corte Mediano(MC) [2] e Amostragem com Mosaicos de Penrose(OS) [4];

• IS: Amostragem direta por importancia utilizando oplugin IS do PBRT [6];

• MPA: Amostragem direta por importancia utilizandomapas de pre-amostragem, obtidos com MC e OS,utilizando o plugin PRESAMP para PBRT [6];

• HIB: Metodo hıbrido. Separacao do mapa originale renderizacao utilizando luzes direcionais + amos-tragem por importancia direta ou mapas de pre-amostragem.

Na tabela I colocamos alguns dos resultados obtidos parao calculo de iluminacao direta pelos metodos tradicionais, depre-amostragem e o esquema hıbrido proposto. A partir deum conjunto maior de testes elaboramos o grafico da figura 7que mostra a relacao entre as tres abordagens mencionadasanteriormente. Na figura 7 e possıvel observar que o esquema

hıbrido tem um desempenho notavel para quantidades baixasde amostras. A figura 8 mostra dois resultados obtidos utili-zando amostragem por importancia (IS) e o Esquema Hıbrido(HIB), ambos com erro quadrado medio (MSE) proximos equalidade visual semelhantes porem tempos de renderizacaomuito diferentes. Na figura 10 mostramos detalhes da cenaapresentada na figura 8 (retangulos vermelhos) renderizadoscom alguns dos parametros da tabela I. Nesta figura e possıvelapreciar a diferenca de qualidade e os tempos de renderizacaopara diferentes parametros.

Tambem realizamos testes com integradores de iluminacaoglobal tais como photon mapping e path tracing. Obtivemosbons resultados com estes dois metodos e os mesmos podemser apreciados nas figuras 11 e 9. Na figura 11 podemosver alguns exemplos renderizados com photon mapping. Asfiguras 11a, 11b e 11c sao renderizacoes da mesma cenautilizando:

• Fig. 11a: amostragem direta por importancia com 64amostras por raio,

• Fig. 11b: 256 luzes direcionais geradas com o algo-ritmo de Corte Mediano,

• Fig. 11c: esquema hıbrido formado por 64 luzesdirecionais obtidas pelo algoritmo de Ostromoukhov eDonohue [4] realizando clusterizacao com frequenciaF2, mais um mapa de pre-amostragem do qual saoutilizada 64 amostras por raio.

As figuras 11d, 11e e 11f foram renderizadas com amostra-gem direta por importancia (IS) utilizando diferentes numerosde amostras. A figura 11i foi renderizada utilizando um con-junto de 256 luzes direcionais. Nas figuras 11g e 11h a cenafoi renderizada utilizando um esquema hıbrido e mudandosomente o numero de amostras para antialiasing. Observe queo exemplo iluminado com luzes direcionais nao apresentagranulosidade, mas apresenta sombras de contornos definidos.Por outro lado as imagens do esquema hıbrido apresentamsombras suaves e pouca granulosidade e um tempo inferior a50% das renderizacoes diretas de qualidade comparavel.

t

σ2

156.4 312.4 604.3 122569

0.052

0.008

Figura 7: Aproximacao por ajuste de curvas das funcoes deerro quadrado medio (MSE) euclidiano para alguns valores databela I. •: Amostragem por importancia com plugin IS; •:Amostragem por importancia de Mapas de pre-amostragem,plugin PRESAMP ; •: Metodo hıbrido utilizando mapas depre-amostragem + luzes direcionais.

Tabela I: Renderizacoes do modelo Killeroo com o mapa Galileo. A Imagem de referencia utilizada para o calculo do errofoi renderizada com IS no PBRT [6], com 32768 amostras. •: Amostragem por importancia (IS), •: Mapas de pre-amostragem(MPA), •: Esquema Hıbrido (HIB).

Metodos Tradicionais Mapas de pre-amostragem Esquema Hıbrido HIBFig. Tempo Euc.MSE IS MPA Area % Mapa A Mapa B

Seg. σ2 Amostras Metodo(Pre-Amostras):amostras Mapa A (Cl. Freq.) metodo DL :luzes metodos IS / MPA

10a 156.4 0.021705 32312.4 0.012404 64

10c 604.3 0.009375 1281225.0 0.008154 256129.0 0.025096 OS (1310) : 32255.0 0.011824 OS (1310) : 64511.4 0.009452 OS (1310) : 12891.8 0.013426 0.864 (F2) OS : 40 OS (360) : 8

122.7 0.009693 0.864 (F2) OS : 40 OS (360) : 16183.5 0.008793 0.864 (F2) OS : 40 OS (360) : 32

10e 151.0 0.009033 0.864 (F1) OS : 64 OS (360):1610g 214.2 0.008343 0.864 (F2) OS : 64 OS (360) : 3210i 492.3 0.007975 1.275 (F2) OS : 128 IS :64

(a) Amostragem por importancia IS, t = 604.3s, MSE = 0.009375. (b) Esquema Hıbrido HIB, t = 214.2s, MSE = 0.008343.

Figura 8: Renderizacao do modelo Killeroo com o mapa de iluminacao Galileo. Para um erro MSE equivalente o tempo derenderizacao do esquema hıbrido proposto e de aproximadamente 3 vezes inferior ao utilizado na renderizacao com amostragempor importancia.

Na figura 9 incluımos alguns resultados obtidos narenderizacao do modelo killeroo utilizando iluminacao globalcom path tracing. Nas figura 9a e 9c a renderizacao foi feitautilizando amostragem direta por importancia do mapa deiluminacao utilizando 256 e 512 amostras respectivamente.Nas figuras 9b e 9d foi utilizado um esquema hıbrido pararealizar a renderizacao utilizando luzes direcionais e mapasde pre-amostragem. As figuras 9e, 9f, 9g e 9h representamo erro quadrado medio (MSE) cometido na renderizacao dasfiguras 9a, 9b, 9c e 9d respectivamente. Para determinar o errofoi feita uma comparacao com um modelo de referencia ren-derizado com amostragem direta por importancia pelo metodode tracado de caminhos utilizando 32768 amostras por pixel. E

possıvel observar que para valores de erro semelhantes o tempode renderizacao do esquema hıbrido e de aproximadamente50% do tempo de renderizacao da amostragem direta.

VI. CONCLUSOES

O Esquema Hıbrido apresentado neste trabalho utiliza oalgoritmo de amostragem hierarquica por importancia, desen-volvido por Ostromoukhov e Donohue [4], e o algoritmo deamostragem por Corte Mediano, apresentado por Debevec [2],mas podem ser implementados outros algoritmos de amostra-gem.

Realizamos comparacoes dos metodos tradicionais, de

(a) T = 1293.2s; IS= 256 (b) T = 689.6s; HIB= 8x29,OS(F2):40 DL + OS(512):8 MPA

(c) T = 2529.4s; IS= 512 (d) T = 1259.3s; HIB= 8x63,OS(F2):40 DL + OS(360):8 MPA

(e) Erro MSE = 0.237848 (f) Erro MSE = 0.214314 (g) Erro MSE = 0.119027 (h) Erro MSE = 0.110049

Figura 9: Renderizacao do modelo Killeroo com o Mapa Galileo utilizando iluminacao global com path tracing.

geracao de luzes direcionais a partir da amostragem domapa, e amostragem direta por importancia, com diversasconfiguracoes do Esquema Hıbrido proposto. Em todas assituacoes o Esquema Hıbrido foi igual ou mais eficiente que astecnicas tradicionais apresentadas. O grau de eficiencia variacom a escolha dos parametros, o modelo de cena e o mapautilizado.

Para conseguir um Esquema Hıbrido eficiente tivemos quesuperar varios obstaculos, entre eles:

• Conseguir aproximacoes das regioes brilhantes domapa utilizando poucas luzes direcionais. Implemen-tamos um esquema de clusterizacao de amostras paraevitar o aglutinamento de amostras causado pelosmetodos de amostragem por importancia.

• Obter distribuicoes de amostras e luzes direcionaisna parametrizacao equiretangular, que fossem boas narepresentacao esferica do mapa. A estes efeitos imple-mentamos o calculo de celulas de Voronoi na esferapara delimitar as regioes do mapa que contribuiriamcom cada luz direcional.

Tambem incluımos no software ferramentas de estima-tiva de parametros, como o calculo automatico de limiar devariacao maxima, que permite separar o mapa de iluminacaode forma automatizada, e tem fornecido excelentes resultadosnas renderizacoes.

A proposta hıbrida fornece resultados eficientes parao calculo de iluminacao direta, reduzindo o tempo derenderizacao em ate 80% em certos casos. Tambem obtive-mos resultados significativos para os principais metodos deiluminacao global com eficiencia de ate 50% no tempo derenderizacao com o metodo de path tracing e ate 75% comphoton mapping. A fim de implementar eficientemente o algo-ritmo de path tracing, tivemos que reescrever o integrador paracomportar o Esquema Hıbrido. No caso de photon mappinga integracao e realizada aproveitando o integrador original doPBRT.

Em sıntese o Esquema Hıbrido fornece ao usuario, alem

da configuracao automatica, uma infinidade de possibilidadesde configuracoes, mantendo um bom desempenho tanto emrenderizacoes de iluminacao direta quanto em metodos deiluminacao global.

REFERENCIAS

[1] P. Debevec. Rendering synthetic objects into real scenes: bridgingtraditional and image-based graphics with global illumination and highdynamic range photography. SIGGRAPH, 1998.

[2] P. Debevec. A median cut algorithm for light probe sampling. SIG-GRAPH Poster, 2005.

[3] E. Fogel, O. Setter, and D. Halperin. Exact implementation of arran-gements of geodesic arcs on the sphere with applications. In Abstractsof 24th European Workshop on Computational Geometry, pages 83–86,2008.

[4] V. Ostromoukhov, C. Donohue, and P. Jodoin. Fast hierarchical im-portance sampling with blue noise properties. ACM Trans. Graph.,23(3):488–495, 2004.

[5] M. Pharr and G. Humphreys. Infinite area lightsource with importance sampling. Manuscript, 2004.http://www.pbrt.org/plugins/infinitesample.pdf.

[6] M. Pharr and G. Humphreys. Physically Based Rendering: From theoryto Implementation. Morgan Kaufmann Publishers, Burlington, USA, 2ndedition, 2010.

[7] L. Velho, J. Gomes, and M. Sobreiro. Color image quantization bypairwise clustering. SIBGRAPI, 1998.

[8] A. Zang. Hybrid sampling machine (HSM). Software. VISGRAF Lab -IMPA. http://www.impa.br/˜zang/hsm.

(a) Tempo = 156.4s; Metodo = IS (b) MSE = 0.021705

(c) Tempo = 604.3s; Metodo = IS (d) MSE = 0.009375

(e) Tempo = 151.0s; Metodo = HIB (f) MSE = 0.009033

(g) Tempo = 214.2s; Metodo = HIB (h) MSE = 0.008343

(i) Tempo = 492.3s; Metodo = HIB (j) MSE = 0.007975

Figura 10: Detalhes da renderizacao do modelo Killeroo com o Mapa Galileo, correspondentes a tabela I. Em todos os casosforam utilizados 4 raios por pixel para o anti-aliasing. Ao lado de cada detalhe colocamos uma imagem do erro utilizando ummapeamento logarıtmico.

(a) T = 946.6s; IS = 64 amostras. (b) T = 889.7s; DL= 256 luzes com CorteMediano (MC).

(c) T = 910.1s; HIB= OS(F2):64 luzes + 64amostras MPA.

(d) T = 525.9s; IS = 64 amostras. (e) T = 1379.4s; IS = 128 amostras. (f) T = 2129.6s; IS = 256 amostras.

(g) T = 530.9s; HIB = OS(F2):64 luzes + 64amostras MPA; 4a. antialiasing.

(h) T = 1080.6s; HIB = OS(F2):64 luzes +64 amostras MPA; 8a. antialiasing.

(i) T = 1016s; DL = 256 luzes com MC; 8a.antialiasing.

Figura 11: Renderizacao do modelo Sponza com o Mapa Galileo utilizando iluminacao global com photon mapping.