MODELOS PARA

ESTRUTURAR E AVALIAR

ALTERNATIVAS DE DECISÃO EM

TECNOLOGIA DA INFORMAÇÃO

Hideyuki MoritaTamio Shimizu

Fernando J.B. Laurindo

Hideyuki Mor itaDepto. de Engenharia de Produção da Escola Politécnica da USP. E-mail: morita@usp.br

Av. Prof. Almeida Prado, 128 Tr.2 Biênio 2° and. - 05508-900 – C. Universitária - São Paulo, SP

Tamio Shimizu

Depto. de Engenharia de Produção da Escola Politécnica da USP. E-mail: tshimiz@usp.brAv. Prof. Almeida Prado, 128 Tr.2 Biênio 2° and. - 05508-900 – C. Universitária - São Paulo, SP

Fernando José Barbin Laur indo

Depto. de Engenharia de Produção da Escola Politécnica da USP. E-mail: fjblau@usp.brAv. Prof. Almeida Prado, 128 Tr.2 Biênio 2° and. - 05508-900 – C. Universitária - São Paulo, SP

Área Temática: Pesquisa Operacional/Avaliação e Apo io à Tomada de Decisão

1

ABSTRACT:

The decision and analysis process in Information Technology (IT) problems involves many

concepts which are hard to define and measure due to the complex interaction among existing

factors. These characteristics of IT problems raise difficulties to establish a systematic decision

process, besides being a controversial issue. This work relates several decision support and decision

structuring models and proposes their application in IT decisions. The objective of the paper is to

present a broad vision of the universe of tools available and useful to IT decision making processes,

to discuss the most important methods and models, providing references to choose models to fit to a

specific case.

KEYWORDS: decision making, multi-objectives, Information Technology.

RESUMO:

O processo de análise e decisão em problemas de Tecnologia da Informação (TI) envolvem vários

componentes de difícil definição e mensuração pela complexidade da interação entre os fatores

existentes. Estas características do problema de TI dificultam o estabelecimento de um processo

decisório sistemático, tornando o assunto suscetível a discussões. O trabalho relaciona vários

modelos de modelos de estruturação e apoio à decisão e propõe sua aplicação em decisões relativas

à TI. O objetivo do trabalho é, pois, apresentar uma visão do universo das ferramentas existentes

aplicáveis nos processos de decisões de TI, discutir os principais métodos ou modelos, servindo de

referência a uma eventual seleção de modelos de maior adequação ou interesse a um caso

específico.

1. INTRODUÇÃO

A partir de entrevistas com executivos nos USA e Europa, Keen (1991) verificou que os

entrevistados mostraram uma clara percepção de que a TI está redefinindo a natureza da competição

entre as organizações, reconhecendo que TI é potencialmente um elemento-chave da

competitividade. Keen também afirma que estes mesmos executivos estão mal preparados, sem

bases sólidas, para analisar e tomar decisões sobre os problemas de TI - constatando que existe até

mesmo a recusa de alguns executivos em tratar problemas deste tipo (TI).

2

Alguns exemplos de problemas na área de TI mostram a diversidade e a abrangência da decisão:

- Desenvolvimento e manutenção de TI próprio ou externo (outsourcing / insourcing);

- Centralização Vs descentralização das atividades de TI;

- Seleção de tecnologias de P&D (Pesquisa e Desenvolvimento);

- Escolhas para implantação e substituição de plataformas hard/soft;

- Escolhas de sistemas (comunicação, SAD/DSS/EIS, produção, integrados, ...);

- Previsão de cenários do mercado e de TI;

- Downsizing, upsizing, reengenharia envolvendo TI;

- Custos Vs benefícios (CBA) de projetos, tecnologias e estratégias envolvendo TI;

- TI como fator preponderante na orientação da empresa; busca de estratégia de TI;

- Desenvolvimento do planejamento de TI;

- Alocação de recursos e projetos de TI e a avaliação dos riscos.

Segundo Farbey;Land:Targett (1995), embora existam diversos modelos que possibilitam a análise

e a compreensão da TI sob o enfoque estratégico, há problemas quanto ao processo decisório que se

segue à elaboração de uma estratégia de TI e sua conseqüente implementação.

Este trabalho visa apresentar um elenco de modelos para suporte à decisão que podem auxiliar na

estruturação dos problemas e na avaliação de alternativas relativas à TI.

A cada método corresponde um nome e um modelo – e cada modelo é aplicado como um método,

mesmo que faça parte de um outro método mais abrangente que envolva outros modelos. O método

está associado a “o que fazer” e “como fazer”, enquanto que o modelo está mais associado ao

conceito, à teoria. Neste trabalho, as palavras método e modelo serão utilizadas sem distinção.

Dadas as restrições de extensão para o artigo e face ao número de modelos considerados, as suas

explicações são necessariamente sumárias, sendo apenas citados alguns exemplos. Casos ou

exemplos ilustrativos não puderam ser colocados, devido à extensão e número das descrições dos

modelos. Além disso, constatou-se durante o levantamento bibliográfico que é raro o uso de

modelos para o auxílio à decisão em assuntos de TI – o que estimulou ainda mais a pesquisa para

este artigo, pois salientou esta lacuna em assunto tão relevante.

2. DECISÕES EM TECNOLOGIA DA INFORMAÇÃO

Normalmente a identificação ou a definição do problema de TI não é imediata. O número de

variáveis e de alternativas envolvidas usualmente é grande. McFarlan (1984) estabeleceu cinco

3

perguntas das quais se ao menos uma for respondida afirmativamente na empresa, a TI representaria

um recurso estratégico com a qual a cúpula da organização deveria dispensar atenção:

1. A tecnologia de SI-Sistemas de Informação pode dificultar a entrada de outros no negócio?

2. A tecnologia de SI pode criar um custo de troca de fornecedor?

3. A tecnologia pode alterar as bases da competição?

4. Os SI podem modificar o equilíbrio de poder na relação com os fornecedores?

5. A tecnologia de SI pode gerar novos produtos?

Laurindo (1995) estabelece um modelo geral pelo qual se obtém, com análise e discussão, um

conhecimento da organização em extensão e profundidade em termos de TI, que está baseado em:

- Os “estágios de informatização das empresas”, conforme Nolan;

- “Modelo do alinhamento estratégico”(Henderson, Venkatraman, Keen, Lewis, Luftman e Oldach);

- O “método dos fatores críticos de sucesso” proposto por Rockart;

- Os “estágios da informática descentralizada” de acordo com Donovan;

- “Razões para descentralização e o grau de descentralização”, analisando Buchanan e Linowes;

- Discussão sobre a “flexibilidade” e a sua aplicação na informática;

- “O nível de participação dos usuários”, analisado conforme Dias.

A gama de informações e enfoques obtidos a partir desse método é ampla e diversificada. Este

conhecimento resultante é, provavelmente, composto de várias questões paralelas e concorrentes

que não permitem os decisores tomarem a decisão final livre de conflitos. Goicoechea et al. (apud

Galves, 1995), definem conflito como uma propriedade de uma situação na qual não é possível

atingir simultaneamente todos os objetivos nos níveis desejados.

As estratégias são raramente claras como seria o esperado; as oportunidades de TI não são

adequadamente compreendidas; as partes da organização têm diferentes prioridades; e as estratégias

de TI podem, eventualmente, ser inconsistentes com o negócio.

Segundo Bensaou e Earl (1998), existe uma diferença fundamental entre o ocidente e os executivos

japoneses sobre o conceito e a abordagem de TI. Os japoneses não consideram a TI como sendo

fundamentalmente diferente de qualidade, de serviços ao consumidor ou do desenvolvimento de um

novo produto. Como a TI está totalmente integrada ao cenário da empresa, esta não precisa de uma

estratégia especial. As metas operacionais são os principais direcionadores dos investimentos de TI.

Os autores denominam esta política de “Estratégia por Instinto”, que corresponde ao enfoque de

“Alinhamento Estratégico” no ocidente para decidir sobre a TI.

4

3. CONCEITOS E TIPOS DE DECISÃO

Existem dois processos preliminares para descrever as decisões: processo normativo e processo

descritivo. O processo normativo, determina como os indivíduos devem decidir e o processo

descritivo prevê como as pessoas realmente decidem.

A decisão pode ser classificada por faixas de tempos (Fordyce e Sullivan, apud Norden, 1993) em:

estratégico (6 meses a 7 anos); operacional (meses até 2 anos); tático (dias a 6 meses) e despacho

(horas até algumas semanas). O autor enfatiza que existem sobreposições entre as faixas, mas

tipicamente as responsabilidades para cada faixa são para diferentes grupos de decisores.

Ansoff (1977) define a decisão estratégica como aquela que se preocupa principalmente com

problemas externos, ou com a empresa e o seu ambiente. As decisões administrativas preocupam-se

com a estruturação dos recursos da empresa de modo a criar possibilidades de execução visando os

melhores resultados. As decisões operacionais visam a maximizar a eficiência do processo de

conversão dos recursos, maximizar a rentabilidade das operações correntes. Embora distintas, todas

as decisões interagem entre si, são interdependentes e complementares.

Um processo de decisão pode assumir três dimensões: uma produtiva, que assegura a eficácia da

ação; uma cognitiva, pois o processo de decisão é fator de informação e de conhecimento; e uma

relacional, responsável pela natureza da organização das relações humanas dentro da empresa

(Moscarola apud Mazzilli, 1994).

Saaty (1994) afirma que muitos excelentes decisores não utilizam uma teoria para ajudá-los a

decidir. Ele indaga: “As suas boas decisões são acidentais, ou existem princípios lógicos que guiam

o raciocínio no processo de decisão? E estes princípios são completos e consistentes?”

No processo de tomada de decisões, existem vários enfoques sobre decisões empresariais

individuais ou em grupo. Ansoff (1977) afirma que as decisões estratégicas tendem a ser por grupo

e as operacionais individualizadas. Kusnic (1992) estabelece uma matriz que confronta a decisão

individual e a decisão de grupo e, a visão única com a múltipla. Warfield (1976) tem como

princípio, equilibrar entre quantidade e qualidade do desempenho mental do grupo em função da

quantidade de participantes. Gordon (1996) relaciona os fatores de decisão entre as decisões por

grupo e individual em uma matriz de múltiplos enfoques.

5

4. SELEÇÃO E ESTRUTURAÇÃO DE PROBLEMAS

O primeiro aspecto básico em problemas de decisão é a definição ou formulação do problema. É

possível que uma formulação inadequada do problema leve a um resultado que reduza a eficiência e

a eficácia, pois a formulação pode até definir o problema errado.

Simon (apud Ansoff, 1977) demonstrou que a solução de qualquer problema de decisão em

atividades empresariais, científicas ou artísticas podem ser visualizadas em 4 etapas: percepção da

necessidade de decisão ou oportunidade (descoberta); formulação de alternativas de ação; avaliação

das alternativas em termos de suas respectivas contribuições; escolha de uma ou mais alternativas

para fins de execução.

O responsável por estruturar um modelo de decisão na empresa está encarregado de (Luftman et al.,

1993, apud Norden, 1993): fazer as perguntas certas; detectar os elementos relevantes; identificar os

parâmetros significativos; determinar os relacionamentos significativos entre os elementos e

parâmetros selecionados; especular sobre o “tamanho certo” e a “formulação certa” do problema

(limites: decisões de inclusão e exclusão dos elementos e parâmetros); avaliar a característica

temporal do problema (ciclos de vida, duração, estabilidade e descontinuidades).

Nesta pesquisa modelos são separados em dois grupos. Na seção 4.1 estão agrupados os modelos

apropriados para a estruturação de problemas, que eventualmente podem chegar à avaliação das

alternativas. Na seção seguinte (4.2), os modelos mais adequados para avaliação de alternativas

serão pesquisados. Os modelos deste segundo grupo consideram os problemas já formulados ou são

fracos no auxílio à estruturação do problema. Portanto, este grupo pode requerer um trabalho prévio

de estruturação, que pode ser feita por algum modelo do primeiro grupo. Os modelos do segundo

grupo utilizam mais intensamente o cálculo matemático para chegar ao resultado da decisão.

4.1. MÉTODOS VOLTADOS À ESTRUTURAÇÃO DOS PROBLEMAS

4.1.1 MÉTODO Q-SORT

Morgado (1995) descreve a técnica Q-sort como um processo onde as pessoas modelam seu ponto

de vista sobre uma questão qualquer através da ordenação de um conjunto de declarações. Neste

método, as pessoas são apresentadas a um conjunto de cartões contendo declarações sobre algum

tópico. São então solicitadas a ordenar estes cartões ao longo de uma escala. As vantagens deste

método de classificação sobre os meios tradicionais de atribuição de notas às questões são: o

reduzido tempo necessário para responder ao questionário; a facilidade na troca de posições entre as

6

questões; a possibilidade de se repetir a classificação, bastando reagrupar os cartões; o método força

os participantes a considerar o problema como um todo, ao invés de questão a questão como na

técnica Delphi.

4.1.2. ISM – INTERPRETIVE STRUCTURAL MODELING

O criador deste método, Warfield (1994), define como um processo de aprendizado assistido por

computador que culmina com a formação de uma estrutura de um tema, problema, plano ou projeto.

Wright (1991) escreve que o ISM é uma metodologia que resulta em um modelo estrutural

hierarquizado, composto por elementos qualitativamente descritos e relacionados entre si.

O processo é conduzido por um “software” que “pergunta” aos decisores sobre os relacionamentos

entre pares de elementos. Após efetuar uma quantidade suficiente de perguntas sobre os pares, o

computador produz uma estrutura ou mapa de relacionamentos (grafo direcionado). O método ISM

no formato atual foi criado no início dos anos 70 (ver Warfield, 1976) para buscar soluções de

problemas sociais complexos.

Turoff (1996) destaca que o método ISM tem uma grande sensibilidade para a existência ou não de

uma particular ligação no grafo. Ele ressalta que é importante a incorporação da análise de

sensibilidade para qualquer resultado, do indivíduo ou grupo, para testar a faixa de validade.

Existem algumas variantes deste método como o FSM-Fuzzy Structural Modeling e o DEMATEL-

Decision Making Trial and Evaluation Laboratory. O primeiro utiliza valores difusos (fuzzy) no

lugar dos valores binários para as matrizes. Wright desenvolveu em 1991 um método utilizando

inferência lógica e indica um encaminhamento para o tratamento das preferências considerando as

nuances dos graus de relacionamentos por valores fuzzy. DEMATEL é um processo mais elaborado

e derivado do ISM. Neste processo, são considerados diversos níveis de relacionamento nas

preferências paritárias, podendo ainda controlar o volume de arcos orientados no grafo.

Na tese de Morgado (1995), os métodos Q-Sort e ISM são utilizados em fases para analisar as

“Questões-chaves no gerenciamento da tecnologia da informação no setor bancário brasileiro”.

4.1.3. MÉTODO DELPHI

Warfield (1994) descreve Delphi como um método de geração, esclarecimento, estruturação

(limitado) e contribuição de idéias. É utilizado para coletar e avaliar informações ou opiniões dos

especialistas a respeito de um tema. É um método onde os grupos não podem ou não devem manter

uma comunicação face-a-face. E como regra, é um método lento (1 a 12 meses; Greenberg e Baron,

7

1997, relata média de mais de 44 dias com casos de 5 meses), mas pode ser acelerado pelo uso de

meios de comunicação ou computadores.

O grupo monitor, de até 10 pessoas - liderado por uma delas, seleciona o grupo alvo e estrutura um

questionário que são distribuídos para 5 a 100 pessoas. A partir das respostas obtidas, pode existir a

necessidade de esclarecimento, aprofundamento das respostas ou modificação dos limites de

abrangência. Novos questionários são preparados e o processo continua até que a convergência dos

resultados seja obtida. As respostas são trabalhadas com fundamento estatístico. O processamento

no grupo monitor é sempre iterativo e freqüentemente impessoal, por painéis. O grupo monitor

prepara o relatório dos resultados e das conclusões da pesquisa pelo método Delphi para a próxima

etapa.

4.1.4. SODA - STRATEGIC OPTIONS DEVELOPMENT AND ANALYSIS

A metodologia SODA caracteriza-se por sua capacidade de lidar com fatores qualitativos, de

estruturar situações difíceis e no desenvolvimento de estratégias (Corrêa, 1996).

SODA é uma técnica de estruturação orientada à visão global e à resolução de problemas

complexos por parte de um pequeno grupo. As ferramentas básicas para a abordagem são os mapas

cognitivos e o COPE-Cognitive Policy Evaluation (software interativo de apoio à decisão de grupo

com representação gráfica para análises qualitativas). A estrutura geral dos mapas cognitivos

envolvem 3 conceitos: os que identificam os objetivos do mapa; os que assumem o papel de idéias-

chaves que direcionam o raciocínio do decisor e os que indicam as ações que podem ser tomadas.

Uma adaptação do Brainstorming é utilizado como técnica de estruturação do grupo para gerar e

analisar idéias, através de discussão e negociação. O método requer 2 facilitadores, o primeiro

atuante na fase de geração de idéias, com algum conhecimento do problema; e o segundo na

utilização do COPE para a construção dos mapas cognitivos (Mazzilli, 1994).

4.1.5. OUTROS MÉTODOS DE ESTRUTURAÇÃO DE PROBLEMAS

Soft Systems Methodology (SSM) é uma metodologia desenvolvida por Checkland (ver Yoshizaki,

1997; e Corrêa, 1996) que trabalha com o ambiente e o aprendizado para analisar problemas

complexos envolvendo um grupo. A discussão entre os stakeholders (interessados) busca o

equilíbrio de compromisso entre o ideal e o factível, procurando obter embasamento e adeptos para

a implementação das soluções.

Kitahara (1996) escreve que o precursor do conceito TOC (Teoria das Restrições) é Avraham Y.

Goldratt, através do seu livro A Meta (The Goal, 1984): TOC-Theory Of Constrains é uma filosofia,

8

um processo e uma técnica que procura conferir às pessoas e às organizações a habilidade de gerar

e disseminar soluções de bom senso. Na noção científica, a TOC parte do pressuposto que o

Universo obedece a uma ordenação intrínseca na qual muitos efeitos decorrem da mesma causa-

raiz. Portanto, na TOC, os efeitos indesejáveis à otimização dos sistemas são abordados em

conjunto, a partir do efeito-causa-efeito, construindo a solução lógica, prática e de boa

receptividade. Baseia-se no Princípio da Corrente onde menos de 1% dos elementos são

responsáveis por mais de 99% do resultado.

A concepção das reuniões Brainstorming foi atribuída a Osborne nos anos 50 segundo Warfield

(1994). São reuniões onde a criatividade de impulso é estimulada para ampliar o leque de opções ou

soluções. Para Mazzilli (1994), o Brainstorming tem como vantagens a ruptura da inércia cognitiva

e a redução do bloqueio mental, que decorre da falta de segurança pessoal que impede a expressão

espontânea de idéias. O Brainwriting, ou Ideawriting (segundo Warfield, 1994, idealizado por

Geschka no início dos anos 70), é um método adequado para gerar rapidamente idéias a respeito de

um tema. O Brainwriting é uma variante do Brainstorming, onde o processo é mais organizado e

passa por uma interação prévia dos participantes com o texto escrito. Este método viabiliza a

participação de maior número de pessoas.

A técnica NGT-Nominal Group Technique, criado por Delbecq et al., é adequado para geração de

idéias para formulação de questões sobre um problema. Freqüentemente é necessário neutralizar os

efeitos de indivíduos dominantes em pequenos grupos. O grupo é composto de 6 a 12 pessoas. É

necessário um líder treinado que tenha alguma experiência com o método. A média das sessões são

de 3 horas gerando aproximadamente 60 idéias (20 a 100). O método é mais elaborado que o

Ideawriting, e produz melhores resultados a um tempo maior (Warfield, 1994).

Options Field Method e Options Profile Method são métodos que foram criados por Warfield

(1994) no final da década de 70 e início de 80. Ambos utilizam os métodos NGT (ou outro método

de geração de idéias) para gerar os elementos relacionados e ISM para agrupamentos e associações

(várias aplicações do ISM); estes métodos são utilizados como componentes de forma a trabalhar

num contexto mais abrangente e detalhado.

O método Tradeoff Analysis Method foi criado por McDonald (Warfield, 1994) no início da década

de 80. É um processo de seleção de uma alternativa dentro de um conjunto não muito grande. Os

critérios de avaliações são previamente definidos. Do conjunto de alternativas, eliminam-se as

dominadas, aquelas que perdem ou empatam em todos os critérios com qualquer outra alternativa.

9

O primeiro par de alternativas são comparados com relação a cada critério, com diferenças

pontuadas na escala de 0 a 100; e vence a alternativa que tem total das diferenças maior. O

vencedor de um par é comparado com a próxima alternativa e assim sucessivamente até que todas

as alternativas tenham sido comparadas com pelo menos uma alternativa e sob todos os critérios.

Stepladder é uma técnica de reunião para decisão concebida por Rogelberg et al.(apud Greenberg e

Baron, 1997). A reunião começa com o mínimo de decisores, e o processo continua até que todos os

participantes apresentem individualmente as idéias e soluções independentes. A discussão geral e a

decisão só é feita com o conjunto de todos os membros.

A idéia básica do Método da Contestação é buscar uma alternativa que sobreviva (ou tenha melhor

desempenho) aos ataques, contestações e objeções.

Rosenhead, apud Corrêa (1996), relaciona seis métodos de estruturação de problemas (Problem

Structuring Methods): SODA, Escolha Estratégica, Análise de Robustez, Hipergame, Metagame e

Soft Systems Methodology (SSM). As abordagens SODA e SSM já foram comentadas, as demais

são resumos do trabalho de Corrêa (1996) utilizando a referência de Rosenhead.

A abordagem da Escolha Estratégica foi desenvolvida para auxiliar pessoas a enfrentar situações

difíceis que apresentam basicamente 3 características clássicas: complexidade, incerteza e conflito.

O método foi desenvolvido com base em observações feitas em trabalhos de pesquisa operacional e

ciências sociais sobre o comportamento dos decisores diante de decisões estratégicas, assim como

os principais dilemas por eles enfrentados nestas situações.

A Análise de Robustez é uma abordagem que se preocupa com a manutenção da flexibilidade da

decisão em situações de incerteza. A abordagem Hipergame e Metagame são procedimentos

interativos para tomada de decisão em situações de conflito.

4.2. MÉTODOS VOLTADOS À ANÁLISE DE ALTERNATIVAS

Enquanto a pesquisa operacional permanecer restrita a uma "caixa-de-ferramentas" do tipo

modelos/técnicas/soluções, não existe muita chance de que se possa passar a atuar em problemas

mais complexos, ou seja, sair de problemas de ordem tática e começar a auxiliar a resolução de

problemas estratégicos (Rosenhead apud Corrêa, 1996).

Até o início da década de 70, a pesquisa operacional estava ligado a um paradigma que levou a uma

aplicabilidade limitada dos métodos ortodoxos na resolução de problemas estratégicos nas

organizações e gerou, por conseqüência, o desenvolvimento de novas abordagens. Estas novas

10

abordagens soft, conforme a definição de Checkland, apud Corrêa (1996), adotam um paradigma

alternativo, caracterizado por:

1. Não-otimização, ou seja, a procura por soluções alternativas que são aceitáveis em diferentes

dimensões, sem necessidade de trocas (trade-off).

2. Necessidade reduzida de dados, alcançada através de uma grande integração entre dados

quantitativos e qualitativos com julgamentos subjetivos.

3. Simplicidade e transparência objetivando tornar claras as situações de conflito.

4. Consideração de que as pessoas são sujeitos ativos do processo decisório.

5. Criação de condições que propiciem um planejamento de baixo para cima (bottom-up).

6. Aceitação de incertezas, procurando deixar opções em aberto para garantir flexibilidade em

relação a eventos futuros.

A adoção deste novo paradigma criou condições para o desenvolvimento de diversas abordagens

soft para auxiliar o processo de tomada de decisão, entre eles as propostas de múltiplos critérios.

Segundo Vincke (1992), a principal dificuldade num problema multicritério está no fato que o

problema de programação matemática (no caso de múltiplos objetivos) é mal definido. Isto é: não

tem uma solução objetiva. Normalmente não existe uma ação que seja melhor que outra para todos

os critérios considerados simultaneamente. Portanto, o conceito de solução ótima não faz qualquer

sentido no contexto do multicritério. Analogamente, um problema de classificação resultará numa

solução objetiva somente se todos os critérios considerados produzirem a mesma classificação, o

que é uma situação excepcional.

Roy, apud Vincke (1992), salienta que “solucionar um problema de decisão multicritério não é,

portanto, achar uma verdade escondida (embora este seja o caso quando se trata de problema de

otimização clássica), mas auxiliar o decisor a conhecer os dados (freqüentemente complexos)

envolvidos no problema e caminhar em direção à solução... É inegável que parte da comunidade

científica ainda considera que o método de decisões multicritérios não são rigorosos. Vemos

também que em alguns dos métodos que tem sido propostos, muitos pesquisadores têm tentado

trazer os problemas de decisões multicritério de volta para o problema da matemática bem definida,

sob o risco de deformá-lo completamente”.

4.2.1. UT/MAUT – UTILITY THEORY / MUTIATTRIBUTE UTILITY THEORY

A Teoria da Utilidade (UT) ou a Teoria das Preferências, assume que um decisor deseja fazer uma

ação de escolha que gere o maior valor de satisfação (utilidade). A preferência do decisor perante o

11

risco é representada por uma função matemática chamada função de utilidade ou curva de

preferência. O valor esperado da função matemática é a média ponderada dos possíveis resultados

antecipados de uma particular ação, onde os pesos são as probabilidades. A função de utilidade

multi-atributo, multicritério ou multidimensional é a utilização de várias funções de utilidade para

avaliar a maior satisfação possível. O método é chamado de MVAF-Multiattribute Value Function

ou o MAUT – Multiple Attribute Utility Theory. Embora existam vários livros sobre MAUT,

Keeney e Raiffa (1976) é uma das principais referências da teoria da utilidade multicritério.

A teoria da utilidade, embora muito antiga e ainda muito utilizada, encontra críticos como Arrow

(1976). Ele afirma que não existe como associar a utilidade à distribuição de probabilidade de tal

forma que o comportamento seja descrito como sendo o indivíduo procurando maximizar a sua

expectativa de utilidade.

Os softwares disponíveis no mercado têm disponibilizado uma variante do método da teoria da

utilidade com nome de SMART- Simple Multi-Attribute Rating Technique desenvolvido por Ward

Edwards nos anos 80, baseando os julgamentos na própria escala original daquele critério para as

alternativas, quando estas existirem. O mesmo autor desenvolveu outros métodos como o SMARTS

e o SMARTER com algumas variações.

4.2.2. ELECTRE - ELIMINATION ET CHOIX TRADUISANT LA REALITÉ

O método ELECTRE aplica-se principalmente ao tratamento de alternativas discretas avaliadas

qualitativamente (Gobbetti, 1993). Este método possui 4 sub-métodos ou variantes. ELECTRE I e II

trabalham juntos como fases. O ELECTRE III (Lamsade apud Galves, 1995) levam em conta as

incertezas associadas aos atributos através de fuzzy. E o ELECTRE IV baseia-se neste mesmo

princípio, aplicando-se a problemas em que o decisor não deseja estimar pesos para os atributos.

Capros et al. (1988) aplicou os métodos ELECTRE para decisão de futuro incerto e concluiu que o

método é interessante para de problemas de planejamento de investimento de longo prazo de

grandes projetos.

PROMETHEE (Brans e Vincke, apud Vincke, 1992) Preference Ranking Organization METHod

for Enrichment Evaluations. Do mesmo modo que o ELECTRE, o PROMETHEE estabelece uma

estrutura de preferência entre alternativas discretas. E também resulta em ordenação em duas fases:

parcial e completa (Gobbetti, 1993). É possível encontrar material a respeito do PROMETHEE em

Gobbetti (1993) e Schärlig (apud Vincke, 1992). Este último descreve e aplica também outras

variações do método: QUALIFLEX e ORESTE.

12

Galves (1995) utiliza métodos de análise de decisões de múltiplos objetivos e conclui,

principalmente em relação ao método Electre, que: “De uma maneira geral, os métodos são de

difícil compreensão por parte dos avaliadores e, às vezes, de difícil utilização.”

4.2.3. AHP – ANALYTIC HIERARCHY PROCESS

O método AHP (MAH-Método de Análise Hierárquica) é um método multi-objetivo de apoio à

decisão criado por Saaty na década de 70 nos USA (Saaty, 1980). Este método tem sido empregado

para situações de: definição de prioridades, avaliação de custos e benefícios (CBA), alocação de

recursos, mensuração de desempenho (benchmarking), avaliação ou pesquisa de mercado,

determinação de requisitos, decisões estratégicas (Forward & Backward Planning), planejamento e

seqüenciação de atividades, previsão de cenários (forecasting), negociação e resolução de conflitos,

decisões e previsões políticas ou sociais, e análise de decisão sob risco.

A estruturação de um problema AHP começa na definição de um objetivo global(ou final) desejado.

A partir do objetivo principal, definem-se os sub-objetivos ou critérios numa estrutura de árvore,

onde o objetivo global é a raiz. À medida em que se afasta da raiz, temos fatores mais específicos e

os extremos (“as folhas”) representam os elementos de avaliação ou alternativas. Para cada grupo

de elementos de mesmo “pai”, deve ser feito todas as comparações por pares, que corresponde ao

preenchimento de uma matriz (MCP-Matriz de Comparações Paritárias) de mesma ordem do

número de elementos a serem comparados naquele grupo. O princípio básico do AHP é a geração

do vetor de prioridades pelo cálculo do maior autovetor direito da MCP, que são os coeficientes do

polinômio característico da MCP. Como o cálculo manual é difícil, utiliza-se uma das formas

aproximadas dado por Saaty (1980) ou um software de AHP.

Este método é atualmente um dos mais comentados e aplicados na prática das decisões multicritério

envolvendo complexidade e subjetividade. Um dos problemas apontados no AHP é a quantidade de

comparações paritárias necessárias que cresce muito rapidamente com o tamanho da matriz,

(n(n-1)/2)). Este problema foi trabalhado por Harker, apud Schmidt (1995), na técnica IPC-

Incomplete Pairwise Comparison que reduziu o número de comparações paritárias para até (n-1).

Dentre as críticas, a reversão de ordem (rank reversal) tem sido a mais polêmica. O efeito da

reversão de ordem é a alteração das alternativas dominantes em função da inclusão ou exclusão de

alternativas irrelevantes. A reversão de ordem é atribuída pelos pesquisadores como o “efeito

colateral” do cálculo que normaliza o vetor de prioridades. Em resposta a este problema, Saaty

criou o “modo ideal” de cálculo, que é indicado para quando se deseja apenas a melhor alternativa

ou quando existem alternativas com redundâncias.

13

Alguns autores classificam o AHP como uma variante do MAUT. Lootsma criou o MAHP-

Multiplicative AHP como uma variante do AHP e uma versão exponencial do SMART. O ANP-

Analytic Network Process de Saaty, é uma generalização do AHP onde um dos axiomas

(independência entre elementos) pode ser violado. Enquanto a estrutura hierárquica tem um

conceito de especificidade ou de dominância entre os níveis, no ANP podem existir ciclos fechados

onde não se identificam os níveis; trata-se de uma rede. Isto pode trazer outra dimensão e visão na

estruturação de problemas complexos.

Dois exemplos de utilização do AHP em TI: “Benchmarking de estratégias de tecnologia da

informação” de Laurindo; Shimizu (1998) e “Hierarchical structure of Intranet functions and their

relative importance: using the AHP for virtual organizations” de Kim (1998).

4.2.4. MACBETH

Segundo Bana (1995), um dos criadores do método do Macbeth (Measuring Attractiveness by a

Categorical Based Evaluation Technique) juntamente com Vansnisck, as principais técnicas de

construção de uma função de valor cardinal são muitas vezes criticadas na literatura da decisão e da

psicologia por se basearem em processos de diálogo analista / avaliador que requerem deste último

a elaboração de juízos de valor relativo entre dois pares de estímulos ou ações potenciais. Para

ultrapassar as dificuldades inerentes a este tipo de questões, propõe-se o uso de uma chave original

de entrada na modelação cardinal das preferências, que requer do avaliador a elaboração de juízos

absolutos de diferença de atratividade entre duas ações. A função-critério construída é obtida por

programação linear. O método fornece um indicador de inconsistência do conjunto de juízos

formulados e sugestões facilitando a sua eventual revisão.

O trabalho de Schmidt (1995) utiliza e compara os métodos AHP e MACBETH. A leitura daquele

trabalho, resulta em algumas impressões de fácil constatação. Este método faz parte do grupo de

métodos da “escola européia”, juntamente com outros do tipo Electre, Promethee e Uta. O processo

de estruturação do problema e de avaliação requer mais volume de informações de juízo do decisor

e é menos prático na aplicação relativamente ao AHP. O MACBETH, assim como no AHP, possui

indicadores de inconsistências entre os julgamentos e resulta numa classificação cardinal.

4.2.5. COMPROMISE PROGRAMMING

Compromise Programming ou Método da Distância ou Programação de Compromisso é uma

variação de um método desenvolvido por Yu e Zeleny, apud Goicoechea et al. (1982), em que se

busca uma solução que mais se aproxime geometricamente da solução na qual se tem os melhores

14

resultados possíveis em todos os critérios. Como, em geral, os critérios são concorrentes, torna-se

necessário buscar uma solução de compromisso. Na prática matemática da aplicação, significa a

necessidade de achar a solução dentro da região viável e que estabeleça a menor distância até a

solução ideal. Este método é aplicável às medidas tradicionais e também para medidas subjetivas. O

método aceita trabalhar com valores fuzzy, de forma a considerar as incertezas das medidas. No

trabalho de Galves (1995) pode ser encontrado um exemplo de aplicação com fuzzy.

4.2.6. DOWNSIZING DE SISTEMAS DE INFORMAÇÕES

Navarro (1994) criou um modelo específico de downsizing de SI-Sistemas de Informações

considerando sete alternativas de arquiteturas para empresas que têm opções de trabalho entre

mainframe e microcomputadores. A forma de ponderar os critérios (total 40), a pontuação das

alternativas para cada questão (total 28) e a utilização de pontuação das alternativas pelas tabelas

sugeridas pelo autor do método, faz com que exista uma forte influência desta forma de pontuação

na decisão. Por outro lado, a aplicação é mais prática (e mecânica) pelo fato do processo ser mais

direcionado e ser “semi-elaborado”. O problema mais importante é a falta de embasamento teórico

do modelo (apesar de utilizar muitas referências em TI, SI e downsizing), pois o autor não cita os

modelos de decisão existentes; que estão em estágio mais avançado que a proposta apresentada.

4.2.7. SISTEMAS ESPECIALISTAS

Para Norden (1993), os SE-Sistemas Especialistas têm tido êxito em gerar sistemas para avaliar

políticas ou planos de ações. Eles provaram também que são excelentes como ferramentas de

diagnóstico médico e manutenção de equipamentos. Têm também demonstrado que são bons para

aplicações de “help-desk” e análises de seguros ou empréstimos. Outras aplicações híbridas,

considerando fatores quantitativos e qualitativos, também são citadas.

Turban e Aronson (1998) relacionam as áreas de melhor aproveitamento do potencial dos SE como

um DSS. Mas, podemos especular sobre as características dos SE que podem dificultar também as

aplicações dos SE nas decisões de TI.

A primeira característica usual é a falta de repetitividade, isto é, os problemas de TI na organização

são normalmente diferentes, tornando mais difícil o uso de SE. Ansoff (1977) afirma que a natureza

das decisões possui muitas facetas e modifica-se continuamente.

A segunda característica freqüente é falta de especificação ou falta de estruturação dos problemas

estratégicos. Segundo Zwicker e Reinhard (1993), os SE têm baixa aplicabilidade nos problemas

mal estruturados, ao contrário do que se pensava no início dos SE. Entretanto, um SE é

15

freqüentemente utilizado como uma interface entre o usuário e o sistema de coleta de dados, entre

um método A e outro método B, ou no resultado processado por computador (relatório) e o usuário.

O terceiro aspecto são alguns resultados negativos obtidos: longo tempo, alto custo e baixa

satisfação do solicitante/usuário. Sviokla (1991) cita relatos e comenta que os SE são audaciosos em

seus objetivos e sutis em seus efeitos. Vincke (1992) relatou que embora tivesse pouca publicação

de aplicação de Inteligência Artificial em decisões multicritérios, era cada vez maior o número de

publicações e conferências, e cita o exemplo do método PRIAM.

4.2.8. MODELOS PARA DECISÕES ESTRATÉGICAS

Nos últimos, anos o interesse em desenvolver modelos de simulação comportamental com o uso de

idéias da Dinâmica dos Sistemas, de Forester, tem sido crescente (Dyson, 1990). Apenas alguns

modelos do livro organizado por Dyson (1990), de melhor aplicabilidade nas decisões envolvendo a

TI, estão comentadas a seguir.

O método TOWS (Treats, Opportunities, Weaknesses and Strengths ou FDOA) relaciona e analisa

os fatores internos (Forças e Debilidades) e ambientais (Oportunidades e Ameaças). Este método

tem semelhanças com os FCS-Fatores Críticos de Sucesso de Rockart (1979).

O modelo de Análise de Risco de Investimento de Capital lida fundamentalmente com informações

econômico-financeiras, principalmente ROI, associadas às curvas de probabilidades.

O modelo de Construção de Cenários parte do seguinte princípio: se as previsões são difíceis de

acertar, porque fazer apenas uma previsão?

O modelo de Avaliação de Investimento de Capital, que tem sido aplicado para justificar

investimentos em TI; foca basicamente o fluxo de caixa através da Engenharia Econômica. Ashford

et al. (Dyson, 1990, Ed.), afirma que a técnica tradicional de avaliação de investimento de capital às

novas tecnologias têm sido criticadas pelo seu viés em direção ao ganho de curto-prazo para o

favorecimento do status quo dos decisores. Mas eles concluem que o aparente viés do método são,

na absoluta maioria, devido a má aplicação da técnica.

O método AHP-Analytic Hierarchy Process no contexto de aplicação estratégica, possui uma

ferramenta específica: Forward e Backward Planning. O primeiro é o processo de obter a partir da

situação atual, a situação futura provável da empresa, considerando os atores (internos e externos),

as políticas da empresa e os possíveis cenários. Backward Planning, parte de um futuro desejado

para chegar na política ou perfil de atuação através da consideração dos cenários desejados,

16

problemas restritivos e atores envolvidos. Para que o processo tenha coerência, o futuro desejado

não deveria estar muito distante do provável. O processo pode ser iterativamente ajustado, segundo

Emshoff e Saaty (Dyson, 1990, Ed.).

5. SOFTWARES PARA MODELOS DE APOIO ÀS DECISÕES

Colher os dados representativos de um problema é um processo delicado, pois a prática tem

mostrado que a forma como uma questão é colocada tem grande influência no comportamento da

pessoa questionada. Até o momento, nenhuma metodologia adequada foi desenvolvida, mas os

softwares interativos e amigáveis podem ser úteis neste sentido (Vincke, 1992).

Bhargava et al. (1998) fazem um survey sobre os atributos desejáveis nos softwares de análise de

decisão segundo 3 categorias de usos: produção, educação e demonstração. A pesquisa revelou que

a educação tem grande interesse na capacidade do software em lidar com os modelos conceituais,

enquanto que a produção preferia expressar os julgamentos deixando os detalhes dos modelos para

o programa. A produção tinha interesse em representar um grande e complexo modelo que não só

resultasse numa decisão, mas também que permitisse a compreensão e a explicação da decisão.

Boa parte dos softwares misturam mais de um método. Na implementação os fabricantes criam

novos elementos e às vezes modificam o conceito original, criando uma variante do método. Por

outro lado, alguns fabricantes instalam recursos que facilitam a operação e a visualização do

processo, com análises de sensibilidade gráficas. Estes recursos conferem ao coordenador/operador,

maior poder de visão global e detalhada do processo. Esta questão tem dois lados. O primeiro é o

operador com melhor controle que permite que o processo tenha um resultado de boa qualidade. O

segundo aspecto é que este poder permite também, mais facilmente, conduzir ou manipular o

resultado fornecido pelo software.

6. CONCLUSÕES

A condução do processo têm grande importância na decisão, dado que envolve aspectos

comportamentais que podem ter forte efeito sobre os resultados. Steiner (1998) analisou e

demonstrou que os grupos beneficiários exercem diferentes influências sobre os decisores,

independentemente do seu nível hierárquico. Demonstrou que as características pessoais e

profissionais do indivíduo podem estar relacionadas com a preferência por uma alternativa.

Constatou que quase 50% das decisões do nível estratégico não eram coerentes com às políticas e

17

normas da empresa. Isto poderia indicar tanto a simples “desobediência” como a incapacidade das

normas e políticas estarem alinhadas com as necessidades do momento.

As decisões em problemas de TI sugerem requererem um profundo trabalho de análise do problema

(primeira e segunda etapas conforme Simon, apud Ansoff, 1977). Estas etapas podem ser

trabalhadas pelo modelo abrangente como o de Laurindo (1995). A avaliação e escolha (terceira e

quarta etapas de Simon) são os momentos onde empresa escolhe os caminhos. A utilização de

modelos de auxílio à decisão não garante decisões de qualidade, eficientes ou eficazes. Contudo, a

decisão através de um modelo estabelece um processo analítico que pode agregar mais confiança

nas decisões. Um eventual revés pode ser fruto do direcionamento das análises e da decisão

segundo os conceitos implícitos no modelo.

Na pesquisa dos modelos de decisão, encontraram-se poucos exemplos de aplicações para decisões

em problemas de TI, o que talvez seja explicado pela complexidade, má estruturação ou ineditismo

desses problemas. Muitas situações típicas de decisões em problemas de TI (como as relacionadas

no item 1 nem sempre têm encaminhamento trivial. Embora ainda não seja possível afirmar algo

sobre a extensão do “mau uso” dos modelos de decisão encontrados ao longo da pesquisa, há

indícios de pouco uso dos modelos para apoiar as decisões de TI. Podemos levantar algumas

possíveis hipóteses (que muitas vezes são utilizadas como “justificativas” pelos executivos de TI)

sobre o pouco uso de modelos formais de apoio à decisão:

1. Os modelos apropriados/existentes não estão bem difundidos entre os executivos de TI;

2. Os conceitos da TI são muito mais importantes e são suficientes para uma boa decisão;

3. Os modelos existentes não melhoram a qualidade ou a confiança nas decisões de TI;

4. O tempo na análise e discussão do assunto, ao invés de modelos, produz melhores resultados;

5. A utilização de modelos pode abrir ou levar o assunto a um fórum inadequado ou leigo;

6. Os modelos são de difícil aplicação em TI ou exige tempo e energia adicionais indisponíveis;

7. Os modelos podem “atrapalhar” na compreensão ou aceitação das melhores alternativas;

8. A utilização de um modelo pode causar um viés, pois conduz e orienta as análises;

9. Aspectos circunstanciais ou políticos podem ser mais importantes para a eficiência e eficácia

da decisão de TI do que os aspectos objetivos que os modelos pretendem buscar.

A verificação destas possíveis justificativas para o pouco uso dos modelos formais de apoio à

decisão seria tema para pesquisas posteriores, das quais eventualmente se poderiam tirar conclusões

mais abrangentes.

18

O baixo uso, por sua vez, pode ser um indicativo que o processo de decisão analítico de TI pode

contribuir para uma diferenciação de capacidade competitiva. Um processo de decisão estruturado

pode dar à TI condições mais consistentes e claras de decisão; ainda pode indicar a sua correta

dimensão, função e posição dentro da organização. Principalmente se forem considerados outros

fatores além dos aspectos meramente técnicos da TI.

BIBLIOGRAFIA

Ansoff, H.I. – Estratégia empresarial. McGraw Hill, 1977.

Arrow, K.J – Social choice and individual values. Wiley, 1976.

Bana e Costa, C.A. – Uma nova abordagem ao problema da construção de uma função de valor cardinal: MACBETH.Revista Investigação Operacional. V.15, 1995.

Bensaou, M. e Earl, M. – The right mind-set for managing Information Technology. HBR, set-out/1998.

Bhargava, H.; Herrick, C.L. e Sridhar, S. – Desirable features for decision analysis software. Site www, 1998.

Buchanan, J.R; Linowes, R.G. Understanding Distributed Data Processing. Harvard Business Review, v.58, n.4,p.143-153, July/Aug. 1980.

Buchanan, J.R; Linowes, R.G. Making Distributed Data Processing Work. Harvard Business Review, v.58, n.5, p.143-161, Sept./Oct. 1980.

Capros, P.; Papathanassiou, S. e Samouilids, J.E. - Multicriteria Analysis of energy supply decisions in an uncertainfuture. OMEGA, V.16, n.2, 1988.

Corrêa, E.C. – Construção de um modelo multicritério de apoio ao processo decisório. Dissertação (Mestrado), UFSC-Eng.Produção, 1996.

Dias, D.S. O Sistema de Informação e a Empresa. Rio de Janeiro, LTC - Livros Técnicos e Científicos Ed.,1985.

Donovan, J.J. Beyond Chief Information Officer To Network Manager. Harvard Business Review, v.66, n.5, p.134-140,Sept./Oct. 1988.

Dyson, R.G. – (Ed.) Strategic Planning: Models and analytical techniques. Wiley, 1990.

Farbey,B.;Land,F.F.; Targett, D. A taxonomy of information systems applications: the benefits evaluation ladder.European Journal of Information Systems, v.4, n.1, p.41-50, 1995.

Galves, M.L. – Condicionantes geotécnicos do traçado de rodovias: uma proposta metodológica de escolha baseada naanálise de decisões com objetivos múltiplos. Tese (Doutoramento), EPUSP, 1995.

Gobbetti, L.E.C. - Análise multiobjetivo aplicada ao planejamento de sistemas de recursos hídricos. Dissertação(Mestrado), EPUSP-Eng.Civil, 1993.

Gordon, J.R. - Organizational behavior. Prentice Hall, 5a.Ed. 1996.

Greenberg, J. e Baron, R.A. - Behavior in organizations - Prentice Hall, 6a.Ed., 1997.

Henderson, J.C.; Venkatraman, N. Strategic Alignment: Leveraging Information Technology For TransformingOrganizations. IBM Systems Journal. v.32, n.1, p.4-16, 1993.

Keen, P.G.W. – Shaping the future: business design through information technology. HBR Press, 1991.

Keeney, R. e Raiffa, H. – Decisions with multiple objectives: preferences and value tradeoffs. Wiley, 1976.

Kim, J. - Hierarchical structure of Intranet functions and their relative importance: using the AHP for virtualorganizations. Decision Support Systems, 23, 1998.

Kusnic, M.W. e Owen, D. – The unifying vision process: value beyond traditional decision analysis in multiple-decision-maker environments. Interfaces, V.22, n.6, 1992.

Laurindo, F.J.B. – Estudo sobre o impacto da estruturação da tecnologia da informação na organização e administraçãodas empresas. Dissertação (Mestrado), EPUSP-Eng.Produção, 1995.

Laurindo, F.J.B.; Shimizu, T. Benchmarking de Estratégias de Tecnologia da Informação. In: XVIII ENEGEP –Encontro Nacional da Engenharia da Produção E IV International Congress of Industrial Engineering, Anais.Setembro 1998, Niterói, RJ.

19

Luftman, J.N.; Lewis, P.R.; Oldach, S.H. – Transforming the enterprise: The alignment of business and informationtechnology strategies. IBM Systems Journal, V.32, n.1, 1993.

Mazzilli, C. – Sistemas interativos de apoio à decisão: um processo coletivo. Revista de Administração, São Paulo,V.29, n.3, jul/set 1994.

McFarlan F.W. – Information technology changes the way you compete. HBR, V.62, n.3, May/Jun-1984.

Morgado, E.M. - Questões-chaves no gerenciamento da tecnologia de informação no setor bancário brasileiro, Tese(Doutoramento), USP-FEA, 1995.

Navarro, P.L.K.G. – Downsizing de Sistemas de Informação. Ed. Campus, 1994.

Norden, P.V. – Quantitative techniques in strategic alignment. IBM Systems Journal, V.32, n.1, 1993.

Rockart, J.F. Chief Executives Define Their Own Data Needs. Harvard Business Review, v.57, n.2, p.81-92, Mar./Apr.1979.

Rogelberg, S.G., Barnes-Farrell, J.L., and Lowe, C.A. The stepladder technique: An alternative group structurefacilitating effective group decision making. Journal of Applied Psychology, 77, 1992.

Saaty, T.L. - The Analytic Hierarchy Process: Planning, priority, resource allocation. McGraw-Hill, 1980.

Saaty, T.L. - How to make a decision: the Analytic Hierarchy Process. Interfaces, V.24, n.6, 1994.

Schmidt, A.M.A. – Processo de apoio à tomada de decisão, abordagens : AHP e MACBETH. Dissertação (Mestrado),UFSC-Eng.Produção, 1995.

Steiner Neto, P.J. - A percepção dos resultados esperados pelos beneficiários como fator de influência no processodecisório. Tese (Doutoramento), USP-FEA, 1998.

Sviokla, J. - Implicações dos sistemas baseados em conhecimentos para as empresas. (Org.: Sprague, R.H. e Watson,H.J. - Sistema de Apoio à decisão: colocando a teoria em prática. Tradução do original Decision SupportSystems, 2a. ed., Prentice Hall, 1989) Ed.Campus, 1991.

Turban, E. e Aronson, J.E. – Decision Support Systems and Intelligent Systems. Prentice Hall, 5a. ed., 1998.

Turoff, M. - Reflections on Collaborative Model Building, Short paper para o Workshop W9 Strategies forCollaborative and Simulation at CSCW 96, Boston.

Vincke, P. – Multicriteria Decision-aid, Wiley, 1992.

Warfield, J.N. – A science of Generic Design: Managing complexity through systems design, Iowa State UniversityPress, 2a. ed., 1994.

Warfield, J.N. – Societal Systems – Planning, policy and complexity, Wiley, 1976.

Wright, J.T.C. – Uma contribuição à técnica de análise e estruturação de modelos (ISM) para o planejamento em grupo:Uma abordagem de inferência lógica. Tese (Doutoramento), USP-FEA, 1991.

Yoshizaki, H.T.Y. – Planejamento e projeto de bases de modelos quantitativos de auxílio à decisão. Tese(Doutoramento), EPUSP-Eng.Produção, 1997.

Zwicker, R. e Reinhard, N. – Sistemas especialistas: um hiato de aplicabilidade. Revista de Administração, São Paulo.V.28, n.4, out/dez 1993.