Modelos Estocasticos
-
Upload
daniel-mayol -
Category
Documents
-
view
61 -
download
1
Transcript of Modelos Estocasticos
-
5/22/2018 Modelos Estocasticos
1/62
Modelos Estocasticos
Javier Pereira1, Fernando Paredes2,
Macarena Donoso2
1Escuela de Ingeniera Informatica
Universidad Diego Portales2Escuela de Ingeniera Industrial
Universidad Diego Portales
Avenida Ejercito 441
Santiago
2010
-
5/22/2018 Modelos Estocasticos
2/62
2
-
5/22/2018 Modelos Estocasticos
3/62
Indice general
1. Revision de conceptos de probabilidades 41.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.1.1. Medida de probabilidad . . . . . . . . . . . . . . . . . . . 51.1.2. Probabilidad condicional . . . . . . . . . . . . . . . . . . . 61.1.3. Independencia . . . . . . . . . . . . . . . . . . . . . . . . 61.1.4. Teorema de Bayes . . . . . . . . . . . . . . . . . . . . . . 7
1.2. Variables aleatorias . . . . . . . . . . . . . . . . . . . . . . . . . . 71.2.1. Variables aleatorias discretas . . . . . . . . . . . . . . . . 81.2.2. Variables aleatorias continuas . . . . . . . . . . . . . . . . 81.2.3. Esperanza y momentos de una variable aleatoria . . . . . 9
1.3. Transformadas de una variable aleatoria . . . . . . . . . . . . . . 91.3.1. Transformadas . . . . . . . . . . . . . . . . . . . . . . . . 91.3.2. Transformadaz . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4. Expresiones para variables aleatorias . . . . . . . . . . . . . . . . 101.4.1. Probabilidad conjunta . . . . . . . . . . . . . . . . . . . . 10
Variables aleatorias discretas . . . . . . . . . . . . 10Variables aleatorias continuas . . . . . . . . . . . . 11Covarianza y coeficiente de correlacion . . . . . . . 11
1.4.2. Suma de dos variables aleatorias . . . . . . . . . . . . . . 111.5. Distribuciones de probabilidad . . . . . . . . . . . . . . . . . . . 12
1.5.1. Distribucion de Bernoulli . . . . . . . . . . . . . . . . . . 121.5.2. Distribucion Binomial . . . . . . . . . . . . . . . . . . . . 131.5.3. Distribucion Geometrica . . . . . . . . . . . . . . . . . . . 131.5.4. Distribucion de Pascal . . . . . . . . . . . . . . . . . . . . 141.5.5. Distribucion de Poisson . . . . . . . . . . . . . . . . . . . 141.5.6. Distribucion Exponencial . . . . . . . . . . . . . . . . . . 141.5.7. Distribucion de Erlang . . . . . . . . . . . . . . . . . . . . 151.5.8. Distribucion Normal . . . . . . . . . . . . . . . . . . . . . 15
2. Procesos Estocasticos 172.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182.2. Procesos estocasticos estacionarios . . . . . . . . . . . . . . . . . 19
2.2.1. Proceso estocastico estacionario en sentido estricto . . . . 192.2.2. Proceso estocastico estacionario en sentido amplio . . . . 19
1
-
5/22/2018 Modelos Estocasticos
4/62
2.3. Continuidad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192.4. Procesos de conteo . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.4.1. Proceso de Poisson . . . . . . . . . . . . . . . . . . . . . . 202.4.2. Distribucion Exponencial . . . . . . . . . . . . . . . . . . 20
3. Simulacion 223.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233.2. Proceso de Simulacion . . . . . . . . . . . . . . . . . . . . . . . . 233.3. Simulacion de Monte Carlo . . . . . . . . . . . . . . . . . . . . . 24
3.3.1. Generacion de numeros aleatorios . . . . . . . . . . . . . . 253.3.2. Numeros aleatorios con distribucion especfica . . . . . . . 25
Metodo de transformada inversa . . . . . . . . . . 25Distribucion normal . . . . . . . . . . . . . . . . . 26Distribucion chi-cuadrado . . . . . . . . . . . . . . 27
3.3.3. Ajuste de Distribuciones . . . . . . . . . . . . . . . . . . . 27T-test . . . . . . . . . . . . . . . . . . . . . . . . . 27Kolmogorov-Smirnov . . . . . . . . . . . . . . . . . 28
4. Modelos de Filas de Espera 304.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314.2. Modelo de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4.2.1. Modelo General: Nacimiento y Muerte . . . . . . . . . . . 314.2.2. Medidas de desempeno . . . . . . . . . . . . . . . . . . . . 32
4.3. (M/M/1 :DG//) . . . . . . . . . . . . . . . . . . . . . . . . 334.3.1. Determinacion den y n . . . . . . . . . . . . . . . . . . 334.3.2. Determinacion depn en funcion dep0 . . . . . . . . . . . 344.3.3. Medidas de desempeno . . . . . . . . . . . . . . . . . . . . 34
4.4. (M/M/1 :DG/N/
) . . . . . . . . . . . . . . . . . . . . . . . . 354.4.1. Determinacion den y n . . . . . . . . . . . . . . . . . . 354.4.2. Determinacion depn en funcion dep0 . . . . . . . . . . . 354.4.3. Medidas de desempeno . . . . . . . . . . . . . . . . . . . . 35
4.5. (M/M/c: DG//) . . . . . . . . . . . . . . . . . . . . . . . . 364.5.1. Determinacion den y n . . . . . . . . . . . . . . . . . . 364.5.2. Determinacion depn en funcion dep0 . . . . . . . . . . . 374.5.3. Medidas de desempeno . . . . . . . . . . . . . . . . . . . . 37
5. Procesos de Markov 385.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
5.1.1. Estructura de un proceso de Markov . . . . . . . . . . . . 415.1.2. Algunas aplicaciones de procesos de Markov de tiempo
discreto . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415.1.3. Algunas aplicaciones de procesos de Markov de tiempocontinuo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
5.1.4. Ejemplos . . . . . . . . . . . . . . . . . . . . . . . . . . . 435.2. Cadenas de Markov de tiempo discreto . . . . . . . . . . . . . . . 45
5.2.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . . . 45
2
-
5/22/2018 Modelos Estocasticos
5/62
5.2.2. Ecuaciones de Chapman-Kolmogorov . . . . . . . . . . . . 455.2.3. Teoremas de cadenas de Markov . . . . . . . . . . . . . . 47
Forma Canonica de una cadena absorbente . . . . . . . . 47Teorema de cadenas regulares . . . . . . . . . . . . . . . . 48Corolario (calculo del lmite de la probabilidad de estado ) 50
5.2.4. Tiempos de retorno . . . . . . . . . . . . . . . . . . . . . 525.3. Cadenas de Markov de tiempo continuo . . . . . . . . . . . . . . 53
5.3.1. Definicion . . . . . . . . . . . . . . . . . . . . . . . . . . . 535.3.2. Ecuacion de Chapman-Kolmogorov en tiempo contnuo . 545.3.3. Propiedad de falta de memoria . . . . . . . . . . . . . . . 545.3.4. Procesos estacionarios . . . . . . . . . . . . . . . . . . . . 55
5.4. Cadenas de Markov con recompensa . . . . . . . . . . . . . . . . 575.4.1. Proceso con recompensa . . . . . . . . . . . . . . . . . . . 575.4.2. Proceso de decision markoviano . . . . . . . . . . . . . . . 58
Bibliografa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3
-
5/22/2018 Modelos Estocasticos
6/62
Captulo 1
Revision de conceptos de
probabilidades
4
-
5/22/2018 Modelos Estocasticos
7/62
1.1. Introduccion
1.1.1. Medida de probabilidad
En la teora de probabilidades, un experimento es cualquier proceso de prue-ba y observacion. Un experimento con un resultado incierto es llamado unexperi-mento aleatorio. El conjunto de resultados posibles de un experimento aleatorioes llamado el espacio de muestra, denotado por . Cada resultado wi de unexperimento aleatorio es llamado un punto de muestra. Si el conjunto de losresultados de un espacio de muestra es numerable, entonces para n resultadosposibles se puede definir ={w1, w2, . . . , wn}.
Un evento es la ocurrencia de uno o varios de los resultados posibles deun experimento. Entonces, un evento es un subconjunto del espacio muestral.Por ejemplo, en el caso de un experimento del lanzamiento de un dado, losresultados posibles son representados por =
{1, 2, 3, 4, 5, 6
}, mientras que
un evento puede ser el conjunto E={2, 3, 5}. Si el experimento consiste en ellanzamiento de dos monedas al aire, cada una con resultado cara (C) y sello(S), se tiene ={(C, C), (C, S), (S, C), (S, S)}; el evento hay al menos unacara en el resultado queda representado por E={(C, C), (C, S), (S, C)}.
SeanA y B dos eventos definidos sobre . Entonces, usualmente se definenlos siguientes eventos:
A B, union de los puntos muestrales de los eventos A y B .A B, interseccion de los puntos muestrales de los eventos A y B .A B, puntos de A no contenidos en B .
SeaFuna familia de subconjuntos de con las propiedades siguientes:
1. F y F.2. Si A F, entonces A F, donde A es el complemento de A, i.e., A =
F A.3. F es cerrado frente a la union y la interseccion. Si A1, A2, . . . , Ak perte-
necen aF, entoncesk
i=1 Ai yk
i=1 Ai tambien estan en F.
El conjuntoFes llamado una-algebra. Una medida de probabilidad defini-da sobre una -algebraFde es una funcion que mapea elementos de F en elintervalo cerrado [0, 1]. De esta manera, la probabilidad de un evento AF serepresenta porP[A]. La medida de probabilidad satisface los siguientes axiomas
de Kolmogorov:1. 0P[A]1.2. P[] = 1.
5
-
5/22/2018 Modelos Estocasticos
8/62
3. Dados los conjuntos disjuntosA1, A2, . . . , AkF,
P[A1 A2 . . . An] = P[A1] + P[A2] + . . . + P[An].
La tripla (, F , P ) es llamada unespacio de probabilidad. Algunas propieda-des adicionales de una medida de probabilidad son las siguientes:
1. P[A] = 1 P[A].2. P[] = 0.3. Si AB, entonces P[A]P[B].4. Dados A y B cualesquiera,
P[A] = P[A B] + P[A B].5. Dados A y B cualesquiera,
P[A B] = P[A] + P[B] P[A B].
1.1.2. Probabilidad condicional
SeanA, BFdos eventos. La probabilidad condicional de A dado el eventoB, denotada como P[A|B], es definida por:
P[A|B] = P[A B]P[B]
.
Consideremos el ejemplo del lanzamiento de dos dados. Si A es el evento queel resultado es 7 yB el evento que el primer dado resulta 4. Entonces, se verificalo siguiente:
P[A|B] = P[{4, 3}]P[{4, 1}] + P[{4, 2}] + P[{4, 3}] + P[{4, 4}] + P[{4, 5}] + P[{4, 6}] ,
= 1/36
1/6 =
1
6.
1.1.3. Independencia
Dos eventos A y B se dicen independientes si P[A
|B ] = P[A]. De esto se
desprende:
P[A|B] = P[A]=
P[A]P[B]
P[B] ,
6
-
5/22/2018 Modelos Estocasticos
9/62
con lo cual es inmediato,
P[A B] = P[A]P[B]
1.1.4. Teorema de Bayes
Sea{A1, A2, . . . , An}una particion del espacio , es decir:
Ai, i= 1, . . . , n,Ai Aj =, i , j= 1, . . . , n , i=j ,A1 A2 . . . An= .
Entonces, si P[A]= 0, i= 1, . . . , n, la expresion
P[A] =ni=1
P[A|Ai]P[Ai]
se dice la probabilidad total de A. Ahora, suponiendo que el evento A hasucedido, pero no se conoce cual de los eventos Ak ocurrio
1. Entonces, la pro-babilidad de queAk ocurrio dado queA sucedio queda expresada por
P[Ak|A] = P[Ak A]ni=1 P[A|Ai]P[Ai]
.
Sabiendo queP[A|Ak] = P[Ak A]/P[Ak], se puede escribir
P[Ak|A] = P[A|Ak]P[Ak]ni=1
P[A|
Ai]P[A
i].
Esta es llamada laregla de Bayes. En esta formulaP[Ak] es llamadaprobabi-lidad a priori, mientras que P[Ak|A] es laprobabilidad a posteriori.
1.2. Variables aleatorias
Sea un experimento aleatorio con un espacio de muestra . Una variablealeatoria X es una funcion que mapea elementos en numeros realesx . As,
X: .SeaAx el conjunto de todos los elementos
tal que Xasigna el valor x, es
decir,
Ax={|X() = x}.1Dado que Ak pertenece a la particion de , uno y solo uno de los eventos ha sucedido.
7
-
5/22/2018 Modelos Estocasticos
10/62
Denotaremos porP[X= x] la probabilidad que la funcionXresulte en el valorx, es decir la probabilidad de Ax. Como ejemplo, si se considera el lanzamiento
de dos dados y definimos la variable aleatoria X :{suma de los resultados},entonces X= 5, es equivalente a:
A5 ={(1, 4), (2, 3), (3, 2), (4, 1)}.con lo cual P[X= 5] = 4/36.
Se define la funcion de distribucion acumuladacomo
FX(x) = P[Xx].Esta expresion denota la probabilidad de que la variable X tome algun valormenor o igual a x. Por sus siglas en ingles, esta funcion es usualmente llamadaCDF (cumulative distribution function).
1.2.1. Variables aleatorias discretas
Una variable aleatoria discreta es una variable aleatoria que puede tomar unnumero contable de valores. Se define apX(x) como la funcion de distribucionde masa (PMF, probability mass function, por sus siglas en ingles) mediante
pX(x) = P[X=x].
La CDF de una variable aleatoria discreta se define por
FX(x) =kx
P[X=k].
1.2.2. Variables aleatorias continuas
Una variable aleatoria continua es una variable aleatoria que puede tomarun numero no contable de valores posibles. Para toda variable aleatoria conti-nua Xexiste una funcion no negativa fX(x), llamada funcion de densidadde probabilidad, definida sobre (, ) tal que para cualquier conjunto devalores A se tiene
P(XA) =A
fX(x)dx.
La funcion de densidad de probabilidad, o PDF (probability distribution fun-ction), es definida por
fX(x) = dFX(x)dx
.
8
-
5/22/2018 Modelos Estocasticos
11/62
1.2.3. Esperanza y momentos de una variable aleatoria
SI Xes una variable aleatoria, se define la esperanzao media de X, E[X],como
E[X] = X=
i xipX(xi), si X es discreta,
xfX(x)dx, si Xes continua.
El momento n-esimo de una variable aleatoria Xse define como
E[Xn] = Xn =
i x
nipX(xi), si X es discreta,
xnfX(x)dx, si Xes continua.
De esta forma, el primer momento de una variable aleatoria corresponde a laesperanza.El n-esimo momento central, alrededor de la media, es definido por
E[(X X)n] = (X X)n =
i(xi X)npX(xi), si X es discreta,(x X)nfX(x)dx, si Xes continua.
Se ve claramente que el momento central con n = 2 corresponde a la varianza,denotada por 2X .
1.3. Transformadas de una variable aleatoria
1.3.1. Transformada s
Sea Xuna variable aleatoria continua que toma solo valores no negativos.Se define la transformada s de fX(x), denotada por MX(s), como
MX(s) = E[esX ] =
0
esxfX(x)dx
Una propiedad importante de esta transformada es la siguiente:
d
dsMX(s) =
d
ds
0
esxfX(x)dx
=
0
xesxfX(x)dx,
con lo cual se tiene que s = 0 implica
d
dsMX(s= 0) =E[X].
9
-
5/22/2018 Modelos Estocasticos
12/62
En general,
dndsn
MX(s= 0) = (1)nE[Xn].
1.3.2. Transformada z
SeaXuna variable aleatoria discreta que toma solo valores no negativos. Sedefine la transformada z de pX(x), denotada porGX(z), como
GX(z) = E[zX ] =
x=0
zxpX(x).
Una propiedad importante de esta transformada es la siguiente:
ddz
GX(z) = d
dz
0
zxpX(x)
=0
xzx1pX(x),
con lo cual se tiene que z = 1 implica
d
dzGX(z = 1) =E[X].
En general,
E[Xn] = dndzn
GX(z = 1) + dn1dzn1
GX(z= 1) + . . . + ddz
GX(z= 1).
1.4. Expresiones para variables aleatorias
1.4.1. Probabilidad conjunta
Variables aleatorias discretas Sean X e Y variables aleatorias discretas,entonces se define la PMF conjunta como
pXY(x, y) = P[X= x, Y =y].
Esto implica que las expresiones marginales se obtienen como
pX(x) =y
pXY(x, y),
pY(y) =x
pXY(x, y).
10
-
5/22/2018 Modelos Estocasticos
13/62
Si X e Yson variables aleatorias independientes, entonces
pXY(x, y) = pX(x)pY(y).
Variables aleatorias continuas Sean X e Y variables aleatorias discretas,entonces se define la PDF conjunta como
fXY(x, y) = 2
xyFXY(x, y).
Las expresiones marginales se obtienen como
fX(x) =
fXY(x, y)dy,
fY(y) =
fXY(x, y)dx.
Si X e Yson variables aleatorias independientes, entonces
fXY(x, y) = fX(x)fY(y).
Covarianza y coeficiente de correlacion Sean X e Y dos variables alea-torias con esperanzas E[X] = X y E[Y] = Y , respectivamente, y varianzas2X y
2Y , respectivamente. Se define la covarianza de X e Y, denotado por
Cov(X, Y) = XY como
Cov(X, Y) = E[(X X)(Y Y)],= E[XY ] XY.
Si X eY son independientes, E[XY ] = E[X]E[Y] con lo cual C ov(X, Y) = 0.Se define el coeficiente de correlacion deX e Y por
XY = XYXY
.
1.4.2. Suma de dos variables aleatorias
SeaXe Ydos variables aleatorias continuas independientes. DefinamosS=X+ Y, como la suma de las variables aleatorias tales que el siguiente conjuntoD puede ser considerado:
D = {(x, y)|x + ys},= {(x, y)|xs y}.
As, consideremos la CDF de S como la expresion
11
-
5/22/2018 Modelos Estocasticos
14/62
FS(s) = P[X+ Y s] = P[Xs y] =
sy
fXY(x, y)dxdy,
=
sy
fX(x)dx
fY(y)dy,
=
FX(s y)fY(y)dy.
La PDF de esta expresion se puede obtener como
fS(s) = d
dsFS(s) =
d
ds
FX(s y)fY(y)dy,
=
d
ds FX(s y)fY(y)dy,
=
fX(s y)fY(y)dy.
Esta ultima expresion es conocida como la integral de convoluciony se denotapor
fS(s) = fX(s) fY(s).Eb general, si Ses la suma de n variables aleatorias independientes X1, X2, . . . , X n,
con PDFs fXi(x), i= 1, . . . , n, se tiene
fS(s) = fX1(s)
fX2(s) . . .
fXn(s).
1.5. Distribuciones de probabilidad
1.5.1. Distribucion de Bernoulli
Una prueba de Bernoulli es un experimento que tiene dos resultados posibles,los cuales se denominanexito yfracaso. La probabilidad de exito se denota por
p, con lo cual la probabilidad de fracaso es denotada por (1p). Sea X unavariable aleatoria representando los dos resultados posibles, tal que X = 1cuando el resultado esexitoyX= 0 si el resultado es fracaso. Se tiene entonces
pX(x) =
1 p, si x = 0,
p, si x = 1.
FX(x) =
0, si x
-
5/22/2018 Modelos Estocasticos
15/62
Ademas, se verifica
E[X] = p,
2X = p(1 p),GX(z) = 1 p + zp.
1.5.2. Distribucion Binomial
Supongamos que se desarrollann experimentos de Bernoulli independientes,cada uno con probabilidad de exito p, y X(n) es una variable aleatoria represen-tando el numero de exitos en esos experimentos. Entonces, X(n) es una variablealeatoria Binomial con parametros (n, p). Se tiene entonces
pX(n)(x) =n
x
px(1 p)nx x= 0, 1, 2, . . . , n .
FX(n)(x) = P[X(n)x] =x
k=0
n
k
pk(1 p)nk (1.1)
Ademas, se verifica
E[X(n)] = np,
2X(n) = np(1 p),GX(n)(z) = (zp + 1 p)n.
1.5.3. Distribucion Geometrica
Supongamos que se desarrolla una serie de experimentos de Bernoulli inde-pendientes, hasta que ocurre el primer exito. Sea X la variable aleatoria repre-sentando el numero de pruebas de Bernoulli hasta el primer exito. Entonces, Xes una variable aleatoria Geometrica con parametro (p). Se tiene entonces
pX(x) = px(1 p)x1 x= 1, 2, . . . .
FX(x) = P[Xx] = 1 (1 p)x (1.2)Ademas, se verifica
E[X] = 1/p,
2X = 2 p
p2 ,
GX(z) = zp
1 z(1 p) .
13
-
5/22/2018 Modelos Estocasticos
16/62
1.5.4. Distribucion de Pascal
Supongamos que se desarrolla n experimentos de Bernoulli independientes.Sea Xk la variable aleatoria representando el numero de pruebas de Bernoullihasta el k-esimo exito. Entonces, Xk es una variable aleatoria de Pascal conparametro (n,k,p). Se tiene entonces
pXk(x) =
n 1k 1
pk(1 p)nk k= 1, 2, . . . ; n= k, k+ 1, . . . .
FXk(x) = P[Xkx] =x
n=k
n 1k 1
pk(1 p)nk (1.3)
Ademas, se verifica
E[Xk] = k/p,
2Xk = k(1 p)
p2 ,
GXk(z) = zp
1 z(1 p)k
.
1.5.5. Distribucion de Poisson
Una variable aleatoria discreta Xes llamada variable aleatoria de Poissoncon parametro si su PMF y CMF son definidas por
pX(x) =
x
x!e
k= 0, 1, 2, . . . .
FX(x) = P[Xx] =x
k=0
k
k!e (1.4)
Ademas, se verifica
E[X] = ,
2X = ,
GX(z) = e(z1).
1.5.6. Distribucion Exponencial
Una variable aleatoria continuaXes llamada variable aleatoria exponencialcon parametro si su PDF y CDF son definidas por
fX(x) =
ex, x0,0, x < 0.
14
-
5/22/2018 Modelos Estocasticos
17/62
FX(x) = P[X
x] = 1
ex (1.5)
Ademas, se verifica
E[X] = 1/,
2X = 1/2,
MX(s) =
s + .
1.5.7. Distribucion de Erlang
La distribucion de Erlang es una generalizacion de la distribucion exponen-cial. Una variable aleatoria continua exponencial es usualmente utilizada para
representar el intervalo de tiempo entre dos eventos sucesivos. Una variable alea-toria continua de Erlang representa el intervalo de tiempo entre un evento y elk-esimo evento siguiente. Una variable aleatoria Xk se dice variable aleatoria deErlang dek-esimo orden con parametro si su PDF y CDF son definidas por
fX(x) =
kxk1ex
(k1)! , x0,0, x
-
5/22/2018 Modelos Estocasticos
18/62
fX(x) = 1
2e
x2
2
< x T) = eT, (2.3)
o equivalentemente, P(t T) = 1eT. Esta probabilidad es exactamentela CDF de la funcion exponencial representada por f(T) = eT. De estaforma, el proceso estocastico de conteo Poisson tiene asociado un proceso es-tocastico de tiempo de ocurrencia del evento. El valor esperado y la varianza det bajo la distribucion exponencial son expresadas por E(t) = 1
y V(t) = 1
2 ,respectivamente.
Las siguientes propiedades son interesantes en esta distribucion, cuando seconsidera los modelos de filas de espera:
20
-
5/22/2018 Modelos Estocasticos
23/62
1. Dados 0t1t2 yt0, se tiene
P(t1 < t < t1+ t)> P(t2 < t < t2+ t) (2.4)
2. Falta de memoria:
P(t > r+ t|t >t) = P(t >t,t > r+ t)P(t >t) ,
= P(t > r+ t)
P(t >t) ,
= e(r+t)
et ,
= er,
= P(t > r).
3. Sean t1, t2, . . . , tn variables aleatorias exponenciales independientes, conparametros 1, 2, . . . , n, respectivamente. Sea M la variable aleatoriaque expresa el mnimo de los valores de lasn variables exponenciales:
M= mn{t1, t2, . . . , tn}.
Entonces,
P(M > t) = P(t1
> t, t2
> t, . . . , tn
> t),
= P(t1 > t)P(t2 > t) . . . P (tn> t),
= e1te2t . . . ent,
= exp
ni=1
it
,
es decir, M es una variable aleatoria con distribucion exponencial deparametro =
ni=1 i.
21
-
5/22/2018 Modelos Estocasticos
24/62
Captulo 3
Simulacion
22
-
5/22/2018 Modelos Estocasticos
25/62
3.1. Introduccion
3.2. Proceso de Simulacion
La simulacion es el proceso por el cual se imita el comportamiento de unsistema para estudiar la interaccion entre sus componentes y las relaciones causa-efecto que comparten. En general, un proceso de simulacion corresponde a lassiguientes etapas:
Definicion del problema:
En esta etapa se identifica y formula el problema de investigacion, se es-tablecen los objetivos del analisis y se planifica el proceso de simulaciony analisis de los resultados. La simulacion puede tener un proposito ex-plicativo o prescriptivo. Se dice que el proposito es descriptivo cuando el
analista busca conocer las tendencias del comportamiento del sistema fren-te a distintos escenarios. Se dice que el propsito es prescriptivo cuando elanalista desea conocer la respuesta del sistema en un momento especficodel tiempo.
Comprension de datos
En esta etapa se identifica las variables que sirven para representar lascomponentes del sistema simulado y sus interacciones. Las variables pue-den ser clasificadas como:
exogenas, actuan solo como causas en las interacciones en las queparticipan.
endogenas, actuan como efectos en las interacciones en las que par-
ticipan.
Para las variables exogenas hay dos estrategias basicas para obtener datosque caracterizan su comportamiento: uso de datos recolectados median-te un metodo estadstico (muestreo o censo) o analtico (ej., ecuacionesdiferenciales), y generacion de datos mediante un proceso de generacionestocastico.
En el primer caso, el comportamiento de una variable puede ser dichodeterminstico, mientras que en el segundo caso se puede decir estocastico.
Preparacion de datos
En esta etapa, las variables son preparadas formateadas, escaladas, codifi-
cadas y/o transformadas para que las componentes y relaciones entre ellaspuedan ser simuladas consistentemente.
Modelamiento
En esta etapa se establecen las relaciones entre las variables identificadasy se construye un modelo simulable. Un modelo simulable es aquel donde
23
-
5/22/2018 Modelos Estocasticos
26/62
las relaciones causa-efecto, los mecanismos de cambio de estado de todaslas variables del modelo, y los eventos que los gatillan, son definidos, deter-
minista o estocasticamente. El primer estado de una variable del modelose dice estado inicial. El ultimo estado que una variable alcanza en unmodelo simulado se diceestado final.
Simulacion
La simulacion consiste en el desarrollo de los eventos que gatillan los cam-bios de estado de todas las variables del modelo simulable, desde el estadoinicial hasta el alcance del estado final de cada una de ellas. Si el desarro-llo de los eventos ocurre a intervalos regulares de tiempo, la simulacion sedice de intervalo regular. Caso contrarios, se dice simulaci on por eventos.
El modelo simulable debe ser validado para garantizar que las variablesque representan el sistema y las relaciones entre ellas han sido correcta-
mente definidos. Esto se realiza usualmente mediante la definicion de casosde prueba a traves de los cuales comportamientos conocidos del sistemasimulado pueden ser reproducidos. De lo contrario, el modelo debe serajustado.
Analisis y evaluacion de resultados
Los resultados de la simulacion de un modelo validado pueden ser ana-lizados para identificar el comportamiento del sistema bajo diferentes si-tuaciones, es decir, estados iniciales de las variables. El conjunto de valo-res iniciales de las variables del modelo es denominado una configuracininicial, y constituyen un escenario. El proceso de la simulacion permiteconocer la respuesta del sistema bajo distintos escenarios. La evaluaci onde los resultados de la simulacion es el metodo por el cual un analista es-
tablece una relacion causa-efecto entre le escenario o configuracion inicialy los resultados. Usualmente la evaluacion se reporta usando metricas querepresentan el comportamiento del sistema frente a los escenarios.
Implementacion
La etapa de implementacion considera el uso del modelo en un ambientedonde cumple el proposito para el que fue definido.
3.3. Simulacion de Monte Carlo
Se dice que una simulacion es de Monte Carlo cuando las variables exogenasadoptan valores mediante un proceso de generacion de numeros aleatorios. En
este caso, la generacion supone la identificacion de una funcion de densidad deprobabilidad asociada a cada variable exogena. Por esta razon una simulacionde Monte Carlo es denominada tambien simulacion estadstica. En general, elMetodo de Monte Carlo es cualquier tecnica que utiliza la generacion de numerosaleatorios para obtener soluciones de problemas determinsticos.
24
-
5/22/2018 Modelos Estocasticos
27/62
3.3.1. Generacion de numeros aleatorios
Un aspecto fundamental de la simulacion de Monte Carlo es el uso de ungenerador de numeros aleatorios, un procedimiento para producir secuenciasde numeros de acuerdo a una distribucion de probabilidad. Esto significa quela distribucion de frecuencias de la serie de numeros producidos satisface laspropiedades de la distribucion de seleccionada. Salvo que se indique lo contrario,un numero aleatorio es una observacion producida a partir de una distribucionuniforme. Si la distribucion es discreta, los numeros aleatorios son enteros, delo contrario, se produce numeros aleatorios reales.
Cuando se considera numeros aleatorios enteros pertenecientes a una secuen-cian1, n2, . . . , np, la probabilidad pj de la observacion nj esta dada por:
pj = 1
np n1+ 1 . (3.1)
En el caso de numeros aleatorios uniformes en el intervalo [a, b], la distribucionde probabilidad queda expresada como:
pj =
1ba si axb0 si no.
(3.2)
El metodo congruencial mixto es un procedimiento que genera una secuenciade numeros aleatorios enteros xn en un intervalo [0, m 1], usando la ecuacionrecurrente:
xn= (axn1+ c)(mod m), (3.3)
donde a, c y m son parametros tales que (a < m) y (c < m). El metodo congruen-cial multiplicativo supone c = 0, mientras que el metodo congruencial aditivoa= 1 y c = xn1 (o algun valor anterior axn). El valor inicial de la secuencia esun numerox0, denominado semilla, que puede ser elegido desde una tabla comola Rand. En cualquiera de estos casos, el procedimiento genera numerospseudo-aleatorios. Notese que este procedimiento implica xn {0, 1, 2, . . . , m 1}. Porlo tanto, m es el numero de valores diferentes que se pueden obtener con elprocedimiento. Si se quiere generar numeros aleatorios en un computador, sepuede elegir m = 2b, dondeb representa el numero de bits del procesador.
Si se desea generar numeros aleatorios uniformesyn, una regla usual a aplicares la siguiente:
yn=xn+
12
m . (3.4)
3.3.2. Numeros aleatorios con distribucion especfica
Metodo de transformada inversa Sea X una variable aleatoria para lacual se desea generar observaciones. Conociendo que F(x) = P(X x) es lafuncion de distribucion acumulada, se puede detallar el metodo de transformadainversa como:
25
-
5/22/2018 Modelos Estocasticos
28/62
1. Generar numero aleatorio uniforme r[0, 1].
2. Establecer F(x) = r y despejar x.
Por ejemplo, en el caso de la distribuci on exponencial f(x) =ex(x0), setiene que F(x) = 1 ex. Entonces, haciendoF(x) = r es facil obtener
x= ln(1 r)
. (3.5)
El teorema siguiente establece las condiciones por las cuales el metodo des-crito es aplicable.
Teorema 1. SeaXuna variable aleatoria continua cuya funcion de distribucionacumuladaFes continua, tal que la inversaF1 existe. SiU = F(X) es unavariable con distribucion uniforme en el intervalo(0, 1), entoncesX= F1(U)
sigue la distribucionF.Demostracion. Puesto que F es invertible se tiene F1(u)x. Enseguida,
P r(F1(u)x) = P r(UF(X)), (3.6)ya que F es monotona creciente. Luego, sabiendo que P r(U y) = y, seconcluye
P r(F1(u)x) = F(X). (3.7)
Distribucion normal El teorema central del lmite senala que la suma de
n numeros aleatorios uniformes sigue una distribucion normal aproximada conmedian/2 y desviacion estandar
n/12. Entonces, si se genera numeros aleato-
rios uniformes r1, r2, . . . , rn, se puede obtener una observacion x que sigue unadistribucion normal aproximada con media y desviacion estandar mediantela formula
x=
n/12
ni=1
ri+ n2
n/12. (3.8)
Cuandon = 12
x=
n
i=1ri n
2
+ . (3.9)
26
-
5/22/2018 Modelos Estocasticos
29/62
Distribucion chi-cuadrado Se sabe que la variable aleatoriaY definida co-mo una suma de los cuadrados de n variables aleatorias xi distribuidas normal-
mente sigue una distribucion chi-cuadrado. Entonces, para generar valoresy deYbasta usar la formula
y=
ni=1
x2i , (3.10)
y generar los valores xi mediante las ecuaciones (3.8) o (3.9).
3.3.3. Ajuste de Distribuciones
T-test Supongamos una muestra aleatoria iid X1, X2, . . . , X n, de n valores,asociada a una funcion de distribucion desconocida, F(x).
El testto t-testde Student es un tipo de prueba que se utiliza para determi-
nar la cercana entre las medias de dos poblaciones de datos. Existen distintasversiones para el test (muestras independientes, mismo o diferente tamano, va-rianzas iguales o diferentes, etc.). En el caso que se quiera determinar si la mediade una muestra es significativamente similar a la media de una poblacion, se uti-liza el siguiente estadstico, distribuido como t-student:
t=X S/
n
, (3.11)
donde X es la media de la muestra, la media poblacional, S la desviacionestandar de la muestra y n el tamano de la muestra. Entonces, se realiza lasiguiente prueba:
H0 : X=
H1 : X=
Por las caractersticas de la prueba, y la forma de la distribucion t-student, estaes una prueba dicha de dos colas.
Dada una muestra de datos, y una media poblacional conocida, la hipotesisse acepta al nivel de significancia, conn 1 grados de libertad, si la siguientecondicion se cumple:
t/2tt/2, (3.12)indicando la caracterstica de simetra de la distribucion t-student.
Si la desviacion estandar de la poblacion es conocida, se puede usar el testz, que considera que el estadstico de error se distribuye como una variablealeatoria normal estandarN(0, 1):
z=X /
n
. (3.13)
27
-
5/22/2018 Modelos Estocasticos
30/62
En ese caso, la prueba es la misma, y la hipotesis se acepta al nivel designificancia si la siguiente condicion se cumple:
z/2zz/2, (3.14)donde el valor de z/2 se obtiene de tabla. Este test funciona bien cuando elnumero de datos de la muestra es grande, a diferencia del t-test, adaptado amuestras pequenas. En efecto, este ultimo se dice un test no parametrico, muyutil cuando se dispone de pocos datos, pero donde se conoce que estos provienende una distribucion normal.
Como ejemplo, considere que se tiene una muestra aleatoria de datos:
X={25,8, 24,2, 22,7, 18,8, 25,7, 22, 6, 20,0, 12,1, 15,2, 6,1}.Suponga que los datos se distribuyen normalmente y que la media poblacional
es = 15,0.1. calcule el valort;
2. identifique en tabla el valor crtico t/2, a un 95 % (http://en.wikipedia.org/),con 10 grados de libertad;
3. determine el intervalo de confianza para la media poblacional;
4. si se conociera la media poblacional, identifique cual es el intervalo quedebiese contener la media muestral para que el 95 % de las veces esa mediafuese significativamente cercana a la media de la poblacion;
5. en el caso anterior, modifique los datos originales hasta encontrar un in-tervalo que no contenga la media muestral.
Kolmogorov-Smirnov Supongamos una muestra aleatoria iid X1, X2, . . . , X n,de n, asociada a una funcion de distribucion desconocida, F(x). Sea S(x) lafuncion de distribucion emprica basada en la muestra aleatoria, y F(x) unafuncion de distribucion hipotetica, completamente especificada.
Se defineS(x) como la funcion de distribucion emprica que aproximaF(x),la cual queda determinada por:
S(x) = 1
n
ni=1
Ixix, (3.15)
dondeIxix es el numero de elementosxi de la muestra inferiores o iguales ax.Se define el estadstico,
D=supx|F(x) S(x)|
n , (3.16)
donde se realiza la siguiente prueba:
28
-
5/22/2018 Modelos Estocasticos
31/62
H0 : F(x) = F(x) x (3.17)H1 : F(x)=F(x) x
Si D excede el valor de tabla Dt, al nivel y n grados de libertad, se dice quela hipotesisH0 se rechaza al nivel de significancia .
Como ejemplo, considere que se tiene una muestra aleatoria de datos X1 =0,621, X2 = 0,503, X3 = 0,203, X4 = 0,477, X5 = 0,710, X6 = 0,581, X7 =0,329, X8 = 0,480, X9 = 0,554, X10 = 0,382. La hipotesis indica que estos sedistribuyen uniformemente. Usar el test de KS de una muestra para validar laafirmacion:
1. grafique la funcion de distribucion acumulada teorica (F(x));
2. grafique la funcion de distribucion emprica (S(x));
3. determineD;
4. identifiqueDt (usando tabla), al nivel = 0,05;
5. indique si H0 se rechaza o acepta.
29
-
5/22/2018 Modelos Estocasticos
32/62
Captulo 4
Modelos de Filas de Espera
30
-
5/22/2018 Modelos Estocasticos
33/62
4.1. Introduccion
Los modelos de filas de espera se identifican mediante la notacion de Kendall[5], la cual propone que un modelo se describa por la nomenclatura siguiente:
(a/b/c) : (d/e/f),
donde
a: distribucion de tiempo de llegada
b: distribucion de tiempo de servicio
c: numero de servidores en paralelo
d: disciplina de servicio
e: numero maximo de tems permitidos en la fila
f: tamano de la fuente de llegada
Por ejemplo, un modelo para el cual las tasas de llegada y de servicio son de tipoPoisson, o Markovianas, con un servidor, con esquema de servicio cualquiera, sinrestriccion del numero de tems, y fuente infinita, queda descrito por M/M/1 :DG//.
4.2. Modelo de Poisson
Los modelos de tipo Poisson se caracterizan por tasas de llegada y de servicio
Poisson, es decir, tiempo entre llegadas y tiempo de servicio exponenciales.En las secciones siguientes presentamos el modelo general de los sistemas conprocesos estocasticos de Poisson, y modelos para casos particulares, usualmenteencontrados en la literatura [3, 5, 6].
4.2.1. Modelo General: Nacimiento y Muerte
Supongamos un sistema que ha alcanzado el estado estable, es decir, el pro-ceso estocastico se mantiene en estado estacionario donde las variables repre-sentativas del modelo son estables. En otras palabras, es posible suponer que losmomentos de primer y segundo orden del modelo, en cualquiera de sus variablesaleatorias, pueden ser estimados de manera robusta. Esto significa tambien quela distribucion de probabilidad asociada a un tipo de variable (por ejemplo la
llegada) no cambia en el tiempo.El ob jetivo del modelo que se presenta aqu abajo es encontrar las represen-
taciones generales de las variables de desempeno del sistema de la fila de esperay el servicio.
Sea,
31
-
5/22/2018 Modelos Estocasticos
34/62
n, numero de tems en el sistema (fila y servicio);
n, tasa de llegada (nacimiento) de los tems;
n, tasa de salida o servicio (muerte);
pn, probabilidad de estado estable de que haya n tems en el sistema.
En estado estable, los flujos de ingreso y salida del sistema deben igualarse.Entonces, para que el sistema se estabilice enn tems, debe suceder
n1pn1+ n+1pn+1 = (n+ n)pn n= 1, 2, . . . . (4.1)
es decir, las tasas esperadas de llegada desde los estados n 1 y n+ 1 debenser iguales a las tasas esperadas de salida desde el estado n. En otras palabras,debe mantenerse el equilibrio de flujos.
Cuandon = 0, se tiene
1p1 = 0p0. (4.2)
Entonces,
p1 = (01
)p0. (4.3)
Para n = 1,
0p0+ 2p2 = (1+ 1)p1, (4.4)
con lo cual es facil comprobar que
p2 = ( 0121)p0, (4.5)
y por induccion se verifica
pn= (n1n2 . . . 0
nn1 . . . 1)p0 n= 1, 2, . . . . (4.6)
Sabiendo que
n=0pn= 1, se determina el valor de p0.
4.2.2. Medidas de desempeno
Supongase que hay c servidores que trabajan en paralelo y que sirven unafila unica. Las medidas de desempeno de tal sistema se definen como:
Ls, numero esperado de tems en el sistema (fila y servicio);
Lq, numero esperado de tems en la fila;
Ws, tiempo esperado de tems en el sistema (fila y servicio);
Wq, tiempo esperado de tems en la fila;
32
-
5/22/2018 Modelos Estocasticos
35/62
Es facil ver las relaciones siguientes
Ls =n=0
npn (4.7)
Lq =n=c
(n c)pn (4.8)
La llamada formula de Little que relaciona el numero de tems y el tiempode espera es la siguiente:
Ls = efWs (4.9)
Lq = efWq. (4.10)
dondeefse define como la tasa de llegada efectiva. Supongase que el numerode tems en el sistema es limitado. Entonces, cada vez que el sistema alcanzael valor N, la tasa de llegada real disminuye. efse interpreta como la tasa dellegada cuando ese lmite puede ser alcanzado. As,
= ef+ perdidos. (4.11)
Claramente, si el sistema tiene capacidad infinita, = ef. Por otro lado, setiene la siguiente relacion entre los tiempos esperados
Ws= Wq+1
, (4.12)
Multiplicando ambos lados de la ecuacion por ef, se deduce
Ls= Lq+ef
, (4.13)
Notese que perdidos = pN, es decir, la tasa de perdida depende de laprobabilidad del sistema de alcanzar N tems.
4.3. (M/M/1 :DG//)4.3.1. Determinacion de n y n
En este modelo la tasa de llegada y de servicio es independiente del numero
de tems en el sistema. El estado estable supone tambien que el proceso es-tocastico de llegada y salida es estable. Entonces, se verifica n = y n =para todo n. Adicionalmente, no existe lmite para el numero de tems en elsistema por lo cual ef =.
33
-
5/22/2018 Modelos Estocasticos
36/62
4.3.2. Determinacion de pn en funcion de p0
Definiendo = , se verifica
pn= np0 n= 0, 1, 2, . . . . (4.14)
El valor de p0 se obtiene sabiendo que
p0(1 + + 2 + . . .) = 1. (4.15)
Si
-
5/22/2018 Modelos Estocasticos
37/62
4.4. (M/M/1 :DG/N/)En este modelo, el numero de tems en el sistema esta limitado a N. Uti-
lizando un procedimiento similar al anterior se puede obtener los resultadosindicados a continuacion.
4.4.1. Determinacion de n y n
Cuando el sistema llega a su lmite, la tasa de llegada se ve limitada, noas la tasa de servicio.
n=
si n = 0, . . . , N 1,0 si n > N 1, (4.27)
n= si n0. (4.28)4.4.2. Determinacion de pn en funcion de p0
Revisando la expresion para pn de la ecuacion (4.6), se puede ver que
pn=
np0 si nN,0 si n > N,
(4.29)
Mediante la ecuacion (4.29) y teniendo presente el lmite de tems en elsistema, se puede escribir
p0(1 + + 2 + . . . + N) = 1, (4.30)
lo que conduce a
p0 =
11N+1 si = 1,1
N+1 si = 1,(4.31)
de manera que se obtiene
pn=
(1)n
1N+1 si = 1,1
N+1 si = 1,n= 0, . . . , N (4.32)
4.4.3. Medidas de desempeno
Cuando el sistema llega a N tems, la esperanza de perdida de tems que
llegan desde la fuente es perdidos= pN. Esto implica
ef= perdidos= (1 pN) (4.33)Luego, se puede determinar Ls cuando = 1:
35
-
5/22/2018 Modelos Estocasticos
38/62
Ls =Nn=0
npn (4.34)
= (1 )
1 N+1Nn=0
nn (4.35)
= (1 )
1 N+1 d
d
Nn=0
n (4.36)
= (1 )
1 N+1 d
d
1 N+1
1
(4.37)
= 1 (N+ 1)N + N N+1
(1 )(1 N+1) . (4.38)
entonces,
Ls=
(1(N+1)N+NN+1)
(1)(1N+1) = 1,
N2 = 1.
(4.39)
El resto de las medidas se determina usando las ecuaciones de la secci on4.2.2.
4.5. (M/M/c: DG//)Supongase que hay c servidores que trabajan en paralelo y que sirven una
fila unica. El numero de tems en la fila es ilimitado, lo mismo que la fuente dellegadas.
4.5.1. Determinacion de n y n
Dado que no hay lmite en la fila, no existen tems perdidos por lo cual latasa de llegada iguala la tasa efectiva, es decir, ef =. Ademas, si la tasa deservicio en cada servidor es, entonces a tasa maxima de servicio decservidoresesta dada por c. Existe una situacion especial cuando el numero de tems aservir es inferior al numero de servidores. Entonces,
n = (4.40)
n =
n n < c
c nc (4.41)
36
-
5/22/2018 Modelos Estocasticos
39/62
4.5.2. Determinacion de pn en funcion de p0
Usando la ecuacion (4.6), se puede ver que:
pn =
n
(Q
ni=1i)
p0 n < cn
(c)(nc)(Q
ci=1i)
p0 nc (4.42)
=
n
(n!n)p0 = n
n!p0 n < cn
c!c(c)(nc)p0 =
n
c!c(nc)p0 nc
Para determinar p0 se sabe que
n=0pn = 1. Entonces, suponiendo quec
-
5/22/2018 Modelos Estocasticos
40/62
Captulo 5
Procesos de Markov
38
-
5/22/2018 Modelos Estocasticos
41/62
5.1. Introduccion
La teora de probabilidad moderna estudia los procesos aleatorios donde elconocimiento de resultados previos influye en las predicciones para experimentosfuturos. A inicios del 1900, Andrei A. Markov propuso el estudio de experimentossecuenciales, donde las predicciones de los resultados de experimentos futurosfueran condicionados por los resultados de experimentos pasados. Estos fueronllamados experimentos secuenciales. Posteriormente, Norbert Wiener y AndreiKolmogorov dieron forma a la teora que se conoce comocadenas de Markov.
Se dice que el proceso estocastico definido por las distribuciones de transiciones unproceso de Markov de primer ordensi la relacion (5.2) es satisfecha.Si el estado futuro depende del estado actual y del estado precedente, el procesoes llamado de segundo orden, y as sucesivamente. En general, diremos que lamatrizP = (pij) (i, j = 1, . . .), es la matriz de transicion homogenea, es decir,las probabilidades de transicion son independientes del tiempo.
Ejemplo 1. Consideremos un modelo basico para aproximar las caractersticasde un medio de comunicacion de datos en una red de estaciones comunicandopor va inal ambrica. El modelo supone dos estados:
e1: medio esta ocupado,
e2: medio esta desocupado.
Luego, existe un proceso estocastico por el cual el medio cambia de estado. Sietrepresenta el estado del medio en el tiempo t, se dice que hay unatransicion deun pasocuando el medio esta en el estadoe(t+1) en el tiempot +1. Denotaremosporpij la probabilidad siguiente:
pij =P(et+1 = ej|et = ei) i, j {1, 2}, (5.1)es decir, la probabilidad de ir del estado ei al estado ej en un paso, o bien enun intervalo de tiempo. En general, se supondra que:
pij = P(et+1 = ej|et= ei, et1 = ei1 , et2 = ei2 , et3 = ei3 , . . .). (5.2)O sea, la probabilidad de transicion de llegar al estado ej en el tiempo t+ 1,en un paso, depende solo del estado del medio en el tiempo t. En este caso, elproceso se dice sin memoria cumpliendo lapropiedad de Markov.
En el ejemplo, seaP la matriz de transicion de estados, en un paso, definidade la siguiente manera:
P =
p11 p12p21 p22
, (5.3)
donde, j
pij = 1, pij0. (5.4)
39
-
5/22/2018 Modelos Estocasticos
42/62
Notese que cada fila implica una distribucion de probabilidades, y se supondra quelas distribuciones entre filas son independientes. Sea qit la probabilidad que el
medio este en el estado i en el tiempo t. Entonces,i
qit= 1, qi,t0 (5.5)
Si se deseara simular las transiciones de estado del medio se podra proceder dela siguiente manera:
1. Inicio
2. t= 0: definir el estado inicial del medio, usando la informacionq10 yq20.
3. t > 0: Para cada t
a) determinar el siguiente estado a visitar;b) mover el medio al estado a visitar;
4. Fin
Para determinar el estado a visitar, se puede usar la informacion de la distri-bucion de probabilidad del estado inicial de la transicion, generando la CFD yenseguida determinar la inversa, como usual. Dado que en este caso se tienendistribuciones discretas, es necesario definir los intervalos en el rango[0, 1] quedescriben cada estado a visitar. El estado inicial del sistema, se podra generaraleatoriamente, usandoq10 yq20.
Una cadena de Markov es un caso especial de proceso de Markov donde
el espacio de estados es discreto y se ha especificado la matriz P y las probabi-lidades inicialesqit. Los estadosei(i= 1, 2, . . .) forman un conjunto enumerable(finito o infinito). Segun que el espacio de estados o el tiempo de un procesosean continuos o discretos, se puede distinguir los siguientes tipos de procesosde Markov (ver Cuadro 5.1):
Cadena de Markov de tiempo discreto (o cadena de Markov de estado ytiempo discretos).
Cadena de Markov de tiempo continuo.
Proceso de Markov de tiempo discreto.
Proceso de Markov de tiempo continuo.
40
-
5/22/2018 Modelos Estocasticos
43/62
Cuadro 5.1: Tipos de procesos de Markov
Espacio de estadosDiscreto Continuo
Tiempo Discreto CM de tiempo discreto PM de tiempo discreto
Continuo CM de tiempo continuo PM de tiempo continuo
5.1.1. Estructura de un proceso de Markov
Un proceso de salto es un proceso estocastico que hace transiciones entreestados discretos en tiempos fijos o aleatorios. En esos procesos, el sistema entraen un estado, permanece un tiempo llamado el tiempo de espera y luego saltaa otro estado, etc. Si los tiempos de salto son discretos, el proceso es llamadocadena de salto.
Hay dos tipos de proceso de salto: puro y explosivo. En un proceso explosivo,el proceso hace infinitos saltos en un intervalo finito de tiempo. En un procesopuro, el proceso hace un numero finito de saltos en un intervalo de tiempo. Silos tiempos de espera de un proceso de salto de tiempo continuo se distribuyenexponencialmente, el proceso es llamado proceso de salto de Markov. Este tipode proceso es una cadena de Markov de tiempo continuo si el tiempo de esperadepende solo del estado actual. Si los tiempos de espera de un proceso de saltode tiempo discreto son geometricamente distribuidos, el proceso es llamadoca-dena de salto de Markov. Notese que para el caso de transiciones que ocurrena intervalos regulares (das, semanas, meses, etc.), una cadena de Markov no esuna cadena de salto de Markov.
No todos los sistemas fsicos pueden ser modelados por procesos de salto. Enesos casos, el espacio de estados y el tiempo son continuos. Un ejemplo de ello
es el movimiento Browniano, descrito por primera vez por el botanico RobertBrown en 1828, quien observo que las partculas de polen suspendidas en unfluido se movan de una manera irregular.
5.1.2. Algunas aplicaciones de procesos de Markov de tiem-
po discreto
Los procesos de Markov han sido aplicados a diversos problemas. Aqu sepresentan algunos bien conocidos.
Proceso de ramificacion
Considerese un sistema que consiste inicialmente de un conjunto finito deelementos. A medida que el tiempo pasa, cada elemento puede desaparecer
independientemente con probabilidadp0 o producirk otros elementos conprobabilidadpk(k = 1, 2, . . .. El comportamiento de los nuevos elementoses igual al de sus padres. Sea Xn el tamano de la poblacion despues de nde estos eventos. El proceso {Xn|n0} es una cadena de Markov llamadaproceso de ramificacion.
41
-
5/22/2018 Modelos Estocasticos
44/62
Los proceso de ramificacion se usan en diferentes dominios de la ciencia yla ingeniera: crecimiento de poblacion, expansion de una epidemia, fision
nuclear.
Movilidad social
En sociologa se ha usado cadenas de Markov para determinar como lasclases sociales de padre, abuelo, etc., afectan la clase social de los hijos.Esto esta basado en el hecho que las personas pueden ser clasificadas entres niveles: clase alta, clase media, clase baja. Cuando las probabilidadescondicionales son conocidas, se pueden usar para representar las transicio-nes entre clases de las generaciones sucesivas en una familia, modelandola movilidad social como una cadena de Markov.
Proceso de decision de Markov
Un proceso de decision de Markov se usa para modelar sistemas dinami-cos inciertos cuyos estados cambian con el tiempo. En tales sistemas, eltomador de decision debe tomar una decision en el tiempo, con resultadosinciertos. Cada accion tomada por el decisor puede generar una recompen-sa o un costo. El objetivo es encontrar una secuencia optima de accionesque le permitan al decisor obtener la maxima recompensa esperada en unintervalo de tiempo, finito o infinito.
5.1.3. Algunas aplicaciones de procesos de Markov de tiem-
po continuo
Aplicaciones de procesos de Markov en tiempo continuo ya han sido identi-ficadas anteriormente en este libro. Aqu presentamos casos usuales.
Sistemas de filas
Como hemos visto, los sistemas de filas pueden encontrarse en multiplesaplicaciones. En general, un sistema de filas consiste de una fila y unconjunto de servidores. Cuando la llegada de los elemento a la fila sigueuna distribucion de Poisson, y los servidores tienen un tiempo de serviciodistribuido exponencialmente, el numero de elementos se comporta comouna cadena de Markov.
Inventario
Supongamos una bodega donde se controla el inventario de cierto tipode producto mediante un mecanismo de reposicion, el cual opera por lanecesidad de responder a la demanda. Sea c la capacidad (en unidades) de
la bodega, In el numero de unidades de producto en el tiempo n y dn lademanda de unidades en el mismo perodo. El administrador de la bodegaha definido un modelo de reposicion que se aplica cada perodo: si el nivelde inventario desciende mas abajo de un nivel permitido m, se pide lacantidad necesaria para llegar hasta el nivel c, de lo contrario se reponela cantidad demandada en el perodo. La variable siguiente representa el
42
-
5/22/2018 Modelos Estocasticos
45/62
comportamiento del numero de unidades de producto en inventario, alinicio de cada perodo:
In=
max{0, c dn} In1mmax{0, In1 dn} In1 > m
Si d1, d2, . . ., son independientes e identicamente distribuidas, el proceso{In|n0}es una cadena de Markov.
5.1.4. Ejemplos
A continuacion se presenta algunos ejemplos que dan cuenta de la variedadde problemas que pueden ser modelados usando procesos de Markov.
Antiguamente, las universidades admitan solo estudiantes hombres. Su-pongamos que en ese tiempo 80 % de los hijos de hombres que iban aHarvard fueron a Harvard y el resto fue a Yale, 40 % de los hijos de loshombres de Yale fueron a Yale, y el resto se divida entre Harvard y Dart-mouth; y de los hijos de los hombres de Dartmouth, 70% fue a Dartmouth,20 % a Harvard y 10 % a Yale. La matriz de transiciones en este caso es
P=
0, 8 0, 2 00, 3 0, 4 0, 3
0, 2 0, 1 0, 7
El presidente de una nacion le dice a una persona A sobre su intencion deir a la re-eleccion. La personaA transmite a otra personaB esa intencion,
la personaB la transmite aC, etc. Supongamos que hay una probabilidada de que la intencion positiva se cambie a negativa cuando se transmiteel mensaje, y una probabilidad b de que la respuesta negativa se cambie apositiva. Entonces, la matriz de transiciones de cambios en las respuestasesta dada por:
P =
1 a a
b 1 b
El tipo mas simple de herencia en animales puede ser considerado medianteun par de genes G y g. Un individuo puede tener una combinacion GGo Gg, gG o gg. Usualmente, los tipos GG y Gg son indistinguibles enapariencia, y se dice que G domina al gen g. Un individuo es llamado
dominante si tiene genes GG, recesivo si tiene genes g g y hbrido si tieneuna mezcla Gg (ogG).
En una pareja de animales, la cra hereda un gen del par de cada padre, yel supuesto basico de la genetica es que esos genes son seleccionados alea-toriamente, independientemente uno del otro. Este supuesto determina la
43
-
5/22/2018 Modelos Estocasticos
46/62
probabilidad de ocurrencia de cada tipo de cra. La cra de dos padres do-minantes debe ser dominante, la de dos padres recesivos debe ser recesivo,
y la de uno dominante con uno recesivo debe ser hbrida.
En una pareja con un animal dominante y el otro hbrido, cada cra debeobtener un gen G del primero y tiene igual probabilidad de obtener un Go ung del segundo. Esto implica que hay una probabilidad igual de teneruna cra dominante o hbrida. Nuevamente, en una pareja de un recesivoy un hbrido, hay igual probabilidad de obtener un recesivo o un hbrido.En una pareja de dos hbridos, la cra tiene igual chance de tener un Go un g de cada padre. En consecuencia, las probabilidades son 1/4 paraGG, 1/2 para Gg y 1/4 para gg.
Consideremos un proceso de emparejamientos continuos. Comencemos conun individuo de caracter genetico conocido y emparejemoslo con un hbri-do. Suponemos que hay al menos una cra. Una cra es elegida al azar y
es emparejada con un hbrido y este proceso es repetido a traves de unnumero de generaciones. El tipo genetico de la cra elegida en generacionessucesivas puede ser representado por una cadena de Markov. Los estadosson dominante, hbrido y recesivo. Las probabilidades de transicion son:
P=
0, 5 0, 5 00, 25 0, 5 0, 25
0 0, 5 0, 5
Considerese el ejemplo de inventario de la seccion 5.1.3. La probabilidadde que el valor de demanda dj ocurra es expresada comoP(dj = k) = ak.De esta manera, si el estado del inventario en un momento es Ij , unademanda dj = k implica que el inventario hace una transicion a Ij + kcon probabilidad de transicion ak. Entonces, si se define como estadosdel proceso los valores de inventario m, m+ 1, m+ 2, . . . , c, la matriz detransiciones de probabilidad que indica el cambio de un nivel de inventarioa otro puede escribirse como
P =
a0 0 . . . . . . . . . 1 a0a1 a0 . . . . . . . . . 1 F(1)a2 a1 . . . . . . . . . 1 F(2). . . . . . . . . . . . . . . . . .acm1 acm2 . . . . . . . . . 1 F(c m 1)acm acm1 . . . . . . . . . 1 F(c m)
dondeF(j) =j
r=0 ar.
44
-
5/22/2018 Modelos Estocasticos
47/62
5.2. Cadenas de Markov de tiempo discreto
5.2.1. Introduccion
El proceso de tiempo discreto{Xk, k = 0, 1, 2, . . .} es llamado una cadenade Markov si para todo i, j , k, . . . , m, se cumple lo siguiente:
P(Xk = j |Xk1 = i, Xk2 = n, . . . , X 0 = m) = P(Xk = j |Xk1 = i) = pijk(5.6)
La cantidad pijk es llamada la probabilidad de transicion de estado, que esla probabilidad condicional que el proceso estara en el estado j, en el tiempok inmediatamente despues de la transicion, dado que esta en el estado i en eltiempok 1. Una cadena de Markov que obedece esta regla es llamada cadenade Markov no homogenea. Se habla de unacadena de Markov homogeneacuando
esta no depende de la unidad de tiempo, es decir, pijk = pij :
P(Xk = j |Xk1 = i, Xk2 = n, . . . , X 0 = m) = P(Xk = j |Xk1 = i) = pij ,(5.7)
que es llamada la probabilidad de transicion de estado homogenea, que satisfacelas siguientes condiciones:
1. 0pij1;2.
ipij = 1, i= 1, 2, . . ..
De la definicion precedente se obtiene la siguiente regla de la cadena de Markov:
P(Xk = j, Xk1= i1, Xk2 = i2, . . . , X 0 = ik) (5.8)
= P(Xk = j |Xk1 = i1)P(Xk1 = i1, Xk2 = i2, . . . , X 0 = ik)= P(Xk = j |Xk1 = i1)P(Xk1 = i1|Xk2 = i2)
P(Xk1 = i1, Xk2 = i2, . . . , X 0 = ik)
. . .
= pi1jpi2i1. . . pikik1P(X0 = ik)
5.2.2. Ecuaciones de Chapman-Kolmogorov
Dada una cadena de Markov, supongase que se desea conocer la probabilidadde que el sistema este en el estado j en el tiempo t1. Esta probabilidad sedetermina considerando que ent0el sistema puede estar en alguno de los estadosi del sistema y que se hace una transici on desde ah segun probabilidad detransicion pij :
qj1 = q10p1j+ q20p2j+ q30p3j+ . . . .
=i
qi0pij .
45
-
5/22/2018 Modelos Estocasticos
48/62
En el caso general se tiene
qjn = q1(n1)p1j+ q2(n1)p2j+ q3(n1)p3j+ . . . .
=i
qi(n1)pij
=i
q1(n2)p1i+ q2(n2)p2i+ q3(n2)p3i+ . . .
pij
=k
qk(n2)i
pkipij
Usualmente se define p(2)kj =
ipkipij , como la probabilidad de ir de k a j endos pasos. Se puede demostrar por induccion que
qjn =k
qk0p(n)kj .
Las ecuaciones de Chapman-Kolmogorov se definen como
p(n)kj =i
p(n1)ki pij i, j (5.9)
En terminos generales, las ecuaciones de Chapman-Kolmogorov se escribencomo
p(n)kj =i
p(nr)ki p
(r)ij k, j (5.10)
Esto se puede probar si se observa lo siguiente:
p(n)kj = P[Xn= j |X0 = k] (5.11)
=i
P[Xn= j, Xr = i|X0 = k] (5.12)
=i
P[Xn= j |Xr = i, X0 = k]P[Xr =i|X0 = k] (5.13)
=i
P[Xn= j |Xr = i]P[Xr = i|X0 = k] (5.14)
=
ip(nr)ki p
(r)ij (5.15)
En notacion matricial, (5.10) equivale a
P(n) =P(n1)P, (5.16)
dondeP(n) es la matriz de transiciones en n pasos. En consecuencia, definiendoqn= (q1n, q2n, . . .), se puede escribir
46
-
5/22/2018 Modelos Estocasticos
49/62
qn = q0P(n).
5.2.3. Teoremas de cadenas de Markov
Definicion 1. Un estado i de una cadena de Markov se diceabsorbente si esimposible dejarlo, es decir, pii = 1. Una cadena de Markov es absorbente si ellatiene al menos un estado absorbente y si es posible ir de cada estado a un estadoabsorbente (no necesariamente en un paso).
Definicion 2. En una cadena de Markov absorbente, un estado que no es ab-sorbente es llamado estado transiente.
Ejemplo 2. Consideremos como ejemplo la matriz siguiente:
P=
1 0 00, 25 0, 5 0, 25
0 0 1
. (5.17)
En este caso, los estados 1 y 3 son abosrbentes, mientras que el estado 2 estransiente. La cadena se dice absorbente y cuando el proceso alcanza un estadoabsorbente se dice que es absorbido.
Forma Canonica de una cadena absorbente
Consideremos una matriz de transicion de una cadena de Markov, con testados transientes y r estados absorbentes. Entonces, podemos acomodar lasfilas de la matriz de tal manera que se tiene la representacion siguiente:
P =
Q R
0 I
. (5.18)
Q es una matriz det testados transientes, R es una matriz de t r,I es unamatriz der r estados absorbentes. Se puede mostrar la propiedad siguiente:
P(n) =
Q(n) *
0 I
, (5.19)
tal que lmnQ(n) 0.
Teorema 2. En una cadena de Markov absorbente, la probabilidad que el pro-ceso sea absorbido es1 (es decir, Q(n) 0).
Ejemplo 3. Consideremos la matriz siguiente:
P=
1 0 00, 25 0, 5 0, 25
0, 3 0, 3 0, 4
. (5.20)
47
-
5/22/2018 Modelos Estocasticos
50/62
En este caso, por el teorema anterior es facil ver que las potencias de la matrizde transiciones convergen a la siguiente matriz (verifquelo):
P(n) =
1 0 01 0 0
1 0 0
. (5.21)
Teorema de cadenas regulares
Definicion 3. Una cadena de Markov se dice ergodicasi es posible ir de cual-quier estado a cualquier estado (no necesariamente en un paso).
Definicion 4. Una cadena de Markov se diceregular si alguna potencia de lamatriz de transicion tiene solo elementos positivos.
Ejemplo 4. La matriz siguiente es ergodica, pero no regular:
P =
0 0 11 0 0
0 1 0
. (5.22)
Una caracterstica interesante de esta matriz es la periodicidad. Verifique queP(1) =P(3k+1), k= 1, 2, . . ..
Cualquier matriz que no tiene ceros es una matriz regular. Sin embargo, unamatriz regular puede tener ceros. Un ejemplo de eso es la matriz siguiente:
P=
0, 25 0, 75 00, 4 0, 3 0, 30, 3 0, 3 0, 4
. (5.23)
que converge a la siguiente matriz (verifquelo)
P(n) =
0, 33 0, 45 0, 220, 33 0, 45 0, 22
0, 33 0, 45 0, 22
. (5.24)
Teorema 3. SeaP la matriz de transiciones de una cadena y seaqel vector deprobabilidad que representa la distribucion de partida. Entonces, la probabilidadde la cadena de estar en el estado i luego den pasos esta en lai-esima entradadel vector
q(n) =qP(n) (5.25)
Teorema 4 (Fundamental del lmite para cadenas regulares). SeaP la matrizde transiciones de una cadena regular. Entonces, sin , la matrizP(n) seaproxima a una matrizWcon todas sus filas iguales al vector ={1, 2, . . .}.Este vector es estrictamente positivo, es decir, lmn qjn = j(j), tal que,
j =i
ipij (5.26)
48
-
5/22/2018 Modelos Estocasticos
51/62
donde,
jj = 1.
Demostracion. 1 :SeaXuna cadena de Markov con matriz de transiciones P, partiendo en el
estadosi. SeaYuna cadena de Markov con matriz de transiciones P, partiendocon probabilidades iniciales dadas por el vector fijo . Los procesos X e Y sesuponen independientes.
Consideremos una tercera cadena de Markov con matriz de transiciones P,que observa los procesosXe Y. Los estados deP son los pares ordenados (i, j),es decir, los pares tales queX=i y Y =j al mismo tiempo. Las probabilidadesde transicion estan dadas por
P[(i, j), (k, l)] = pikpjl ,
indicando que el proceso X hace una transicion de i a k, y en el mismo
intervalo de tiempo el procesoYhace una transicion dej a l. Dado queP esregular, hay un n tal que p
(n)ik >0 para todo i y k. Entonces para P
tambienes posible ir de (i, j) a otro estado (k, l) en a lo mas n pasos. Esto implica queP tambien es una cadena regular.
ConsideremosTel tiempo en que P llega por primera vez al estado (k, k),es decir, X e Y estan en el mismo estado. A partir de ese primer momento, enel largo plazo X e Yno debieran tener diferencias pues estan gobernadas porla misma matriz de transiciones. Es facil ver que P(T > n)0 si n . SinT, dado que X e Y estan en el mismo estado en el tiempo T, se verifica
P(Xn= j, nT) = P(Yn= j, nT).Multiplicando ambos lados de la ecuacion anterior por P(nT), la formula deprobabilidad condicional implica
P(Xn= j|nT) = P(Yn= j|nT).Sabemos que para todon,P(Yn= j) = j (consecuencia de la ecuacion (5.10)).Ademas,
P(Yn= j) = P(Yn= j, nT) + P(Yn= j,n < T).Pero P(Yn= j,n < T)0 si n , pues P(n < T)0 cuandon . Demanera que,
P(Yn= j, nT)j , si n Esto implica
P(Xn= j, nT)j , si n 1W. Doeblin, Expose de la Theorie des Chaines Simple Constantes de Markov a un Nombre
Fini dEtats, Rev. Mach. de lUnion Interbalkanique, vol. 2 (1937), pp. 77-105.
49
-
5/22/2018 Modelos Estocasticos
52/62
Pero, usando el mismo razonamiento anterior, dado que P(n < T)0 cuandon
, se puede concluir,
P(Xn= j)j , si n ,lo que demuestra el teorema.
Notese que si ={1, 2, . . .}, la expresion (5.26) puede ser escrita como
= P, (5.27)
de manera que se interpreta como el vector propio por la izquierda de P.
Corolario (calculo del lmite de la probabilidad de estado )
Sea P(X(0) =i) la probabilidad de que el proceso esta en el estado i antes
de que se haga la primera transicion. Entonces el conjunto de todas las posi-bilidades, es decir,{P(X(0) = i)}, define la condicion inicial, tal que para unproceso den estados se tiene
ni=1
P(X(0) =i) = 1. (5.28)
Sea P(X(m) = j) la probabilidad de que el proceso este en el estado j alfinal de m transiciones, entonces para un proceso de n estados se tiene
P(X(m) = j) =
ni=1
P(X(0) =i)p(m)ij . (5.29)
Por el teorema anterior, se sabe que P(X(m) = j) se aproxima a una constantea medida que m , es decir,
lmm
P(X(m) = j) = j . (5.30)
Pero, de la ecuacion 5.10 se sabe que
p(m)ij =k
p(m1)ik pkj i,j, (5.31)
con lo cual se tiene
j = lmm
k
p(m1)ik pkj (5.32)
=k
kpkj (5.33)
50
-
5/22/2018 Modelos Estocasticos
53/62
Ejemplo:
Considerese la matriz de probabilidades siguiente:
P=
0, 6 0, 40, 35 0, 65
(5.34)
Determnese las probabilidades lmite de estado.
Solucion:
Por la ecuacion (5.26),
1 = 0, 61+ 0, 352 (5.35)
2 = 0, 41+ 0, 652 (5.36)
1 = 1+ 2 (5.37)
Hay tres ecuaciones y dos variables, por lo cual una de las ecuacioneses redundante. Usando la primera y tercera ecuaciones se puede mostrarfacilmente que ={1, 2}={7/15, 8/15}.
El teorema siguiente proporciona una base para calcular las probabilidadesde estado mediante simulacion.
Teorema 5 (Ley de los grandes numeros para cadenas de Markov ergodicas).Sea Hnj la proporcion de veces en n pasos que una cadena ergodica (seccion5.2.4) esta en el estado j . Entonces, para cualquier > 0,
lmn
P(|Hnj j |> )0, (5.38)independiente del estado de partida.
Ejemplo:
Suponga que la matriz de transiciones que representa los cambios de mo-dulacion en un canal inalambrico es la siguiente :
P =
1/2 1/4 1/41/2 0 1/2
1/4 1/4 1/2
Determnese las probabilidades lmite de estado.
Simule el sistema para mostrar que las proporciones de ocurrencia de esta-do se acercan a las probabilidades lmite. Corra simulaciones de distintasduraciones.
51
-
5/22/2018 Modelos Estocasticos
54/62
El valor medio de capacidad de canal en cada estado es dado por los valoressiguientes:
1 = 500kbps
2 = 1mbps
3 = 2mbps
(5.39)
Calcule la esperanza de la capacidad del canal mediante simulacion yusando las probabilidades de estado.
5.2.4. Tiempos de retorno
Sea f(n)jj la probabilidad de regresar al estado j en n pasos. Entonces, setiene:
pjj = f(1)jj
p(2)jj = f(2)jj + f
(1)jj pjj
p(3)jj = f
(3)jj + f
(2)jj pjj + f
(1)jj p
(2)jj
. . .
p(n)jj = f
(n)jj + f
(n1)jj pjj + f
(n2)jj p
(2)jj + . . . + f
(1)jj p
(n1)jj ,
es decir,
p(n)jj =f
(n)jj +
n1k=1
f(nk)jj p
(k)jj . (5.40)
Esto implica
f(n)jj =p
(n)jj
n1k=1
f(nk)jj p
(k)jj . (5.41)
El sistema puede retornar a j en 1, 2, 3, . . . , n , . . . pasos. Luego,f(n)jj define una
distribucion de probabilidad si
n=1 f(n)jj = fjj = 1. En ese caso, el sistema
vuelve al estado j . El tiempo medio de regreso es definido como
jj =n=1
nf(n)jj (5.42)
Segun el valor de jj y fjj , los estados de una cadena de Markov se puedenclasificar como sigue:Una cadena es irreducible si todos sus estados son ergodicos.
52
-
5/22/2018 Modelos Estocasticos
55/62
estado transitorio fjj
-
5/22/2018 Modelos Estocasticos
56/62
pij(t) = P(X(t + s) = j |X(s) = i), (5.45)pj(t) = P(X(t) = j), (5.46)
donde,pij(t) es la probabilidad de que el proceso ira desde el estadoi al estadoj en un tiempo t, y pj(t) es la probabilidad de que el sistema esta en el estadoj en el tiempo t. Dado que estas son probabilidades, se tiene
j
pij(t) = 1, (5.47)
j
pj(t) = 1. (5.48)
5.3.2. Ecuacion de Chapman-Kolmogorov en tiempo contnuo
Considerese la siguiente ecuacion:
pij(t + s) =k
P(X(t + s) = j, X(t) = k|X(0) =i),
=k
P(X(t + s) = j, X(t) = k, X(0) =i)
P(X(0) =i) ,
=k
P(X(t) = k, X(0) =i)
P(X(0) =i)
P(X(t + s) = j, X(t) = k, X(0) =i)
P(X(t) = k, X(0) =i))
,
=k
P(X(t) = k|X(0) =i)P(X(t + s) = j|X(t) = k, X(0) =i),=k
P(X(t) = k|X(0) =i)P(X(t + s) = j|X(t) = k),
con lo cual se obtiene:
pij(t + s) =k
pik(t)pkj(s). (5.49)
Esta es la ecuacion de Chapman-Kolmogorov para el caso de cadenas de Markovde tiempo contnuo.
5.3.3. Propiedad de falta de memoria
Consideremos una cadena de Markov de tiempo contnuo, homogenea. SeaTila variable que representa el tiempo que el proceso ha gastado desde un instante0 hasta que se encuentra en el estado j . Asimismo, consideremosTi el tiempoque el proceso pasa en el estadoi antes de encontrarse enj. Entonces, se observaque la igualdad
54
-
5/22/2018 Modelos Estocasticos
57/62
P(X(t + s) = j |X(s) = i) = P(X(t) = j |X(0) =i),equivale a
P(Ti> t + s|Ti > s) = P(Ti > t|s + Ti> s)= P(Ti > t|Ti> 0)= P(Ti > t). (5.50)
Hay una distribucion de probabilidad que tiene esta propiedad, llamada falta dememoria, que es
P(
Ti> t) = et,
es decir, la distribucion exponencial con funcion de densidad f(t) =et. Enefecto, se tiene la siguiente relacion
P(Ti> t + s|Ti> s) = P(Ti > t + s, Ti> s)P(Ti> s)
,
= P(Ti > t + s)
P(Ti> s) ,
= e(t+s)
es ,
= et,
= P(Ti> t).
5.3.4. Procesos estacionarios
Supongamos un proceso{X(t)|t0}yX(t) N, en estado estacionario, talque el proceso puede realizar transiciones de un estado a otro adyacente comosi fuera un proceso de conteo. Entonces, sea
- n, estado actual del proceso;
- n, frecuencia esperada de cambio desde el estadon al n +1 (nacimiento),por unidad de tiempo ;
- n, frecuencia esperada de cambio desde el estado n al n
1 (muerte),
por unidad de tiempo;
- pn(t), probabilidad de que el proceso este en el estado n en el tiempo t.
En estado estable, los flujos de ingreso y salida del sistema deben igualarse.Entonces, para que el sistema se estabilice en el estado n, debe suceder
55
-
5/22/2018 Modelos Estocasticos
58/62
n1pn1(t) + n+1pn+1(t) = (n+ n)pn(t) n= 1, 2, . . . . (5.51)
es decir, las tasas esperadas de llegada y de salida en el estado ndeben igualarse,manteniendo el equilibrio de flujos. Esto es equivalente al razonamiento quepermite obtener las probabilidades de estado en el caso de filas de espera.
Consideremos ahora la posibilidad que el proceso pueda realizar transicionesdesde o hacia un estadoj desde cualquier otro estadoi = 1, 2, . . .. Entonces, sea
- i, tasa esperada de salida desde el estado i a cualquier otro estado, porunidad de tiempo;
- ij, tasa esperada de salida desde el estado i al estado j, por unidad detiempo;
- pi(t), probabilidad de que el proceso este en el estado i en el tiempo t.
Para que el sistema este en equilibrio enj , es decir, que las entradas igualen lassalidas, se debe cumplir2
i=j
ijpi(t) = jpj(t) j = 1, 2, . . . . (5.52)
Ademas, si el proceso es ergodico, entonces se cumplei=j
iji = jj j = 1, 2, . . . , (5.53)
donde i, i = 1, 2, . . ., corresponden a las probabilidades de estado l mite, defi-
nidas por
i = lmt
pij(t) j = 1, 2, . . . , (5.54)
que satisfacen i
ipij(t) = j j = 1, 2, . . . . (5.55)
Ejemplo 6. Consideremos como ejemplo dos equipos de proyecto sometidos aun programa de desarrollo de un sistema crtico. Cada uno de los equipos de tra-bajo puede desarrollar continuamente. Sin embargo, por diferentes condicioneslos equipos se retrasan. Cuando eso ocurre, se asigna recurso adicional al equipo
retrasado, pero ese recurso alcanza solo para un equipo a la vez. El tiempo mediode retraso de cada equipo es de1 da, el que debe recuperarse lo antes posible.El tiempo medio de recuperacion es de1/2 da.
2Notese que en el caso del proceso de conteo, dado el estado n la frecuencia esperada decambio es tal que n = n+ n.
56
-
5/22/2018 Modelos Estocasticos
59/62
Definamos la variable aleatoria X(t), numero de equipos retrasados en eltiempo t. Luego, X(t)
{0, 1, 2
}. Si la unidad temporal es 1 da, entonces se
puede ver lo siguiente:
w0 = 0 (5.56)
w1 = 1+ 1
w2 = 2
Notemos que si los equipos estan desarrollando normalmente, la tasa potencialde retraso en un da sera igual a0 = 2, pues ambos equipos podran fallar. Encambio, si uno de los equipos se retraso, solo un equipo podra entrar en retrasoen un da, es decir, 1 = 1. Por otro lado, la tasa de recuperacion depende del
recurso asignado de tal manera que1 = 2 y2 = 2. Por lo tanto,
w0 = 2 (5.57)
w1 = 3
w2 = 2
Usando la ecuacion (5.53) se llega a:
20 = 21 (5.58)
31 = 20+ 2222 = 1
Sabiendo ademas que 0 + 1 + 2 = 1, se puede determinar facilmente que(0, 1, 2) = (2/5, 2/5, 1/5).
5.4. Cadenas de Markov con recompensa
5.4.1. Proceso con recompensa
Se dice que una cadena de Markov genera recompensas si una transicion
implica una ganancia (o perdida). Dada que las transiciones se realizan en pro-babilidad, la recompensa obtenida a partir de un estado inicial corresponde auna ganancia (o perdida) esperada.
Ejemplo 7. Supongamos un sitio Web de noticias que tiene tres tipos de pagi-nas: 1, noticias polticas; 2, noticias economicas, 3, noticias deportivas. Luego
57
-
5/22/2018 Modelos Estocasticos
60/62
de un experimento desarrollado con una muestra relevante de usuarios se deter-mino que un usuario puede hacer transiciones de un tipo de pagina a otro segun
la siguiente matriz de transiciones:
P=
0, 25 0, 5 0, 250, 4 0, 3 0, 3
0, 3 0, 3 0, 4
,
Cada vez que un usuario realiza un cambio de estado el periodico digital recibeuna recompensa neta que proviene de los anuncios pagados por las empresas quepublicitan en el medio. Supongamos que la ganancia neta por cada cambio deestado queda definida por la siguiente matriz
R=
10 5 2, 55 3 4
4 1 2
.
El periodico esta interesado en saber cual es la ganancia que obtiene porun usuario que visita el sitio duranten minutos. Entonces, seagi,n la gananciaesperada enn pasos, a partir del estadoi = 1. Luego, la ganancia esperada en unpaso, a partir dei = 1, se calcula como100, 25+50, 5+2, 50, 25. Asimismo,la ganancia esperada en dos pasos a partir dei = 1, gi,2, esta determinada por
gi,2 =3
j=1
pij {rij+ gj,1} .
Para el ejemplo se tiene
gi,2 = 0, 25 {10 + (10 0, 25 + 5 0, 5 + 2, 5 0, 25)} += 0, 5 {5 + (5 0, 4 + 3 0, 3 + 4 0, 3)} += 0, 25 {2, 5 + (4 0, 3 1 0, 3 + 2 0, 4)} .
En terminos generales, se tiene lo siguiente
gi,n=mj=1
pij {rij+ gj,n1} .
5.4.2. Proceso de decision markoviano
En el ejemplo de la seccion 5.4.1, supongamos que una vez que se llega a un
estado el periodico tiene la opcion de realizar una accion que cambia el mode-lo de recompensa y las probabilidades de transicion. Por ejemplo, para evitarla perdida que puede implicar la transicion desde el estado 3 al estado 2, eleditor puede introducir un anuncio viral que aumenta la posibilidad de perma-nencia del usuario en la pagina de noticias. Entonces, supongase que el editordel periodico tiene dos acciones posibles: introducir un anuncio viral (accion 1),
58
-
5/22/2018 Modelos Estocasticos
61/62
o no introducir el anuncio (accion 2). Las opciones disponibles conducen a lasmatrices de transicion y recompensas siguientes:
P1 =
0, 30 0, 4 0, 30, 225 0, 375 0, 4
0, 5 0, 25 0, 25
,
R1 =
7 7 34 6 2
5 2 1
.
P2 =
0, 25 0, 5 0, 250, 4 0, 3 0, 3
0, 3 0, 3 0, 4
,
R2 = 10 5 2, 55 3 4
4 1 2 .
Entonces, el editor del periodico se enfrenta al problema de determinar cualsera la estrategia que le genere el mayor retorno esperado en una sesi on deusuario tpica. Si k representa el numero de una accion, entonces un editor quedesea maximizar sus ganancias aplicara la siguiente funcion para determinar laganancia esperada en n minutos, dado un estado inicial i:
gi,n= maxk{1,2}
mj=1
pkij
rkij+ gj,n1
.
Notese que esta es una formula recursiva que indica que la ganancia esperada
en n pasos, a partir del estado i, depende de las acciones futuras del tomadorde decision. Este modelo de calculo es llamadoprogramacion dinamicadonde elresultados se puede determinar calculando los terminos en gj,1, gj,2, . . . , gj,n1,etc., hasta llegar a gj,n.
59
-
5/22/2018 Modelos Estocasticos
62/62
Bibliografa
[1] Banks, J., Carson, J., Nelson, B. and Nicol, D., Discrete-Event System Si-mulation. 3rd edition, Prentice-Hall, 2001.
[2] Feller, W., An Introduction to Probability Theory and Its Applications,
second edition, John Wiley & Sons, 1971.
[3] Prawda, J., Metodos y Modelos de Investigacion de Operaciones. VolumenII, Modelos Estocasticos, Editorial Limusa, 1987.
[4] Ross, S., Introduction to Probability Models, Eight Edition, Academic Press,2003.
[5] Taha, H., Investigacion de Operaciones, Alfaomega, 1995.
[6] Winston, W., Operations Research: Applications and Algorithms, DuxburyPress, 1994.
60