Procedimientos computacionales en la gestión óptima de recursos naturales

Índice 1. Introducción y objetivos 3 2. Teoría del control óptimo 6 2.1. El principio del máximo de Pontryagin 14 2.2. Control óptimo con varias variables 15 2.3 Variables acotadas 16 3. Ejemplos en la aplicación de la Teoría del Control Óptimo 17 3.1. Tiempo Óptimo de tala de una plantación forestal 17 3.2. Modelo de la explotación de las pesquerías 22 3.3. Modelo de la explotación de los recursos no renovables 23 4. Programación dinámica 27 4.1. Programación dinámica determinista 31 4.2. Programación dinámica probabilística 31 4.3. Ejemplo en la aplicación de la Programación dinámica 32 5. Otros modelos de gestión de los recursos naturales 37 5.1. Modelo de Faustmann en gestión forestal 37 5.2. Modelo de explotación de un recurso no renovable: la regla de Hotelling 38 5.3. Modelo de explotación de pesquerías 39 6. Conclusiones 41 7. Bibliografía 44 Índice de Figuras Figura 1: Patrón óptimo de la gestión de una plantación forestal 21 Figura 2: Problema de ruta aplicando programación dinámica 28 Figura 3: Esquema temporal del problema de extracción de la mina 33 Índice de Cuadros Cuadro 1: Beneficios obtenidos según el nivel de extraccion y la cantidad de stock 32 Cuadro 2: Valor de la variable de estado en cada período 33 Cuadro 3: Valores para el período 4 34 Cuadro 4: Valores óptimos según x(3) 34 Cuadro 5: Valores para el período 3 35 Cuadro 6: Valores óptimos según x(2) 35 Cuadro 7: Valores para el período 2 35 Cuadro 8: Valores óptimos según x(1) 36 Cuadro 9: Valores para el período 1 36 3 1. Introducción y objetivos Antes de comenzar cualquier análisis, conviene aclarar primero a qué nos estamos refiriendo con los recursos naturales y porqué son tan importantes para el desarrollo económico de un país. Mencionando una definición más convencional nos referimos a los recursos naturales como aquellos atributos de la tierra, vivos o inanimados, que explota el ser humano como fuente de alimentos, materias primas y energía (Reed, 1994a). Se podrían identificar tres cualidades fundamentales de funciones económicas que cumplen los recursos naturales: como insumos para el proceso productivo, como “almacén” de residuos por su generación tanto en el consumo como en el proceso productivo, y como servicio recreativo o soporte general para la vida. Y es aquí donde podría definirse la economía de los recursos naturales, como aquella área que se encarga de cómo asignar eficientemente a la sociedad los recursos naturales a lo largo del tiempo. Pues constantemente, nos encontramos ante situaciones en las que hay que decidir de qué manera usar un recurso natural, por ejemplo: un bosque, ¿se debería explotar para obtener madera, o sin embargo, preservándolo como un espacio natural protegido favoreciendo las actividades recreativas?, o ¿cómo distribuir en el tiempo la extracción de petróleo de un pozo cuyas reservas son finitas? Dentro de los recursos naturales, se puede realizar una clasificación basada en la temporalidad, es decir, en la capacidad que tiene el recurso de regenerarse una vez haya sido utilizado. Entonces distinguimos entre: recursos renovables, que son aquellos recursos que tienen la capacidad de regenerarse una vez se haya utilizado, en algunos casos habiendo pasado un tiempo tal que le permita regenerarse; y recursos no renovables, son aquellos recursos que no tienen la capacidad de regenerarse y por tanto su uso continuado puede provocar su desaparición. Ahora bien, aquí cabe señalar que un recurso renovable puede convertirse en no renovable, es decir, que la mala extracción o uso puede inducir a su agotamiento. Esto sucede cuando el tiempo de extracción es inferior al tiempo que tarda el recurso en regenerarse, es decir, la capacidad de extracción es superior a la capacidad de regeneración del recurso. Por ejemplo, en una pesquería, si la captura de peces es continuada y un nivel superior a la tasa de regeneración biológica de la especie, conllevará al agotamiento del género. Pero, ¿cuándo realmente se le da importancia al estudio de los recursos naturales? Realizando un breve repaso por la historia, a principios del siglo XX, el estudio de los recursos era casi exclusivamente trabajo de biólogos y no había originado inquietud alguna entre los economistas para el estudio de su aprovechamiento debido a la abundancia relativa de los 4 mismos. Así pues, fue durante los años 70 cuándo se le dio real importancia su estudio, provocada con la crisis del petróleo producida durante esa época. La restricción de la exportación de petróleo impuesta por la Organización de Países Árabes Exportadores de Petróleo hacia países de Occidente en una época de gran dependencia del crudo del mundo industrializado, condujo a una drástica subida de precios y consecuentemente a una disminución de la actividad económica. Fue entonces cuando se produjo un punto de inflexión en algunos países occidentales, donde se comenzó a plantear políticas de mayor conciencia energética. Si bien, antes de eso existieron grandes autores que construyeron pilares fundamentales que ayudaron a cimentar la disciplina de la economía de los recursos naturales. Cabe mencionar a algunos autores como Thomas Robert Malthus, con la denominada ley de crecimiento Malthusiano, quién estimó un ritmo de crecimiento poblacional alarmante, pudiendo originar consecuencias catastróficas debido a que la cantidad de recursos existente en el mundo era muy inferior a tal crecimiento, como para satisfacer la demanda de necesidades. Otro autor influyente fue Arthur Cecil Pigou con su obra “The Economics of Welfare” publicada en 1919, que introdujo la idea de externalidad negativa y la introducción de un impuesto como forma de corregir dicha externalidad y de esta manera conseguir alcanzar el óptimo social o externalidad óptima, es lo que se conoce actualmente como impuesto pigouviano. Sobre estas mismas líneas y continuando con un orden cronológico, aparece Harold Hotelling, con su obra “The Economics of Exhaustible Resourses” (1931), donde detalla la denominada regla de Hotelling, en la que se indica la manera óptima de extracción de un recurso no renovable, siendo la misma la situación de equilibrio en el que la tasa de variación del precio del recurso coincida con el tipo de interés. Un enfoque alternativo al de Pigou, lo planteó Ronald Coase en su artículo “The problem of Social Cost”, publicado en el Journal of Law and Economics en 1960. Su idea se basa en demostrar que no es necesario ningún tipo de intervención, por contra al planteamiento de Pigou, para alcanzar la externalidad óptima, sino que basta que exista una correcta definición de los derechos de propiedad (esto es, en el sentido amplio, el derecho del uso del recurso en cuestión) en donde exista una negociación entre el agente que provoca la externalidad negativa, y el agente que la sufre, para llegar de esta forma al óptimo social. Así pues, la problemática fundamental a la que se enfrenta en economía para la gestión de los recursos naturales se refiere a la toma de decisiones presentes de asignación de tales recursos que afectan a acontecimientos futuros, haciendo posible que sean disponibles ciertas 5 oportunidades. Todo ello, ante un mundo infinitamente competitivo de agentes en los cuales cada uno vela por sus intereses propios. Siguiendo a Fernández y García (2001) en el libro “Métodos matemáticos en economía dinámica”, uno de los métodos analíticos parar solucionar problemas de planificación es resolviendo problemas de Optimización Dinámica. El objetivo es optimizar una función objetivo a través de variables instrumentos que pueden tomar valores dentro de un rango de valores, permitiendo que dichas variables cambien en el tiempo. Para solventar los problemas de optimización dinámica existen tres aproximaciones: Cálculo de Variaciones, Teoría del Control Óptimo y la Programación Dinámica. Siendo los dos métodos principales y de nuestro interés la Teoría del Control Óptimo y la Programación Dinámica dado que nos centraremos en su estudio. En la Teoría del Control Óptimo nos situaremos principalmente en la formulación del problema de optimización definiendo las dos variables principales que componen cada problema: las variables de control y las variables de estado; así como la obtención de las condiciones necesarias y suficientes para la solución óptima del problema a partir de la función Hamiltoniana. Además se expone el método de resolución del mismo por medio del Principio del Máximo de Pontryagin. Por otro lado, se explica el tratamiento de los problemas de control en los que existen más de una variable de control o de estado, o ambas a la vez. A su vez, se redacta los casos particulares de acotación de los dos tipos de variables. Posteriormente, a modo ilustrativo se expone como ejemplos de aplicación práctica de la Teoría de Control Óptimo, los casos de tala de una plantación forestal, modelo de explotación de una pesquería y modelo de explotación de un recurso no renovable. Luego, se procede a exponer el tercer método de aplicación para la resolución de los problemas de optimización dinámica, la Programación Dinámica basada en el principio de optimalidad de Bellman. Para ilustrar tal caso, se expone un problema de optimización resuelto por el método. Finalmente se exponen otros conocidos modelos empleados en la Teoría de Gestión de Recursos Naturales. En concreto, se detalla el modelo de Faustmann para la gestión de forestal, la regla de Hotelling en busca del óptimo de extracción de un recurso no renovable, y los trabajos realizados por Gordon (1954) y Scott (1955) para explicar el rendimiento económico óptimo de una pesquería. 12 La función Hamiltoniana queda: )1(),,,( 2 uuxuxtH   (2.31) Ahora ya podemos obtener las condiciones necesarias: 021   u u H (2.32) 1'     x H x H  0)1('  (2.33) 1'     H x (2.34) Luego comprobamos la condición de máximo: 02 2 2   u H (2.35) Se cumple la condición de máximo del problema. Ahora se procede a obtener las variables de control y de estado. Para ello, primero integramos la condición 1'     x H  y empleando la condición de transversalidad 0)( 1t obtenemos el valor de λ: t1 (2.36) Luego a partir de la primera condición, podemos despejar uy dejarlo en función de λ:  2 1 021   uu u H (2.37) Sustituyendo por el valor de λ: )1(2 1 t u  (2.38) Ahora podemos sustituir el valor de uen la restricción del problema. De este modo obtenemos x’: )1(2 1 1'1' 2 t xux   (2.39) Integrando y usando la condición de transversalidad 1)0( x obtenemos x: 13 4 5 )1(4 1 )(    t ttx (2.40) En resumen, tenemos: tt t ttx t tu       1)( 4 5 )1(4 1 )( )1(2 1 )(  (2.41) Ahora, a partir de la obtención de las condiciones necesarias, se procede a estudiar que además de ser necesarias, son también suficientes en un problema de óptimo. La teoría es similar a las condiciones de Kuhn-Tucker aplicadas en problemas no lineales. Así pues, para este caso se considera condiciones necesarias y suficientes cuando la función objetivo cóncava o convexa es para ser maximizada o minimizada sobre una región convexa cerrada. Ahora bien, para problemas de control óptimo, las condiciones necesarias son suficientes si la integral de la función )',,( xxtF es cóncava o convexa en x, x’. Veamos esto expresado de forma analítica. (Kamien y Schwartz, 1991) Supongamos que se tiene dos funciones cóncavas diferenciables de uyx, tales que: 00 10 )( ),,(':. ),,(max 1 0 xtx ttttodoparauxtgxas dtuxtf t t    (2.42) Ahora se supone que las soluciones al problema de control óptimo x*,u* yλcumplen las condiciones necesarias: 0)( ),,(),,(' 0),,(),,( 11    t uxtguxtf uxtguxtf xx uu    (2.43) Y además, que xyλson funciones continuas. Entonces, para tal caso, si las funciones f y g son funciones conjuntamente cóncavas de xyuy se mantiene la condición de 0)( t , entonces las condiciones necesarias expuestas anteriormente son también suficientes. 14 2.1 El Principio del Máximo de Pontryagin Siguiendo a Cerdá (2001) en su libro “Optimización dinámica”, el Principio del máximo de Pontryagin es el método que nos permite obtener las condiciones necesarias que tiene que obedecer el control óptimo de los problemas de Teoría de Control. Así pues, es el procedimiento de resolución explicado y expuesto anteriormente en el que se aplica la función Hamiltoniana determinando la solución óptima que instaura las condiciones necesarias de optimalidad. Sin embargo, Kamien y Schwartz (1991), señalan que el principio tiene una diferencia con respecto al uso convencional que se ha dado hasta ahora para resolver los problemas. Para reflejar tal diferencia, se procede a exponer el principio. Se parte del problema de optimización con el objetivo de encontrar un vector de control y un vector de estado que se defina en el intervalo temporal   10,tt : m i iiti ii iii ii t t RendadoconjuntoUtu controldeiableladenrestricció nqilibretx fijosqixqpixtx pixtx finalesscondicione fijoxnixtx inicialesscondicione tutxtgtxas dttutxtf        )( var ,...,1)( ),...,1,(,...,1)( ,...,1)( )(,...,1)( ))(),(,()(:.. ))(),(,(max 1 11 11 000 ' 1 0 (2.1.1) Entonces el teorema de Pontryagin anuncia lo siguiente (ver Kamien y Schwartz, 1991; y Tu, 1991): “Para que x*(t), u*(t) sea óptimo para el problema expuesto anteriormente, es necesario que exista una constante λ0y una función continua ))(),...,(()( 1ttt n   donde para todo 10 ttt  tenemos )0,0())(,( 0t tal que para cada 10 ttt  ))(),(*),(*,())(,),(*,( ttutxtHtutxtH   (2.1.2) Donde la función Hamiltoniana H es definida por: ),,(),,(),,,( 1 0uxtguxtfuxtH i n ii     (2.1.3) Excepto los puntos de discontinuidad de u*(t), 15 ni x ttutxtH ti i,...,1 ))(),(*),(*,( )( '     (2.1.4) Además 01 00   ó (2.1.5) Y por último, las condiciones de transversalidad son satisfechas: nqit qpixtxsit piscondicionehaynot i iii i ,...,10)( ,...,1))(0(0)( ,...,1)( 1 11 * 1 1       (2.1.6) Ahora bien, de este planteamiento con respecto al planteamiento que se ha desarrollado en el apartado anterior, existen dos diferencias: una diferencia de precisión técnica, y otra de tipo estilística. (Kamien y Schwartz, 1991). La diferencia existente de precisión técnica se basa en la especificación de la variable λ. Hasta ahora siempre se ha tenido la condición de transversalidad 1 0 como condición para que el problema de control tenga solución. Sin embargo, se puede apreciar que, el teorema recoge que hay problemas en los que la solución óptima requiere que 0 0 . Con respecto a la diferencia estilística, se alude a la especificación de la región de la variable de control )(tu , que en tal caso se precisa que el vector u se encuentra en algún conjunto U. 2.2 Control óptimo con varias variables La dinámica del sistema del problema de control óptimo se puede presentar con más de una variable de estado o variables de control. En tal caso, el planteamiento de resolución es similar a lo expuesto hasta ahora. De forma ilustrativa, se expone el siguiente problema en el que se aplica el principio del máximo de Pontryagin (Fernández y García, 2001): 0 0 )0( )0( ),,,( ),,,(:.. ),,,(max 2 1 yy xx tuyxgy tuyxfxas dttuyxF t t        (2.2.1) 16 Como se puede apreciar, el problema está compuesto por dos variables de estado xey. Entonces, siguiendo con el procedimiento habitual, obtenemos la función Hamiltoniana: ),,,(),,,(),,,( 21 tuyxgtuyxftuyxFH   (2.2.2) Luego las condiciones necesarias son: y H x H u H H y H x                21 2 1 0       (2.2.3) Y la condición de máximo: 0 2 2   u H (2.2.4) Luego se redacta que si las variables de estado )( 2 tx e )( 2 ty son libres, se obtienen dos condiciones de transversalidad 0)( 21 t y 0)( 22 t que permiten especificar las constantes de integración. 2.3 Variables acotadas Hasta ahora, para explicar la resolución de los problemas de control óptimo se ha especificado que tanto las variables de control como las variables de estado siguen una trayectoria dentro del intervalo temporal [t0, t1]. Ahora bien, esta designación no ocurre en todos los problemas. Se pueden dar los casos en que las variables de control o de estado, o ambas al mismo tiempo, se encuentren acotadas y sólo se muevan en un intervalo temporal específico. Para visualizar de forma práctica lo expuesto, se muestran algunos ejemplos recogidos de distintas fuentes. El planteamiento del problema de acotación de la variable de control se muestra de la siguiente forma (Kamien y Schwartz, 1991): 17 bua xtxuxtgxas dtuxtf t t    00 )(),,,(':.. ),,(max 1 0 (2.3.1) Para el caso, donde la variable de control y de estado están acotadas (Fernández y García, 2001): 0)0( 0)0( )()( )()(:.. )( 2 1 max 2 1 2 21 0 2      x x tutx txtxas dttu T   (2.3.2) También existen casos donde el horizonte temporal en el problema de control óptimo es infinito, como en el siguiente planteamiento (Tu, 1991): 00 )( )(),(,()(:.. ))(),(,(max 0 xtx tutxtgtxas dttutxtf t     (2.3.3) En función del problema y el objetivo que se quiera conseguir (maximizar o minimizar), está claro que la extensión del intervalo temporal es un componente determinante en el resultado obtenido en el problema de control óptimo. Así pues, se puede predecir que aquellos problemas con una amplitud de intervalo temporal corto se obtendrán resultados con rendimientos altos a corto plazo y crecimientos lentos a largo plazo; y al contrario, aquellos problemas en los que se tiene un intervalo temporal infinito se presentan cuando no hay limitaciones de clase temporal. 3. Ejemplos de aplicación de la Teoría del Control Óptimo 3.1 Tiempo óptimo de tala de una plantación forestal La principal problemática para la gestión de un bosque consiste en el tiempo óptimo de tala de cada especie, con el fin de evitar su desaparición por sobreexplotación. En este apartado se detalla el modelo de explotación de un bosque planteándolo como un problema de Control Óptimo y aplicando el principio del máximo de Pontryagin que nos permite obtener las condiciones necesarias que proporcionarán la solución óptima (Reed, 1994b). 18 En el ejemplo se exponen dos situaciones, en la que se quiere obtener el patrón óptimo de tala de una plantación forestal. Un primer escenario en que se procede acometer talas selectivas; y luego una segunda situación en la que se vaticina una tala total de la población. Se detalla que la cantidad de madera de una plantación forestal en un momento determinado t viene representado por )(tx .El crecimiento de dicha variable viene determinado por la ecuación diferencial: 0)0( )()(   x xFta dt dx (3.1.1) Donde )(ta es una función que muestra la pauta de crecimiento de los árboles, siendo ésta decreciente positiva, dado que a medida que envejecen los árboles el crecimiento disminuye. Luego )(xF muestra el volumen de densidad de la plantación, siendo una función cóncava positiva de x, ya que el incremento del volumen depende de la densidad de la especie. En el primer caso se permite acometer talas selectivas en un período comprendido en el intervalo [0, T], esto es, la etapa anterior de someter la población forestal a la tala total. Para este caso, el crecimiento de la plantación ( )(tx ) viene dado por: 0 )0( )()()( xx thxFta dt dx   (3.1.2) Donde )(th es el ritmo de la tala que representa unidades de volumen de la población por unidad de tiempo. El ingreso neto viene representado por )()( thtp  siendo )(hp el valor unitario de la tala descontando el coste propio de la tala. En el segundo escenario se irrumpe con una tala total de la población el momento T. El ingreso neto en este caso viene representado por )()( TxTq  , definiéndose )(tq como el valor unitario de la madera talada siendo descontado el coste de la propia tala. Cabe señalar que la tala total se considera más económica que la tala selectiva, por tanto, )()( tqtp  . Aplicando la Teoría del Control Óptimo, el objetivo fundamental del problema es determinar la pauta temporal de las talas que se producen con la finalidad de maximizar el valor actual de 19 los ingresos, tanto de la tala selectiva como de la tala total, es decir, se trata de buscar la variable de control )(th que maximice: Tt hth thxFta dt dx as TxTqedtthtpe TTt      0 )(0 )()()(:.. )()()()(max max 0  (3.1.3) Donde max h es el máximo ritmo en que se puede ejecutar la tala selectiva. Para resolverlo aplicamos el Principio del máximo de Pontryagin. Siguiendo con el procedimiento anteriormente expuesto, definimos la función Hamiltoniana: )]()()([)()( thxFtathtpeH t   (3.1.4) Veamos las condiciones para que la función )(th sea óptima: )()( )()()( )()()( ' ' TqeT xFtat x H xFtat x H x T                (3.1.5) Siendo la última condición la de transversalidad. Es necesario, obviamente, que el ritmo óptimo de tala )(* th maximice la función Hamiltoniana en cada instante del tiempo t, es decir, durante todo el intervalo [0, T]. Luego, la función Hamiltoniana se puede formular en función de )(t , resultando de la siguiente manera: )()()()()( xFtatthtH   (3.1.6) Denominándose )(t función de conmutación y definiéndose de la siguiente forma: )]()([)( ttpet t   (3.1.7) Por tanto se deduce que la variable de control )(th se expresa en función del valor de )(t con el fin de maximizar H. Así pues, si 0)( t interesa que htome un valor tan grande 20 como sea posible, es decir, max hh  . Por el contrario, si 0)( t el valor de hdebe ser 0 para maximizar H. A este tipo de control se le denomina “bang-bang”. En el caso de que 0)( t en algún intervalo de tiempo, cualquier valor de hes válido para maximizar la función Hamiltoniana, aunque para esta situación solo se establece un único valor de h. Es por ello que a esta posibilidad se denomina estrategia de control singular. Así pues, para deducir dicha estrategia, es decir, el valor de )(th cuando 0)( t , partimos de las siguientes condiciones: 0)( t (3.1.8) 0 dt d (3.1.9) A partir de la condición (3.1.8), se resuelve: )()( 0)( )]()([)( tpet tsiendo ttpet t t           (3.1.10) Luego a partir de la condición (3.1.9), resolvemos derivando y obtenemos: )(')](')([)(' )(')](')([)(')(')()](ln[)(' 0 )]()([)( ttptpet ttptpettpetpeet dt d ttpet t ttt t               (3.1.11) Ahora sustituyendo en esta expresión el valor de )(' t expuesto en (3.1.5): )(')()()](')([ xFtattptpe t   (3.1.12) Y sustituyendo el valor de )(t que obtenemos de la expresión (3.1.10): )(')()()](')([ xFtatpetptpe tt     (3.1.13) Para finalizar, despejando )(')( xFta  y simplificando, se obtiene para el control singular: )( )( )( )(' )(')( )( )]()('[ )(')( tp tp tp tp xFta tpe etptp xFta t t           21 )( )(' )(')( tp tp xFta   (3.1.14) Según se detalla, la solución de esta expresión nos muestra la trayectoria o senda singular )(txs , que para seguir en ella, requiere que: )()()()( )()()()()(' ' ' txxFtath bieno txthxFtatx s s   (3.1.15) A modo ilustrativo, veamos los dos escenarios propuestos inicialmente (tala selectiva y tala total) y el tipo de estrategia de control óptimo que ocurre en cada uno de ellos. De inicio no se contempla realizar ningún tipo de tala porque hay poco volumen de madera y existe un gran potencial de crecimiento. En este caso ocurre )0( 0s xx  y la función de conmutación será 0)( t , donde 0h para maximizar la función Hamiltoniana. Luego en el momento t1, es cuando el volumen de la explotación alcanza la trayectoria singular, y comienza en ese mismo instante la tala selectiva, donde la función de conmutación será 0)( t y 0h . El proceso de optimización continúa con la tala selectiva a lo largo de la senda singular hasta el momento t2. A partir de ese momento, no se realiza ninguna tala hasta el momento T, donde se ejecuta la tala total de la población. Gráficamente veamos lo expuesto hasta ahora: Se comprueba que el patrón óptimo de la tala selectiva consta de tres partes: una primera en la que no se produce tala alguna, una segunda en la se produce una tala que sigue la senda 28 donde )(tx y )(tu representan la variable de estado y de control respectivamente, siendo t ),...,1,0( Tt  la variable que indica cada período. Luego A y Z representan la etapa inicial y final respectivamente. La función )](),([ tutxF representa la ecuación de movimiento en tiempo discreto. Por su parte, la variable de estado del sistema se desarrolla siguiendo una ecuación recursiva, es decir, que puede repetirse indefinidamente: )1,...,1,()](),([)1( 100  tttttutxftx (4.2) La solución a tal problema consiste en determinar el valor óptimo de la variable de control )(* tu que maximice o minimice el valor de la función )(tV en cada etapa. El problema se transforma en nproblemas de optimización, siendo nel número de etapas o períodos en la que está dividido el problema en cuestión. El procedimiento para resolver tales problemas es partir del método de inducción hacia atrás, en el que se pretende determinar el valor óptimo de la variable de control en el último período, se dice de este modo que el problema se soluciona de forma retrospectiva, empezando por el final. Entonces, en cada interacción tendremos: )(()*),(( )]1),,((),([)*,( TxGTTxVcon tuxfVuxFMinóMaxtxV Uu    (4.3) A modo ilustrativo se expone el siguiente ejemplo de aplicación práctica de Programación Dinámica. Se considera el siguiente problema de buscar la ruta óptima para llegar del punto 1 a 8 de la manera más rápida posible. Entre cada punto viene reflejada la distancia existente entre cada uno de ellos. De forma esquemática: Figura 2: Problema de ruta aplicando programación dinámica 29 Se considera dij la distancia existente entre las dos etapas iyj. Ahora, aplicando el principio de optimalidad de Bellman, consiste en buscar el camino óptimo Vientre cada punto y el punto siguiente para conseguir llegar al punto final especificado en 8. Así pues: }min{}}min{min{}min{}min{ 666, kikkikkikii VddddddV  Donde 7,6,5,4,3,2k son los consecutivos estados intermedios. Como ya se ha mencionado, el problema se resuelve comenzando por la última etapa. Así pues, es lógico deducir que en la última etapa la distancia existente es: 0 8V Ahora, para el punto 7, el camino óptimo viene reflejado por:     505minmin 8787  VdV Se determina, que si la ruta comenzara en el punto 7, su ruta óptima sería ir directamente a 8, como es obvio. Ahora veamos que sucede con desde el punto 6, en el cual existen dos posibilidades de recorrido: ir al punto 7 previamente para finalizar en 8, o ir directamente a 8: 7}8,7min{}08,52min{},min{ 8687676  VdVdV Se comprueba que, empezando el camino en 6, la ruta óptima pasa por ir al punto 7 antes que a 8 directamente. El mismo procedimiento es empleado en el resto de puntos. Para el punto 5: 4}4,11min{}04,74min{},min{ 8586565  VdVdV Si se comenzara el punto 5, la ruta óptima pasa por que el siguiente punto sea el 8 directamente. Para el punto 4: 11}11,12min{}56,75min{},min{ 7476464  VdVdV Se puede apreciar que las etapas posteriores al punto 4 son la 6 y la 7. Se ha comprobado que su camino óptimo pasa por seguir hasta el punto 7. Para el punto 3: 30 6}12,14,6min{}57,77,42min{},,min{ 7376365353  VdVdVdV Teniendo tres posibilidades de recorrido, su ruta óptima pasa por seguir hasta el punto 5. Para el punto 2: 8}10,8min{}73,44min{},min{ 6265252  VdVdV Si se comenzara desde este punto, su trayecto óptimo pasa por seguir hasta 5. Para el punto 1: 10}13,10,11min{}112,64,83min{},,min{ 4143132121  VdVdVdV Vemos que comenzando desde este punto, la ruta óptima tendrías que pasar por el punto 3. Ahora agrupando los resultados obtenidos y comenzando por el punto 1, podemos determinar que la ruta óptima del problema pasa por los puntos: 1, 3, 5 y 8. Es el camino que viene representado en la figura 2 en trazo más grueso. Las principales características de los problemas de programación dinámica, algunas mencionadas al comienzo del apartado, son los siguientes (ver Hillier y Lieberman, 2002): - El problema se divide en etapas o períodos que precisan una solución óptima para cada una de ellas. Así pues, se debe escoger una sucesión de decisiones interrelacionadas en donde cada decisión pertenece a una etapa del problema. Veamos para el problema anterior, se puede deducir que existen tres etapas de decisión. - En cada etapa puede existir una cierta cifra de estados. Esto es, las distintas situaciones posibles donde se puede localizar el procedimiento en cada etapa. En el ejemplo, en la etapa 2 se encuentran los estados 2,3 y 4 donde el sistema se podría encontrar. - El objetivo de la decisión o política óptima aplicada en cada etapa consiste en transformar el estado actual en un estado asociado en la siguiente etapa. En el ejemplo, partiendo del punto 1, tomando la decisión óptima de realizar el camino más corto, nos desplazamos hasta el punto o estado 3 en la siguiente etapa. - El procedimiento de resolución permite obtener una solución óptima para el problema completo, partiendo de las distintas soluciones óptimas en cada etapa. En nuestro ejemplo, la solución óptima al problema viene dado por la ruta 1, 3, 5 y 8. 31 - Las decisiones óptimas son independientes en cada etapa, es decir, la decisión óptima que se tome en la etapa actual, sólo depende del estado actual y no de cómo se ha llegado hasta esa situación. - El procedimiento de resolución del problema es mediante el método de inducción hacia atrás, comenzando a resolver el problema, por tanto, por la última etapa, hasta llegar a la etapa inicial. Es por ello que se tiene una relación recursiva que determina la solución óptima para la etapa n, a partir de la política óptima de la etapa n+1. Ahora, según cómo se determine el siguiente estado partiendo del estado actual, la programación dinámica se clasifica en: programación dinámica determinística y programación dinámica probabilística. (Hillier y Lieberman, 2002) 4.1 Programación Dinámica determinística Para este caso, el estado de la siguiente etapa se establece íntegramente por la decisión óptima que se tome en la etapa actual. De forma analítica, se supone que el sistema se encuentra en un estado xten la etapa t. Ahora, cuando se toma la decisión uten dicho estado, el sistema se mueve al estado xt+1 en la etapa 1t . Luego el objetivo es determinar la decisión óptima * t u que optimice la función objetivo con respecto al estado xt, resultando ),()( ** ttttt uxfxf  . A partir de aquí se sigue con el método de resolución de inducción hacia atrás. Los problemas de programación dinámica determinística, a su vez, se pueden clasificar según: el propósito de optimización de la función objetivo, pudiendo ser de maximización o minimización; o la forma del conjunto de estados existentes en las distintas etapas, pudiendo estar caracterizados por una variable continua o una variable de estado discreta. 4.2 Programación Dinámica probabilística En la programación dinámica probabilística el estado en la siguiente etapa se determina por el estado actual y la política de decisión tomada en dicho estado, y además, a diferencia de la situación anterior, por una distribución de probabilidad. Dicha distribución de probabilidad si queda establecida por el estado y la política de decisión que se ha determinado previamente en la etapa actual. Entonces para este caso, siendo Xel número de estados posibles dentro de la etapa 1t , el sistema cambia al estado i( Si ,...3,2,1 ) con probabilidad pidados el estado xt y la política de decisión uten la etapa 1t . En esta situación se puede representar con un 32 árbol de decisión en el que se refleja todas las decisiones y estados posibles para cada etapa. Ahora para este caso la función objetivo queda: ),(minmax)( )]([),( 11 *1 1 *1 1        tt u t S itiinnn uifoifcon ifCpuxf t (4.2.1) Donde ),( nnn uxf representa la suma esperada máxima o mínima (dependiendo de la forma de la función objetivo) de la etapa thacia adelante, dado que en la etapa actual t, el estado y la política de decisión ya están definidos, siendo xtyutrespectivamente. Luego Cirepresenta la contribución de la etapa ta la función objetivo. La maximización o minimización se realiza sobre todos los valores factibles de 1t u . 4.3 Ejemplo de aplicación de la Programación Dinámica En este apartado, se expone el ejemplo de gestión de una mina (Cerdá, 2001). Se supone que se posee una mina cuyo stock consta de 80 unidades de mineral. Para la extracción de dicho mineral se dispone de cuatro períodos de tiempo, dado que una vez transcurrido ese tiempo la valoración del mineral que queda en la mina es cero. El problema para la empresa o autoridad encargada de la gestión de la mina, consiste en determinar la cantidad de mineral que extrae en cada período, sujeto a la restricción de que en cada período solo puede extraer 0, 10 o 20 unidades del mineral, debiendo ser dicha cantidad igual o inferior a la cantidad de stock de mineral que existe en el momento de la extracción. El beneficio obtenido en cada período depende de la cantidad de mineral que se extrae (u) en un período, siendo ésta nuestra variable de control, y del stock resultante (x) en dicho período, siendo ésta nuestra variable de estado. Por tanto, la función de beneficio viene representada por   )(),( tutx . Así pues, para cada nivel de extracción y cantidad de stock, se muestran en el siguiente cuadro los beneficios que se obtienen: x 0 10 20 30 40 50 60 70 80 u 0 10 20 -5 -5 -35 -5 -25 -35 -5 -20 -25 -10 0 -15 -10 5 -10 -10 15 10 -15 20 30 -15 25 40 Cuadro 1: Beneficios obtenidos según el nivel de extracción y la cantidad de stock Esquemáticamente, el proceso temporal del problema es el siguiente (figura 3): 33 Figura 3: Esquema temporal del problema de extracción de la mina. Se debe señalar que )(tx es la cantidad de stock existente en el instante 1t , y )(tu es la cantidad de mineral que se extrae durante el período 1t . El planteamiento del problema es el siguiente: 3,2,1,0),()( ,3,2,1,0},20,10,0{)( ,80)0( )()()1(:.. )](),([max 3 0 )}({ 30        tparatxtu tparatu x tutxtxas tutxJ t tu t  Ahora, teniendo en cuenta las restricciones, se pueden obtener los valores que puede tomar la variable de estado en cada período. Dichos valores se recogen en el siguiente cuadro: Variable de estado en cada período Valores que puede tomar x(0) 80 x(1) 80,70,60 x(2) 80,70,60,50,40 x(3) 80,70,60,50,40,30,20 x(4) 80,70,60,50,40,30,20,10,0 Cuadro 2: Valor de la variable de estado en cada período Ahora, por el método de inducción hacia atrás, se procede a calcular la cantidad de extracción y el stock resultante para cada período. Por tanto, comenzando por el final del período cuatro, sabemos que la mina contendrá )4(x unidades de mineral, que no aporta ningún beneficio dado que carece de valoración a partir de este período, por lo que: 0)}4({ * 4xJ Ahora para el período cuatro, se sabe el conjunto de valores en los que se puede encontrar la variable de estado para el período 3, recogidos en el cuadro 2. Luego la ecuación de Bellman para el período será: 34 )}}3()3({)]3(),3([{max)}3({ * 4 }20,10,0{)3( * 3uxJuxxJ u  En el cuadro 3, se recogen los diferentes resultados de la ecuación anterior para cada valor de )3(x , en función de la cantidad de mineral que se extrae )3(u : x(3) u(3) π[x(3),u(3)] 80 0 10 20 -15 25 40 MÁXIMO 70 0 10 20 -15 20 30 MÁXIMO 60 0 10 20 -10 15 MÁXIMO 10 50 0 10 20 -10 5 MÁXIMO -10 40 0 10 20 -10 0 MÁXIMO -15 30 0 10 20 -5 MÁXIMO -20 -25 20 0 10 20 -5 MÁXIMO -25 -35 Cuadro 3: Valores para el período 4 Ahora, a modo resumen en el cuadro 4 se recoge la cantidad de extracción óptima )3( * u según la cantidad de mineral existente que maximiza la función objetivo de beneficio )}3({ * 3xJ : x(3) u*(3) J3*{x(3)} 80 70 60 50 40 30 20 20 20 10 10 10 0 0 40 30 15 5 0 -5 -5 Cuadro 4: Valores óptimos según x(3) Se realiza el mismo procedimiento para el tercer período. Con )2(x dado, la ecuación de Bellman de este período es: )}}2()2({)]2(),2([{max)}2({ * 3 }20,10,0{)2( * 2uxJuxxJ u  35 Ahora para cada posible valor de )2(x y de )2(u , se muestran en el siguiente cuadro los resultados de la ecuación: x(2) u(2) π[x(2),u(2)]+J3*{x(2)-u(2)} 80 0 10 20 -15+40= 25 25+30= 55 MÁX 40+15= 55 MÁX 70 0 10 20 -15+30= 15 20+15= 35 MÁX 30+5= 35 MÁX 60 0 10 20 -10+15= 5 15+5= 20 MÁX 10+0= 10 50 0 10 20 -10+5= -5 5+0= 5 MÁX -10+(-5)= -15 40 0 10 20 -10+0= -10 0+(-5)= -5 MÁX -15+(-5)= -20 Cuadro 5: Valores para el período 3 Los valores óptimos de )2( * u que maximizan la función de beneficio )}2({ * 2xJ , se recogen en el siguiente cuadro: x(2) u*(2) J2*{x(2)} 80 70 60 50 40 10 o 20 10 o 20 10 10 10 55 35 20 5 -5 Cuadro 6: Valores óptimos según x(2) Se continúa con el segundo período. Con )1(x dado, se presenta la ecuación de Bellman como: )}}1()1({)]1(),1([{max)}1({ * 2 }20,10,0{)1( * 1uxJuxxJ u  Los resultados de la ecuación para los distintos valores que puede tomar )1(x y )1(u , se muestran en la siguiente cuadro: x(1) u(1) π[x(1),u(1)]+J2*{x(1)-u(1)} 80 0 10 20 -15+55= 40 25+35= 60 MÁX 40+20= 60 MÁX 70 0 10 20 -15+35= 20 20+20= 40 MÁX 30+5= 35 MÁX 60 0 10 20 -10+20= 10 15+5= 20 MÁX 10+(-5)= 5 Cuadro 7: Valores para el período 2 36 Ahora, se agrupan en el cuadro 8 los valores óptimos de )1( * u que maximizan )}1({ * 1xJ : x(1) u*(1) J1*{x(1)} 80 70 60 10 o 20 10 10 60 40 20 Cuadro 8: Valores óptimos según x(1) Finalmente, para el primer período, se considera 80)0( x dado. Luego, la ecuación de Bellman para dicho período es: )}}0(80{)]0(,80[{max}80{ * 1 }20,10,0{)0( * 0uJuJ u  Los diferentes resultados de la ecuación para los distintos valores de )0(x y )0(u se recogen en la cuadro 9: x(1) u(1) π[x(1),u(1)]+J2*{x(1)-u(1)} 80 0 10 20 -15+60= 45 25+40= 65 MÁX 40+20= 60 Cuadro 9: Valores para el período 1 En este caso, se extrae que el valor óptimo de la variable de extracción es 10, siendo el beneficio de 65 en el primer período: 10)0(* u y 65}80{ * 0J Ahora, comenzando por este resultado inicial, se realiza el recorrido por la senda óptima de extracción en cada período, obteniendo a su vez el stock resultante una vez descontado el mineral extraído. Así pues: 80)0(* x 10)0(* u Se deduce que 70)1(* x . Entonces, a partir del cuadro 8, se extrae que: 10)1(* u , y por tanto 60)2(* x Ahora, del cuadro 6, sabemos que: 10)2(* u , luego, 50)3(* x Finalmente, del cuadro 4, se llega a: 37 10)3(* u , y consiguiente 40)4(* x El beneficio óptimo del problema es: 65}80{* * 0 JJ En resumen, la empresa o autoridad competente de la gestión de la mina debe extraer, como valor óptimo de decisión, 10 unidades de mineral en cada uno de los 4 períodos, y obteniéndose por tal operación un beneficio total de 65. El stock resultante que queda sin extraer de la mina al final de los 4 períodos es de 40 unidades de mineral. 5. Otros modelos de gestión de recursos naturales 5.1 Modelo de Faustmann en gestión forestal El modelo de gestión forestal de Faustmann (ver Reed, 1994c; y Romero, 1997) es muy empleado en la literatura económica de gestión de recursos naturales. Dicho modelo es empleado para determinar la edad de madurez financiera de una plantación, es decir, la edad óptima en la que se debe talar un cultivo desde el punto de vista financiero o económico. Así pues, la ecuación de Faustmann se expresa como: T e CTV TV      1 ])([ )(' (5.1.1) De donde se obtiene la denominada “edad de Faustmann” o edad de madurez financiera (Tf). Siendo δla tasa de descuento, es decir, representación del coste de oportunidad del capital. Luego la diferencia CTV )( representa el valor esperado del terreno, cuando el VP se calcula para Tf, siendo Clos costes de plantación. A tenor de la expresión, se deduce que la plantación forestal para conseguir madera es económicamente viable si, estableciendo la edad de tala en Tf, el importe actual de los beneficios son superiores a los costes de plantación C. Para obtener una interpretación económica de la expresión de Faustmann, el matemático Colin Clark (1990) propuso una nueva versión de la fórmula: ] 1 ])([ [)()(' C e CTVe TVTV f f T f T ff          (5.1.2) Se interpreta como: interesa cortar una masa forestal cuando el valor marginal de no realizar la tala, es exactamente igual al coste marginal de no realizar dicha tala, es decir, lo que se 44 7. Bibliografía Cerdá Tena, E. (2001). Optimización Dinámica, Pearson Educación S.A., Madrid. Dorfman, R. (1969). An economic interpretation of optimal control theory. The American Economic Review.817-831. Escot Mangas, L., Olmedo Fernández, E., Pozo García, E.M.D. (2002). Optimización dinámica. Universidad Complutense de Madrid. Fernández Rodríguez, F. y García Artiles, Mª D. (2001). Métodos matemáticos en economía dinámica. Volumen 2. Gómez, C. M.. (1994). Desarrollo sostenible y gestión eficiente de los recursos naturales. En Azqueta, D. y Ferreiro, A. (editores). Análisis económico y gestión de recursos naturales. Alianza Editorial, Madrid. Gordon, H. S. (1954). The Economic Theory of a Common-Property Resource: The Fishery. Jourmal of Politicial Economy. Vol.62, 124-142. Hiller, F. S. y Lieberman, J.G. (2002). Investigación de operaciones. 7ª edición, MacgrawHill, México. Kamien, M. I. y Schwartz, N. L. (1991). Dynamic Optimization: The Calculus of Variations and Optimal Control in Economics and Management. 2ª ed. Amsterdarn. Reed, William, J. (1994a). Una introducción a la economía de los recursos naturales y su modelización. En Azqueta, D. y Ferreiro, A. (editores). Análisis económico y gestión de recursos naturales. Alianza Editorial, Madrid. Reed, William, J. (1994b). Teoría del Control Óptimo. En Azqueta, D. y Ferreiro, A. (editores). Análisis económico y gestión de recursos naturales. Alianza Editorial, Madrid. Reed, William, J. (1994c). Modelos de gestión forestal. En Azqueta, D. y Ferreiro, A. (editores). Análisis económico y gestión de recursos naturales. Alianza Editorial, Madrid. Romero, C. (1997). Economía de los recursos ambientales y naturales. 2ª ed. Alianza editorial, Madrid. Ruth, M. y Hannon, B. (1997). Modelling Dynamic Economic System. Springer, New York. 45 Scott, A. D. (1955). The Fishery: The Objetives of Sole Ownership. Journal of Political Economy, Vol. 63, 116-124. Surís Regueiro, J. C. y Varela Lafuente, M. M. (1995). Introducción a la economía de los recursos naturales. Civitas. Madrid. Tu, P. N. (1991). Introductory Optimization Dynamics: optimal control with economics and management science applications. 2ª ed. Springer-Verlag. Villalba Vilá, D. y Jerez Méndez, M. (1990). Sistemas de optimización para la planificación y toma de decisiones. Ediciones Pirámide. Madrid