Aplicación de aprendizaje reforzado en la detección de fuente de contaminación en red de agua superficial.

Abstract

Este trabajo de titulación se enfoca en el modelamiento de una red de distribución de agua superficial, representada como un grafo con un nodo contaminante. La investigación se centra en el entrenamiento de una política cuyo objetivo es identificar el nodo contaminante tomando la menor cantidad de muestras posibles. Una muestra permite saber si el nodo contaminante está aguas arriba o no. Con esta información, una política consiste en crear un árbol de decisión que permite seleccionar el siguiente punto de muestreo usando los resultados de las muestras anteriores. Para crear políticas con aprendizaje reforzado primero se debe probar y testear si las políticas creadas realmente aprenden y así corroborar que funciona la implementación establecida, una buena opción es entrenar políticas para juegos conocidos, donde se conoce su política óptima, por ello se aplicaron técnicas avanzadas de aprendizaje reforzado en el ámbito de juegos estratégicos de dos jugadores, utilizando el juego de tres en línea como escenario de prueba. Durante esta fase experimental, se exploraron diversos algoritmos de aprendizaje reforzado. Se destacó la viabilidad de entrenar una política efectiva para un jugador, mientras se modelaba al segundo jugador como una parte intrínseca del entorno, es decir, el segundo jugador no se entrenó con aprendizaje reforzado, sino que su política se definió previamente. Se logró crear un agente lo suficientemente competente como para ganar en el 99% de las interacciones. Luego se procedió a entrenar políticas en diferentes tipos de entornos con diferentes reglas. Primeramente, se crearon grafos simples, y posteriormente, se avanzó hacia la generación de grafos dirigidos acíclicos aleatorios con diferentes dimensiones, donde una dimensión en un grafo dirigido acíclico viene dada por la cantidad de nodos que tiene el grafo. El entrenamiento de políticas en estos grafos proporcionó valiosas percepciones sobre la escalabilidad de las técnicas de aprendizaje reforzado en contextos más complejos. Finalmente se llevó a cabo un estudio utilizando datos reales de una distribución de agua superficial en la región del Biobío. El grafo dirigido acíclico consta de 127 nodos con grado máximo 5, y la política desarrollada logra encontrar el nodo contaminante en promedio después de 6.4 muestras siendo significativamente mejor que algoritmos de búsquedas en arboles actuales. Este enfoque progresivo desde juegos estratégicos hasta entornos de red de agua demuestra una metodología sistemática y rigurosa.