Desentrañados todos los secretos del Heads-Up Limit Hold'em

La ciencia ha dado un nuevo paso adelante en la aplicación de la teoría de juegos al poker, esta vez para dar esencialmente por resuelto la variante Heads-Up Limit Hold’em.

Este impresionante logro proviene de la colaboración entre el equipo de la Universidad de Alberta formado por Michael Johanson, Michael Bowling y Neil Burch, autores del bot Polaris/Cepheus, y del responsable del algoritmo CFR Oskar Tammelin.

La verdadera importancia de este trabajo la otorga el hecho de que el poker es un juego de información imperfecta, el primero de estas características que se puede considerar resuelto. El trabajo resultante de esta asociación recibió el espaldarazo de la comunidad científica al ser publicado por la revista Science, y en los siguientes párrafos vamos a desentrañar el método de trabajo, la estrategia alcanzada y las consecuencias de este hito matemático.

¿Qué significa que está resuelto?

Explicado rápidamente y a trazo grueso, un juego se considera resuelto cuando es posible analizar todas las variantes posibles de su desarrollo. 

El mejor ejemplo es el clásico juego del tres en raya. Existe una estrategia muy simple para ganar o empatar cualquier partida, y dos jugadores que utilicen esta estrategia perfecta serán incapaces de conseguir jamás el tres en raya.

Es decir, lo que asegura la aplicación de la teoría de juegos no es conseguir la estrategia que, en el caso del poker, sea la que más dinero puede ganar a lo largo de millones de manos, sino aquella a la que no se le puede ganar, que es muy distinto.

El equipo responsable del proyecto que te estamos anunciando ha diseñado un bot que, enfrentado a un oponente perfecto, a la estrategia más eficaz contra su estilo de juego, no perdería más de 0,05BB/100 en un plazo equivalente a la vida humana, unas 200 manos a la hora durante 12 horas diarias a lo largo de 70 años.

En este marco de referencia, para un hombre, incapaz de evitar errores en su juego, el Limit Hold’em Heads-Up ya estaba virtualmente resuelto, pero el límite de explotabilidad alcanzado hasta el momento era de 1.3 BB/100, lejos de provocar asombro entre los expertos de la teoría del juego.

Las herramientas y el proceso

El gran salto adelante lo han provocado dos factores: una importante mejora en la velocidad de aprendizaje del algoritmo, bautizado CFR+, y una nueva técnica de compresión de datos que ha permitido reducir las necesidades de almacenamiento, que sin contar el espacio de memoria necesario para la compilación temporal de resultados ya era estimada en 523 terabytes, hasta los 11 terabytes que contienen el árbol de decisiones que resuelven el Heads-Up Limit Hold’em.

Con un plan de trabajo razonable y tras un año programando el algoritmo, los expertos de la universidad canadiense pudieron conseguir convencer a las autoridades educativas para acceder durante dos meses al uso de la capacidad computacional provista por Compute Canada and Calcul Québec. Durante ese tiempo se emplearon en los cálculos 200 equipos, cada uno con 24 CPUs de 2,1 Ghz, 32 GB de RAM y un terabyte de disco duro, equivalente al uso de una CPU durante un milenio, para obligar a Cepheus a jugar contra sí mismo durante el equivalente a una cantidad incalculable de manos -¡billones de manos por segundo!-.

Esa es la clave del proyecto. Hasta el momento, para adaptarse a las limitaciones de memoria y capacidad de cálculo, los algoritmos empleados partían de abstracciones, una reducción de las posibilidades de reacción a ciertas acciones del contrario.

En el caso de Cepheus, ahora que se han superado los obstáculos técnicos, el bot ha podido aprender desde cero. El proceso comenzó con decisiones tomadas al azar, explorando cada acción a su disposición en cada situación y contra todas las posibles manos y examinando el EV de cada una de ellas hasta identificar la más efectiva.

Jugar contra él es como jugar contra un oponente que ha vivido cualquier situación posible innumerables veces, que ha reconocido y corregido todos y cada uno de sus errores previos, hasta los más nimios, y que sabe la mejor jugada a realizar a largo plazo sin que le importe tu estilo de juego o las adaptaciones que intentes aplicar.

¡El poker online ha muerto!

El código de Cepheus es libre. La página web del proyecto, además de permitirte jugar contra el bot las pocas veces que puede soportar el tráfico que se ha generado, contiene una herramienta que provee la solución que le da Cepheus a cualquier situación que le propongas. Cualquiera que esté jugando una mano puede usarlo para decidir su próximo movimiento.

Como dice uno de los autores.

Probablemente no estemos ayudando a un juego que ya tenía muy mala salud.

Aunque el tiempo que lleva utilizar la herramienta que provee el equipo de Cepheus la haga prácticamente inservible en una partida real, es cierto que la vida de las mesas de Heads-Up Limit Hold’em se ha acortado por culpa de esta publicación.

Pero ya no era una modalidad muy boyante, precisamente porque ya hay estrategias virtualmente imbatibles dominando ese lobby. Es impresionante ver como los mejores especialistas han llegado a algunas conclusiones similares a las del bot en un plazo de tiempo y en una muestra de manos infinitesimal en comparación. Las capacidades del ser humano son realmente sorprendentes.

Debemos reconocer que sí, que ese pequeño nicho agonizante del poker online puede haber recibido un nuevo revés, pero aún queda muchas otras modalidades y mesas con más jugadores a las que dedicarse.

¿Está el No Limit Hold’em también a su alcance?

Pues no. Puedes guardar el traje oscuro, que no hay entierro al que acudir. Uno de los miembros del equipo de Alberta, Neil Burch, se ha atrevido a asegurar que ninguno de nosotros llegaremos a ver resuelto el No Limit Hold’em, aunque tú, el que nos lees, seas el lector más precoz de Poker-Red.

Desentrañar el árbol de decisiones del No Limit Hold’em requiere un poder de computación 10 mil millones de veces superior al utilizado en este trabajo. Y eso sin ni siquiera proponerse la posibilidad de añadir un nuevo jugador a la mesa, que multiplicaría por mucho las variables en las decisiones.

Así pues, podemos dar por resuelto el Heads-Up Limit Hold’em, una modalidad en la que los grandes expertos ya habían llegado por su cuenta tanto a esrategias casi imbatibles, tanto explotativas como óptimas bajo el prisma de la teoría de juegos. Y pensar que un gran porcentaje de los jugadores que ahora se dedican profesionalmente a esto darían un brazo por poder dar atrás un par de décadas y hacerse de oro jugando a esto. Los tiempos avanzan que es una barbaridad.

Fuentes:

Two Plus Two (foros): Computers Conquer Texas Hold'em Poker for First Time, Alberta university Poker 'bot "solves" heads up limit hold 'em

Preposterous Universe: A Simple Form of Poker “Essentially” Solved

Washington Post: Meet Cepheus, the virtually unbeatable poker-playing computer

IEEE Spectrum: Computers Conquer Texas Hold'em Poker for First Time