Estado del Servidor, Sinceramiento y Disculpas

Buenas, como muchos ya saben, llevamos algunas semanas con un servidor en pesimas condiciones, por decir poco. Hago este post para tratar de ser lo mas abierto en lo que paso en estas semanas hasta el dia de hoy, y tambien traerles informacion sobre como vamos a seguir a partir de aca.

Quiero arrancar primeramente por pedir disculpas a toda la comunidad por la falta de comunicacion, la falta de trasparencia y el mal manejo de la situacion. Quiero que sepan que estamos reorganizandonos para poder ser mejores a futuro y estar mas preparados para las situaciones como las que vivimos recientemente.

Hace unas semanas, alguna persona o grupo de personas empezaron a realizar ataques al servidor y pagina web casi 24/7. Realmente desconocemos quien ni porque debido a que este tipo de ataques es imposible saber quien los perpetra, pero la realidad es que el servidor estaba lejos de estar preparado para la magnitud de estos ataques. Sin irnos lejos y entrar en detalles tecnicos, el servidor recibio picos de trafico de hasta 95GB por segundo en sus picos maximos, esto es, 342.000 Gigabytes de trafico por hora, algo nunca antes visto en la historia de este servidor. Para que se den una idea de la dimension del ataque, un servidor normal, tiene una boca de red de 1GB/s y estaba recibiendo casi 100GB/s de trafico malicioso.
Esto, sumado a la falta completa de mitigacion(ya que esta fue sacada hace un tiempo porque los costos se habian elevado demasiado por encima de lo que nos podiamos permitir), contribuyo, a la caida en muchas ocasiones completa de los servicios de wowarg(pagina y servidor).
Durante estas semanas, el equipo tecnico estuvo trabajando mucho con el proveedor(GX) para poder mitigar el ataque, con las herramientas que teniamos a disposicion, pasando varias noches en vela por este tema. Lamentablemente, a pesar de los esfuerzos, nada parecia surtir efecto ya que el/las personas atacando siempre encontraron una manera de sobrepasar dichos esfuerzos.
Con mucho tiempo de downtime, sobrepasados de ataques que no podiamos mitigar con la infraestructura que teniamos, se decidio como primera medida poner el servidor detras de un servicio que podria mitigar dichos ataques, pero el/las personas atacando descubrieron la ip de origen detras del servicio y lograron sobrepasar nuevamente la proteccion.
Este es un momento critico en los eventos que acontecieron, donde se tomo la desicion de directamente cambiar de host a uno que nos brinde una proteccion avanzada y a medida para este tipo de ataques tan grandes, de momento, y nuevamente sin entrar a detalles, estamos detras de dicha proteccion de una manera hibrida.
Que quiere decir esto? Que aun no estamos 100% migrados al nuevo host, por complejidades de migracion que estamos trabajando para completar. Estas complejidades(que son bastantes) al tratarse de un servidor que esta hace mucho en linea las detallo a continuacion:

  • Migracion de bases de datos(con arriba de 100GB en peso)
  • Configuracion del firewall con varias pruebas para asegurar funcionalidad correcta
  • Migracion del sitio web
  • Migracion de herramientas administrativas
  • Instalacion de paquetes requeridos para compilar y puesta en marcha del servidor de bases de datos
  • Pruebas del servidor en la nueva maquina/host

A estas complejidades, se le suma las de la vida diaria que no son menores, con esto me refiero a los compromisos laborales y personales de cada persona que trabaja en el staff, que muchas veces demoran o entorpecen la rapida ejecuccion de acciones de mejora.

Bien, hasta aca detallado que paso, donde estamos y ahora la gran pregunta hacia donde seguimos?
La idea es terminar en estas proximas semanas(2/3) la migracion completa al nuevo host con todos los servicios asociados, ya que lo que se busco ahora es la estabilizacion del servicio y la mejora de latencia para movistar.
Con este punto quiero dejar algo muy en claro: El servidor esta lejos de estar listo en la latencia final que buscamos. Con esto quiero decir que si hoy tienen 100ms/200ms etc, no va a permanecer asi, vamos a bajarla a como estaba antes previo a los ataques y los problemas con movistar.
Estamos trabajando par a par con el hosting nuevo, para ir monitoreando y ajustando las reglas de ruteo(que son las que van a determinar cuantos ms tienen ya que estas indican por que nodos viaja su conexion contra el servidor, https://es.wikipedia.org/wiki/Tabla_de_enrutamiento).
Entonces, en resumen los proximos pasos son:

  • Finalizar la migracion al nuevo hosting y dejar la latencia ok(como antes)
  • Trabajar caso por caso en los jugadores que presentan algun inconveniente luego de que este finalizado la normalizacion
  • Fijar premios y incentivos a las personas que nos aguantaron en estas semanas duras
  • Priorizar cosas a fixear para este reino
  • Continuar con el proyecto de cambio de expa y recibir feedback de la comunidad para mejoras del actual(Tranquilos, si se abre una nueva expa no van a perder sus pjs)
  • Abrir nueva postulacion para miembros del staff(Buscamos gente con tiempo en el servidor, que ha vivido cosas que considera que se pueden mejorar, que tengan iniciativa en hacer cosas nuevas)
  • Hacer resumenes semanales con cosas que vayan pasando y mejoras que se vayan haciendo

Muchas gracias a todas las personas que nos escribieron dando aliento, y nos bancaron estas semanas complicadas a capa y espada, gracias totales! Y nuevamente una disculpa por todos los problemas que surgieron, hay WoWArg para rato!

11 Me gusta