Facebook logra reducir el tiempo de aprendizaje de una máquina

Tecnología Facebook logra reducir de forma drástica el tiempo de entrenamiento de un modelo de aprendizaje profundo, informa la red social a través de un documento. Así, el modelo ResNet-50 en ImageNet de reconocimiento visual aprende en una hora lo que antes lo hacía en 29.

Facebook llega a tal reducción tras distribuir el entrenamiento en 'minibatches' más grandes a través de un número mayor de GPUs. En el pasado, los lotes de 256 imágenes se extendieron a través de ocho GPUs; ahora se incluyen lotes de 8.192 imágenes distribuidas en 256 GPUs.

El sitio "TechCrunch" explica que la capacidad de escalar el entrenamiento a través de tantos GPUs para reducir el tiempo de entrenamiento, sin que se pierda la precisión, significa un gran problema.

Facebook ralentizó las tasas de aprendizaje en las etapas iniciales del proceso de capacitación para poder remediar las dificultades que impedían el trabajo con grandes lotes de datos. Así, el proceso llamado descenso gradiente estocástico es lo logrado y lo que entrena el modelo ResNet-50.

El redactor de "TechCrunch" John Mannes escribe que la tasa de aprendizaje es una de las variables claves del proceso antes mencionado. Así, la forma que esta variable cambia a medida que cambiar el tamaño del 'minibatch' es la clave para optimizar el aprendizaje profundo.

EL DATO
Facebook empleó los beneficios de su marco de aprendizaje profundo de código abierto, el Caffe2, y sus servidores GPU Big Basin para el experimento.

Más noticias de Tecnología en...