Plataforma de engagement a gran escala y etiquetado multimodal

Problema

La empresa necesitaba dos cosas que parecen ajenas hasta que comparten infraestructura: un producto de engagement social que cruzaba la identidad Web2 y Web3, y un pipeline de etiquetado capaz de ingerir medios multimodales al volumen que esperan clientes grandes de IA y medios. Ninguno de los dos problemas es interesante como demo. Los dos lo son en concurrencia, identidad y rendimiento de workers.

Restricciones

El producto de engagement tenía que sentirse como un grafo social, no como un explorador de ledger. La ruta de etiquetado no podía quedar atada a una sola sesión de navegador si iba a sostener volumen de cliente. Los servicios tenían que desplegarse y escalar por separado. Los dos productos podían compartir identidad y patrones de infraestructura sin compartir superficies de producto.

Arquitectura

Un modelo social respaldado por un grafo en Neo4j, expuesto a través de una API GraphQL. Los servicios de Kubernetes poseían las rutas de escritura y lectura para que el engagement y el etiquetado escalaran en sus propios ejes. Workers de escritorio en Electron se conectaban a un sistema central de indexación y modelos, así que el rendimiento del etiquetado no quedaba atrapado en una pestaña. El producto de engagement y el de etiquetado compartían identidad y patrones de clúster; no compartían interfaz.

Rol

Trabajé en la superficie GraphQL, el modelo de grafo, los servicios de Kubernetes y la conexión de los workers con el sistema central de indexación. El trabajo era mantener coherente el producto social mientras la ruta de etiquetado asumía un volumen que un pipeline solo de navegador no habría sobrevivido.

Resultados

• 400.000 usuarios activos en el producto de engagement.
• El pipeline de etiquetado operó al rendimiento esperado por clientes a escala de Adobe / Google / OpenAI. Es una afirmación sobre el volumen de operación, no un aval personal de esas empresas.
• Los workers de escritorio separaron el etiquetado del navegador para que el rendimiento pudiera crecer con el pool de workers.

Stack