El costo oculto de Warehouse-Native

El costo oculto de la tecnología nativa del almacén

En mParticle, nos hemos centrado en gran medida en respaldar los esfuerzos de gobernanza y calidad de los datos de nuestros clientes durante los últimos años, y lo hemos ampliado para respaldar las estrategias de «cero copias». Implementaremos nuestra propia arquitectura de superposición de CDW específicamente para este propósito.

Si bien reconocemos que la optimización del almacenamiento de datos es importante para la gobernanza, creemos que centrarse en optimizar los costos de procesamiento de CDP a fin de maximizar el valor para nuestros clientes es tanto una necesidad más apremiante del mercado como una oportunidad mucho mayor. Creemos que esto es fundamental, especialmente si tenemos en cuenta que todas las decisiones basadas en ML/IA con uso intensivo de computación que llegarán al mercado en los próximos trimestres.

Durante la última década, invertimos importantes recursos en la optimización continua de nuestra arquitectura informática, centrándonos específicamente en proporcionar capacidades de personalización a escala en tiempo real. Creemos que los especialistas en marketing a gran escala necesitarán esto para activar las capacidades de IA de CDP en tiempo real. En consecuencia, hemos estado investigando para determinar las arquitecturas informáticas óptimas para estos casos de uso específicos. Si bien el enfoque nativo del almacén ciertamente ofrece algunas características deseables, principalmente la herencia de las características de calidad y gobierno subyacentes de la CDW, no está altamente optimizado, ni puede estarlo, para aplicaciones escaladas en tiempo real. Incluso después de nuestros esfuerzos por optimizar al máximo, nuestra investigación muestra el siguiente perfil de costos para implementar audiencias con varias latencias de actualización:

Este gráfico muestra que pasar de las actualizaciones diarias de la audiencia a las actualizaciones cada hora puede resultar en un aumento de 25 veces mayor en los costos de procesamiento. Pasar de sincronizaciones diarias a sincronizaciones de cinco minutos, que son lo más parecido que se ofrece a las actualizaciones en tiempo real (algo que en realidad no se puede lograr en las arquitecturas nativas de los almacenes actuales), hace que los costos aumenten al menos 50 veces. Otra observación importante es la aceleración de los costos que se produce al mejorar las velocidades de actualización en menos de 24 horas.

Si bien los CDP nativos del almacén se benefician de un modelo de precios que no tiene por qué reflejar estos costos, sus clientes sí los pagan. Muchos están empezando a notar estos efectos en sus costos de procesamiento de CDW. Esto solo se verá agravado por las aplicaciones de ML/AI, que requieren una gran cantidad de cómputos. Dada nuestra visión a largo plazo de una CDP de IA agencial, que aproveche las señales de datos en tiempo real, no estamos convencidos de que las arquitecturas componibles actuales sean el mejor enfoque.

Para los clientes de CDP, la pregunta principal a tener en cuenta es si se necesitan aplicaciones de marketing de baja latencia para lograr sus objetivos estratégicos. Sin duda, si tiene transacciones de baja contraprestación o recorridos de clientes que son altamente interactivos, este será el caso. Más específicamente, ¿lo más probable es que necesite una variedad de segmentos de audiencia que puedan actualizarse a la misma velocidad a la que sus clientes interactúan? De ser así, este perfil de costos informáticos debería ser de gran interés e investigación, ya que de lo contrario sería un factor limitante para las capacidades de marketing a través de una solución nativa del almacén.

A largo plazo, las arquitecturas tipo lago o de malla de datos serán el principal mecanismo para abordar los costos de procesamiento. En estas arquitecturas, los motores de cómputos optimizados acceden a un almacén de datos universal, probablemente basado en Delta Lake o Iceberg. Un motor de procesamiento CDP optimizado será la arquitectura preferida para las aplicaciones de marketing avanzadas. Esta es la hoja de ruta que sigue mParticle.

Si bien el debate se ha prolongado en los últimos años sobre las ventajas, los costos, los beneficios y las desventajas de los diversos enfoques del CDP, queremos proporcionar pruebas contundentes de la diferencia de costos entre las soluciones optimizadas para la computación y las alternativas. Publicaremos los hallazgos completos en las próximas semanas, estad atentos.