La segunda jornada del Summit SolidQ en Madrid 2013 en la sala BI comenzó con una clase magistral del maestro Javier Loria que expuso y demostró su sesión Arquitectura BI. De principio a fin. Brillante… bueno, es Javier Loría, no digo más 🙂

Les cuento que la sesión estuvo dedicada a ver con ojos críticos, o más bien pragmáticos, los aspectos que en temas de Diseños de Data Warehouse y modelado dimensional han defendido dos reconocidas figuras: Ralph Kimball y Bill Inmon, porque partimos de que hay que aprender cómo funcionan las reglas, para luego, si hace falta, romperlas 🙂 Sería muy largo de explicar, me gustó mucho la comparativa y el análisis enfocado desde el punto de vista de que una arquitectura trata de un sistema que está afectado por el entorno, los participantes y su misión y esto tiene que ver mucho con que haya que cambiar en algo la forma de pensar el modelado BI en la actualidad, donde ya no sólo hablamos de Big Data, sino que los orígenes son tan; pero tan diversos, (redes sociales incluidas) y donde, por ejemplo, la capacidad de procesamiento en memoria ha crecido de forma inimaginable, en este otro entorno, la arquitectura ha de ser diferente.

Mucho se ha hablado, por citar uno de los temas, del área de stagging en el modelado dimensional, que si es imprescindible, que si un mal necesario, que si recarga y demora inútilmente… será según cada caso. Otro aspecto a tener en cuenta es que en nuestros días, a mayor latencia de datos, menos valor para nuestro negocio. Hay que tener en cuenta cada caso, no hay recetas estrictas, hay tipos de usuarios de BI diferentes, con diferentes tipos de enfoques, niveles de decisión y de latencia. Hubo tiempo para analizar otras opciones (no Kimball-Inmon) como ir del ERP al OLAP, pasar por un ETL que haga extracción sin pasar por DW y utilizar ODS – Operational Data Store. En todos los casos discutimos sus ventajas y desventajas, y alguna demo. Sobre ODS tuve «Bonnus track», porque conté con la generosidad de Javier que me mostró la problemática y la solución a través de ODS, me pareció muy útil. Esta es de las sesiones que luego te hace pensar una y otra vez en estos temas y llevarte de nuevo el libro de Kimball a la mesita de noche. Gracias maestro !!

Como tuve Bonnus track, tuve que apurar el café; pero valió la pena,… ah! y… cambiamos de sala… gracias, gracias, gracias… mucho mejor 🙂 Llegué a tiempo de la charla de Miguel Egea (@miguelEgea) que nos mostró el trabajo con  ETL para gestionar cambios. Y como se trata de Miguel, la demo está garantizada y ¡¡ qué demo !! La idea es que para el modelado dimensional es muy importante el control de los cambios que se producen en los atributos de dimensiones a través del tiempo, si sí, aquello de las SCD, que puede tener toda la complejidad que se quiera si cambian dos atributos, que además tienen tipos diferentes, en fin… planteado el problema, quedó demostrada la solución empleando CDC, que aunque para el motor relacional no es novedad 2012, para SSIS sí que lo es y por partida doble, como tarea y como componente de Flujo de datos. Y lo vimos desde distintos ángulos, discutimos la solución, aprendimos mucho.  La demo estuvo preparada de forma impecable y defendida que ni les cuento. Gracias Miguel por todo lo que conseguiste mostrar, demostrar y reflexionar en tan corto tiempo, y como siempre, hubo tiempo también, para la diversión. Estuvo brillante, es brillante… bueno, es Miguel 🙂

La tercera sesión y última de la mañana estuvo impartida por Ildefonso Mas y trataba de Moldear la información a demanda  y yo pensé que sería con PowerPivot o Modelo Tabular; pero seguro seguro que sería DAX y me equivoqué, Ilde estaba impartiendo una sesión de nivel 400 de MDX, ¡qué grande Ilde! Pues sí, nos comentó sobre los requisitos del cliente, que van cambiando según … pues según va descubriendo cosas con el cubo o según tenga el día :); pero sin dudas todos hemos padecido lo que Ilde ha llamado “requisitos lentamente cambiantes”, me encanta 🙂 , es una realidad que tiene que ver con la agilidad conque afrontamos los cambios y cómo nos preparamos para afrontarlos en el futuro, porque habrá, de eso estamos seguros. Y tendremos que sopesar entre tiempo de desarrollo (SSIS) y tiempo de consultas (SSAS). La cuestión aquí es reasignar el espacio del cubo, que no agrandarlo, y esto se consigue con SCOPE (MDX) que nos dice cuál es la porción de cubo que vamos a reasignar y luego THIS (MDX) para realizar la asignación del cambio. Mostró tres ejemplos para solucionar problemáticas vividas en cliente, que iban aumentando complejidad, que fueron desarrollados en un proyecto multidimensional de Data Tools de SQL Server 2012 y cuyos resultados fueron demostrados con Excel.

¡Qué sesión! La preparación fue excelente, los ejemplos acertadísimos, el ritmo no decayó, la didáctica a la hora de mostrarlos inmejorable, Ilde estuvo magistral. Necesitaré bastante más tiempo que una sesión para asimilarlo todo.

Llegó la hora de comer, yo estaba eufórica con las tres sesiones matutinas. En la comida, hablamos de BI, DQS, MDS, SSIS, SSAS, DAX, MDX, ERP… ¿será posible? Pues sí, todas estas siglas nos acompañaron … 🙂 ah, bueno, hablamos también de la familia,  y de muchos temas más … dio para mucho tan bien organizado como está, cero latencia !! Gracias a todos los que están detrás de los temas organizativos, el trabajo que están desarrollando es excelente, la logística es impecable.

De regreso al trabajo, nuevamente Ilde Mas con otro grande entre los grandes, Salvador Ramos con el tema Diagnosticar y curar, todo es empezar.  Con los años los paquetes SSIS se han llenado de componentes que no se utilizan, las carpetas y base de datos MSDB de paquetes que no se utilizan, conexiones duplicadas o inútiles, flujos de datos que no llegan a ninguna parte, es decir que no se cargan en ningún destino, problemas en logs y configuraciones, en fin, que ha llegado la hora de limpiar y se plantea ¿quién?, ¿cómo?, ¿restaurar todo o parte? ¿mover? ¿migrar?… El ciclo ha de ser: Inventariar – Diagnosticar – Buscar Solución – Automatizar y Curar!! Y no olvidarnos de que hay que ocuparse de mantener las buenas prácticas y que el ciclo hay que repetirlo pasado algún tiempo.  El trabajo desarrollado es de altísima calidad, la demostración se agradece mucho, porque está claro que es viable y sostenible, que hay que aprender a trabajar con el modelo de objetos SSIS  que está en la API y que el objetivo de diagnosticar y modificar paquetes de forma masiva lo cumplieron de forma brillante, un caso de éxito indiscutible. Gracias por compartir sus experiencias y por preparar una demostración tan descriptiva . Enhorabuena Salva e Ilde !!

Y para finalizar, “last but not least” disfrutamos de una sesión sobre Data Explorer, un ETL para usuarios finales, impartida por Sergio Carrillo. Data Explorer es un add-in de Excel 2013, OJO, que se puede descargar también para Excel 2010, lo cual es una excelente noticia. Pues lo que podemos hacer con Data Explorer, según lo perfectamente bien demostrado por Sergio es muchísimo, DE, nos permite descubrir, combinar y refinar los datos, en fin, un ETL de toda la vida :), es posible trabajar con muchísimos orígenes de datos, como viene siendo habitual en las nuevas funcionalidades de Excel, entre todas me gustó mucho el origen Carpetas ya que podemos hacer búsquedas y limpieza de carpetas de documentos desde Excel, yo preciso de estas cosas, creo que me vendrá muy bien. Y si regresamos al BI pues es posible importar, guardar las consultas para reutilizarlas, filtrar columnas y contenidos, crear columnas calculadas, duplicar y/o dividir columnas, … y muchas muchas más cosas. Los ejemplos estuvieron preparados con mucho acierto, es casi impensable la cantidad de funcionalidades con orígenes y formatos tan diferentes como pueden ser Facebook y cubos OLAP, pasando por listas Sharepoint y SSRS, eso sí, convertidos a XML, porque tal y como son no se admiten. Seguramente le queda un buen camino por andar; pero a mí Sergio me ha convencido y aunque no sustituye ni mucho menos a los SSIS, ni se acerca a su potencia y madurez, es verdad que permite importar cómodamente algunos orígenes de datos, que para SSIS son más complejos de configurar. Vamos, que ya me lo he descargado, y en cuanto me den un chance, me pongo a jugar !! Muchísimas gracias Sergio, has estado muy bien, excelente.

Terminó una jornada en la que toda la familia SolidQ estuvo brillante, muchísimas gracias a tod@s !!!