Este viernes 18 de Mayo desde Danysoft te invitamos a participar en la primera de dos sesiones sobre las Novedades de SQL Server 2012 en el área de BI.

En la primera entrega vamos a comentar temas relativos a PowerPivot, SSAS – BISM, con sus dos modelos: tabular y multidimensional y algunas novedades de SSIS, digo algunas, porque hay mucho y bueno que contar tanto en SSAS como en SSIS.

Nuestro seminario abordará estos 3 temas de forma teórico-práctica aportando lo más posible en el tiempo que tenemos.

Y dentro de dos semanas, la segunda parte con las Novedades relativas a Calidad de datos… eso lo vemos luego, ahora lo importante es que nos estamos viendo este viernes 18 de Mayo conectados desde Danysoft para hablar de las Novedades de SQL Server 2012 en el área de BI.

Te esperamos

Todos los detalles en los eventos de Danysoft.

Como veremos a continuación en el editor no se aprecian novedades.

Esta tarea es muy importante porque permite extender nuestros paquetes y realizar acciones programando en MS Visual C# o MS Visual Basic, en este caso, versión 2010 claro está. La tarea no es nueva, ya existía y lo que es nuevo es que el motor ha sido actualizado a  VSTA 3.0,que viene con Visual Studio 2010 y está soportado por .NET 4. Además se le ha añadido el Script Component Debugging del que hablaremos en otra ocasión, aunque si tenemos inquietudes, ya podemos ir leyendo en el blog del SSIS Team.

Como si fuera poco, además, a mí me han gustado las nuevas ayudas. Se trata de trozos de muestras de código para realizar funciones diversas como puede ser trabajar con variables y parámetros, disparar eventos y trabajar con Administradores de conexión.

Aquí podemos ver la ayuda que se brinda en cada caso.

Por ejemplo, para trabajar con variables y parámetros

Para tratar con los Administradores de conexión

Y para lanzar eventos:

Espero que estos ajemplos puedan ayudar a que quienes se inician en SSIS, den con firmeza sus primeros pasos.

Mi primera tarea script con 2012 RC0, no puede ser otra que un “Hola Mundo” y les dejo con su código.

Y aquí la tarea en ejecución

Por último la tarea ejecutada satisfactoriamente.

Queda absolutamente todo por contar en SSIS 2012 RC0; pero prefiero continuar con la presentación de las herramientas. En las próximas entradas veremos las novedades para trabajar SSAS 2012 RC0 Multidimensional.

En la configuración de esta tarea no hay novedades, necesitamos definir el origen (la tabla o el fichero sobre el que deseamos hacer el perfil) y el destino (archivo donde se alojará). Luego lo vemos con el Visor de perfiles de datos, tal y como hicimos aquí, aquí,  aquí y aquí.

Esta tarea nos va a permitir comenzar a tocar SSIS centrándonos solamente en las novedades del entorno de tareas, que no es poco. Buscamos la tarea en el Grupo Common, vemos su ayuda y la arrastramos desde el Cuadro de Herramientas hasta el panel de Flujo de Control.

Ha cambiado el aspecto, algo más redondeado, icono diferente… poco más. Indica el error de configuración, que va a permanecer hasta tanto hayamos creado y configurado debidamente los Administradores de conexión y todas las propiedades necesaria.

Veamos las opciones del menú contextual

La novedad aquí es la opción Parametrizar, interesante …

Configuramos igual que antes, por eso no me detengo aquí, no hay nada nuevo e interesante que contar, si hay dudas, ya les he dejado los enlaces. Ejecutamos tarea y nos encontramos con otra novedad en cuanto a la forma de mostrar el progreso de las mismas.

Ejecutando…

Finaliza la ejecución con error 

Finaliza la ejecución sin error  

Esto es mucho más agradable para la vista que cubrir el fondo de la tarea de amarillo – rojo o verde, según el casa. Me gusta

Hay una nueva ficha, Parámetros, en el panel central de la plantilla de proyecto SSIS… interesante, otro día hablamos de esto.

En esta misma banda, donde están las fichas, a la derecha del todo vemos dos nuevos botones

para las variables, de las que también hablaremos en su momento, y las Herramientas de SSIS. No funciona como “quita y pon” sino que si no está visible, la muestra y la activa y si está visible, la activa. Lógicamente funciona tanto para Flujo de Control como para Flujo de Datos activando sus correspondientes herramientas.

Y ya que estamos… vamos a las herramientas, lo primero que vemos es que hay 4 grupos, están mejor divididas las tareas y el grupo Favoritos siempre nos da la posibilidad de personalizarlo según gustos y necesidades, me gusta . También han cambiado los iconos, esto es menos relevante, aunque todo lo que se haga en bien de mejorar la estética del producto es bien recibido ¿a que sí? Veamos entonces estos 4 grupos:

¿Y cómo juego con las tareas para acomodarlas? Nuestro fiel amigo, el clic derecho, acude a nuestra ayuda

Y si nos cansamos de jugar y hemos creado un desastre, pues … a dejarlo como estaba

Seguimos con lo que importa …mmmm hay tareas nuevas, Expression Task, por ejemplo, ya las iremos viendo.

Hay dos nuevas formas de acceder a la ayuda de una tarea en concreto

El  indicador de ayuda nos envía a MSDN con el tema concreto.

Además, tenemos la posibilidad de acceder a ejemplos que hayan sido publicados sobre una tarea o componente en concreto

De regreso al panel central nos encontramos con una barra de zoom, podemos alejar y acercar con toda comodidad y el botón que aparece debajo es para acomodar la imagen en el espacio que tengamos activo en el momento, qué bueno, de verdad !!

Y qué nos depara el clic derecho o mejor dicho, Menú contextual, sobre el panel central?

A ver … ¿Dónde está la opción Configuraciones de paquetes?  Anda, se puede activar el cuadro de herramientas desde aquí y al final … ¿Parametrizar? … pinta interesante Y … ¿qué será Getting Started?  Pues es otra opción de ayuda que nos permite dar nuestros primeros pasos de la mano de tutoriales, vídeos o artículos que están a nuestra disposición en la red.

En fin que no será por material, ¿será por tiempo?

Y para terminar… la barra de herramientas de Visual Studio 2010… vamos a mostrar todas las barras !!!!

Es mucho lo que hay, para SSIS, para SSAS, para programación en VS.NET … yo me despido con lo que puede ser un par de botones mágicos e inexistentes en la versión anterior  … señoras y señores, demos una calurosa bienvenida a  ¡¡¡   !!!

Y si desplegamos… deshacemos una acción… y podemos rehacerla ¡!!!

Gracias, gracias, gracias … ahora podremos equivocarnos y rectificar como simples mortales. Ya podemos Deshacer y Rehacer en SSIS 2012 RC0 !!!!

En la base de la Plataforma BI de SQL Server se encuentra SQL Server Integration Services, una potente herramienta para integración, limpieza y transformación de datos que viajan de un origen y formato determinado a un destino y formato igual o diferente.

En este blog he dedicado mucho tiempo y esfuerzo a SSIS, y lo que falta , por lo que no es de extrañar que haya decidido empezar mis andanzas de SQL Server 2012 RC0 precisamente por aquí.

Lo que voy a hacer es seguir el mismo camino andado ya para SSIS 2008 y 2008R2, de tal forma que me sea más fácil encontrar diferencias y novedades.

Lo primero, tal y como conté aquí, es crear el proyecto SSIS, allá vamos: Inicio – Todos los Programas – Microsoft SQL Server 2012 RC0 …

¿Dónde está BIDS? No está , tampoco hay nada que me indique entrada a VS 2008 ; pero sí que hay a VS 2010 bien ¡!! Allá vamos

Se va abriendo VS 2010, no es la primera vez que lo utilizo, así es que no me sorprendo …

Termina de abrir…

Nuevo Proyecto…

Bueno … hay diferencias, recordemos en BIDS para 2008R2

Falta el proyecto para modelos de informe… no me extraña, con la posibilidad de compartir los conjuntos de datos en informes y las funcionalidades del Report Builder 3.0, quizás haya dejado de cumplir su función, bien. El resto de plantillas para informes se mantiene.

Falta el Asistente para proyectos de conexión … no lo utilicé nunca, seguimos. La plantilla para proyectos de Integration Services se mantiene.

Falta Importar base de datos de Analysis Services, bueno, yo creo que esto era lo mismo que abrir la base de datos multidimensional,  y crear con ella un proyecto, en lugar de abrir el proyecto. La plantilla para Analysis Services Multidimensional con Minería de datos, la que conocíamos de antes, se mantiene.

¡ Otra novedad ¡ Una plantilla Analysis Services Tabular Proyect !… ahí lo dejo, para otra ocasión; pero quédense con este nombre, que vamos a hablar mucho de esto, junto con algo llamado Business Intelligence Semantic Model o BISM.

Seleccionamos la plantilla para Integration Services y al entrar…

Como dije antes,  voy a comentar los distintos aspectos que me han resultado interesantes, sin orden de importancia ni impacto de la funcionalidad y esto será, en la próxima…

Si nosotros nos encontramos enfrascados en la tarea de navegar por los datos para detectar su contenido, estructura, patrones, longitudes, dependencias funcionales, posibles columnas para convertirse en claves, en fin, lo que sería un diagnóstico completo de nuestros datos, nada mejor que crear un perfil completo desde la tarea  Generación de Perfiles de datos que encontramos en las herramientas del Flujo de control de SSIS 2008 y 2008 R2.

Este perfil se almacena en un fichero TXT o XML según se decida y se puede abrir como cualquier otro fichero, o, mejor aun y es lo suyo para poder sacar provecho de todo, lo abrimos con el Visor de Perfiles de datos o Data Profile Viewer que se instala junto con SSIS.

Estos temas, la generación y la exploración de perfiles, los cubrí con bastante amplitud cuando comencé mi viaje por SSIS, así es que me limito hoy a volver a aconsejar su uso, porque evita muchos dolores de cabeza, ayuda no solo a conocer el contenido del dato y la cantidad de población o casos que tiene cada valor de la columna, permite sobre todo detectar anomalías y patrones, esto es muy importante en labores de integración y creación de Datawarehouse para  futura creación de cubos OLAP.

1.- Tarea generación de perfiles I – Configuración

2.- Tarea generación de perfiles II – Visualización – Caso A

3.- Tarea generación de perfiles II – Visualización – Caso B

4.- Tarea generación de perfiles III – Visualización – Caso C

5.- Tarea generación de perfiles SSIS 2008 – Patrones exactos y aproximados.

Les dejo con una imagen, que como siempre vale más que mil palabras, en las que se demuestra la anomalía existente en esta tabla que contiene direcciones y donde no coincidentodas las direcciones correspondientes a la ciudad Berlin tienen asociado el mismo identificador de Provincias, esto es un error muy grave si lo que pretendemos es realizar análisis de resultados por provincias, o predicciones para provincias o seleccionar los clientes de una provincia y ciudad determinadas en una jerarquía.

Todo esto y mucho más ofrecen los perfiles creados en SSIS y mostrados a través de este visor, podemos saber, por ejemplo, qué columnas sería posible recomendar como columnas claves, a partir de tener datos únicos y libres de valores NULL, cuál es la dependencia entre columnas, como se vio en la imagen anterior, cuál es la distribución de las longitudes que hay en las columnas, esto es básico si no coinciden con la longitud del destino, y además nos refleja inmediatamente la presencia de datos no válidos para el análisis, como es el caso del código postal para España que tenía valores de longitud de cero a 10, cuando el correcto es 5. Podemos además saber la distribución de estos valores, cuánta población hay en cada caso, lo que refleja de inmediato existencia de datos anómalos o cuanto menos, sospechosos ya que aparecen escasas veces dentro de la muestra, se alejan del umbral de los datos “normales”. Así mismo contamos con la posibilidad de conocer los distintos patrones que tienen los datos para una columna, si regresamos al código postal, pues es importantísimo, el patrón para España está clato 99999, todo lo que salga de esto hay que transformarlo.

A partir de la próxima entrega vamos a centrarlos en MS Office Excel 2010, y aquí nos quedaremos en el transcurso de la serie sobre Examinar datos.

1.- Introducción a la serie Depuración, Control de Errores y Configuración de paquetes SSIS

2.- Utilizar puntos de Comprobación con SSIS 2008 (I)

3.- Utilizar puntos de Comprobación con SSIS 2008 (II)

4.- Utilizar puntos de Comprobación con SSIS 2008 (III)

5.- Depurar paquetes de SSIS (I)

6.- Depurar paquetes de SSIS (II)

7.- Trabajo con Transacciones desde SQL Server Integration Services 2008

8.- Trabajo con Transacciones desde SQL Server Integration Services 2008 – Preparación

9.- Trabajo con Transacciones desde SQL Server Integration Services 2008 – Tarea

10.- Trabajo con Transacciones desde SQL Server Integration Services 2008 – Contenedor

11.- Configuración de registros con SSIS 2008

12.- Crear conexiones y registros con SSIS 2008

13.- Examinar registros creados con paquetes SSIS 2008

14.- Trabajar con controladores de eventos en SSIS 2008

15.- Trabajar con controladores de eventos en SSIS 2008 (II)

¡¡ Felices vacaciones de Semana Santa !! Al regreso … nueva serie …

Creamos un paquete nuevo, sencillo, con un contenedor de secuencias que tiene un par de tareas, las mismas con las que hemos estado trabajando, una correcta y otra incorrecta.

Si ejecutamos, como ya sabemos, el error se refleja tanto en la tarea, como en el contenedor.

Activamos la ficha Controlador de eventos y configuramos una tarea del mismo modo que hicimos antes.

Hoy vamos a ver cómo, si un evento no tiene configurado un Controlador de eventos, el evento se desencadena en el siguiente contenedor en sentido ascendente en la jerarquía de contenedores en un paquete.

Elimino este controlador y creo uno similar a nivel de contenedor, el texto en ete caso será “Se ha disparado un evento a nivel de Contenedor.”

Como la tarea que provoca el error no tiene controlador, se desencadena en el siguiente contenedor en sentido ascendente en la jerarquía de contenedores, es decir en el contenedor.

Lo mismo ocurre al quitar el controlador a nivel de contenedor y dejarlo a nivel de paquete como muestran las siguientes dos imágenes.

La posibilidad de acometer acciones que se inicien como consecuencia de eventos es una funcionalidad muy beneficiosa de SSIS.

He creado un paquete a partir del anterior donde desabilito las dos primeras tareas que no son significativas de lo que quiero mostrar.

Pasamos a la ficha Controladores de eventos del Diseñador SSIS que sirve para crear controladores de eventos personalizados.

Crear un controlador de eventos es similar a generar un paquete. Un controlador de eventos tiene tareas y contenedores, que se ordenan en un flujo de control, y un controlador de eventos también puede incluir flujos de datos.

De la lista de elementos que tenemos en el desplegable Ejecutable, seleccionamos Tarea con Error y del desplegable Controlador de eventos, el evento OnError que es el predeterminado.

Arrastramos una tarea Script que configuramos para que devuelva el mensaje “Se ha producido un error”

Al ejecutar el paquete, como consecuencia del error en la tarea, se dispara el evento OnError (como había quedado demostrado antes en el tema de registros) y el controlador de eventos hace que se ejecute la tarea que script que describe el error. Como vemos en la imagen, se detiene la ejecución, que de momento indica que la tarea está en proceso, mostrando color amarillo.

Al Aceptar el mensaje de error, termina la ejecución de la tarea y como existe error en la misma, queda de color rojo.

En la siguiente entrega veremos cómo funcionan estos controladores en contenedores de paquetes de SSIS.

Lo primero es comprobar que en efecto se han creado los archivos de registro, tanto TXT como XML, luego vemos el contenido del fichero RegistroTXT

La información sobre el error está en

El archivo RegistroXML por su parte, muestra lo mismo, con su formato

Y la información del error

En cuanto al registro en Base de datos SQL Server, vamos a verificar nuestra base de datos MiDestino que fue donde indicamos alojar el registro, la tabla sysssislog es la encargada y en efecto está creada.

La estructura de esta tabla coincide con las columnas que analizamos antes en el detalle de las propiedades de los eventos.

Estas eran las propiedades

Y este es el resultado de realizar una consulta sobre la tabla sysssislog

Esta será sin dudas una excelente forma de analizar lo sucedido en nuestros paquetes, aplicando T-SQL para su exploración y análisis.

De esta forma termino la introducción a la obtención de Registros de ejecución (logs) desde SSIS. Ya conocemos los eventos y sus propiedades y los  hemos registrado, ahora podemos llegar más allá, podemos controlarlos, por ello y como último elemento de esta serie voy a comentar brevemente sobre los Controladores de eventos.