Si nosotros nos encontramos enfrascados en la tarea de navegar por los datos para detectar su contenido, estructura, patrones, longitudes, dependencias funcionales, posibles columnas para convertirse en claves, en fin, lo que sería un diagnóstico completo de nuestros datos, nada mejor que crear un perfil completo desde la tarea  Generación de Perfiles de datos que encontramos en las herramientas del Flujo de control de SSIS 2008 y 2008 R2.

Este perfil se almacena en un fichero TXT o XML según se decida y se puede abrir como cualquier otro fichero, o, mejor aun y es lo suyo para poder sacar provecho de todo, lo abrimos con el Visor de Perfiles de datos o Data Profile Viewer que se instala junto con SSIS.

Estos temas, la generación y la exploración de perfiles, los cubrí con bastante amplitud cuando comencé mi viaje por SSIS, así es que me limito hoy a volver a aconsejar su uso, porque evita muchos dolores de cabeza, ayuda no solo a conocer el contenido del dato y la cantidad de población o casos que tiene cada valor de la columna, permite sobre todo detectar anomalías y patrones, esto es muy importante en labores de integración y creación de Datawarehouse para  futura creación de cubos OLAP.

1.- Tarea generación de perfiles I – Configuración

2.- Tarea generación de perfiles II – Visualización – Caso A

3.- Tarea generación de perfiles II – Visualización – Caso B

4.- Tarea generación de perfiles III – Visualización – Caso C

5.- Tarea generación de perfiles SSIS 2008 – Patrones exactos y aproximados.

Les dejo con una imagen, que como siempre vale más que mil palabras, en las que se demuestra la anomalía existente en esta tabla que contiene direcciones y donde no coincidentodas las direcciones correspondientes a la ciudad Berlin tienen asociado el mismo identificador de Provincias, esto es un error muy grave si lo que pretendemos es realizar análisis de resultados por provincias, o predicciones para provincias o seleccionar los clientes de una provincia y ciudad determinadas en una jerarquía.

Todo esto y mucho más ofrecen los perfiles creados en SSIS y mostrados a través de este visor, podemos saber, por ejemplo, qué columnas sería posible recomendar como columnas claves, a partir de tener datos únicos y libres de valores NULL, cuál es la dependencia entre columnas, como se vio en la imagen anterior, cuál es la distribución de las longitudes que hay en las columnas, esto es básico si no coinciden con la longitud del destino, y además nos refleja inmediatamente la presencia de datos no válidos para el análisis, como es el caso del código postal para España que tenía valores de longitud de cero a 10, cuando el correcto es 5. Podemos además saber la distribución de estos valores, cuánta población hay en cada caso, lo que refleja de inmediato existencia de datos anómalos o cuanto menos, sospechosos ya que aparecen escasas veces dentro de la muestra, se alejan del umbral de los datos “normales”. Así mismo contamos con la posibilidad de conocer los distintos patrones que tienen los datos para una columna, si regresamos al código postal, pues es importantísimo, el patrón para España está clato 99999, todo lo que salga de esto hay que transformarlo.

A partir de la próxima entrega vamos a centrarlos en MS Office Excel 2010, y aquí nos quedaremos en el transcurso de la serie sobre Examinar datos.

1.- Introducción a la serie Depuración, Control de Errores y Configuración de paquetes SSIS

2.- Utilizar puntos de Comprobación con SSIS 2008 (I)

3.- Utilizar puntos de Comprobación con SSIS 2008 (II)

4.- Utilizar puntos de Comprobación con SSIS 2008 (III)

5.- Depurar paquetes de SSIS (I)

6.- Depurar paquetes de SSIS (II)

7.- Trabajo con Transacciones desde SQL Server Integration Services 2008

8.- Trabajo con Transacciones desde SQL Server Integration Services 2008 – Preparación

9.- Trabajo con Transacciones desde SQL Server Integration Services 2008 – Tarea

10.- Trabajo con Transacciones desde SQL Server Integration Services 2008 – Contenedor

11.- Configuración de registros con SSIS 2008

12.- Crear conexiones y registros con SSIS 2008

13.- Examinar registros creados con paquetes SSIS 2008

14.- Trabajar con controladores de eventos en SSIS 2008

15.- Trabajar con controladores de eventos en SSIS 2008 (II)

¡¡ Felices vacaciones de Semana Santa !! Al regreso … nueva serie …

Creamos un paquete nuevo, sencillo, con un contenedor de secuencias que tiene un par de tareas, las mismas con las que hemos estado trabajando, una correcta y otra incorrecta.

Si ejecutamos, como ya sabemos, el error se refleja tanto en la tarea, como en el contenedor.

Activamos la ficha Controlador de eventos y configuramos una tarea del mismo modo que hicimos antes.

Hoy vamos a ver cómo, si un evento no tiene configurado un Controlador de eventos, el evento se desencadena en el siguiente contenedor en sentido ascendente en la jerarquía de contenedores en un paquete.

Elimino este controlador y creo uno similar a nivel de contenedor, el texto en ete caso será “Se ha disparado un evento a nivel de Contenedor.”

Como la tarea que provoca el error no tiene controlador, se desencadena en el siguiente contenedor en sentido ascendente en la jerarquía de contenedores, es decir en el contenedor.

Lo mismo ocurre al quitar el controlador a nivel de contenedor y dejarlo a nivel de paquete como muestran las siguientes dos imágenes.

La posibilidad de acometer acciones que se inicien como consecuencia de eventos es una funcionalidad muy beneficiosa de SSIS.

He creado un paquete a partir del anterior donde desabilito las dos primeras tareas que no son significativas de lo que quiero mostrar.

Pasamos a la ficha Controladores de eventos del Diseñador SSIS que sirve para crear controladores de eventos personalizados.

Crear un controlador de eventos es similar a generar un paquete. Un controlador de eventos tiene tareas y contenedores, que se ordenan en un flujo de control, y un controlador de eventos también puede incluir flujos de datos.

De la lista de elementos que tenemos en el desplegable Ejecutable, seleccionamos Tarea con Error y del desplegable Controlador de eventos, el evento OnError que es el predeterminado.

Arrastramos una tarea Script que configuramos para que devuelva el mensaje “Se ha producido un error”

Al ejecutar el paquete, como consecuencia del error en la tarea, se dispara el evento OnError (como había quedado demostrado antes en el tema de registros) y el controlador de eventos hace que se ejecute la tarea que script que describe el error. Como vemos en la imagen, se detiene la ejecución, que de momento indica que la tarea está en proceso, mostrando color amarillo.

Al Aceptar el mensaje de error, termina la ejecución de la tarea y como existe error en la misma, queda de color rojo.

En la siguiente entrega veremos cómo funcionan estos controladores en contenedores de paquetes de SSIS.

Lo primero es comprobar que en efecto se han creado los archivos de registro, tanto TXT como XML, luego vemos el contenido del fichero RegistroTXT

La información sobre el error está en

El archivo RegistroXML por su parte, muestra lo mismo, con su formato

Y la información del error

En cuanto al registro en Base de datos SQL Server, vamos a verificar nuestra base de datos MiDestino que fue donde indicamos alojar el registro, la tabla sysssislog es la encargada y en efecto está creada.

La estructura de esta tabla coincide con las columnas que analizamos antes en el detalle de las propiedades de los eventos.

Estas eran las propiedades

Y este es el resultado de realizar una consulta sobre la tabla sysssislog

Esta será sin dudas una excelente forma de analizar lo sucedido en nuestros paquetes, aplicando T-SQL para su exploración y análisis.

De esta forma termino la introducción a la obtención de Registros de ejecución (logs) desde SSIS. Ya conocemos los eventos y sus propiedades y los  hemos registrado, ahora podemos llegar más allá, podemos controlarlos, por ello y como último elemento de esta serie voy a comentar brevemente sobre los Controladores de eventos.

Lo primero será asegurarnos de que el paquete está seleccionado en el panel de la izquierda, por tanto seleccionamos todo el paquete como contenedor a registrar

Ahora vamos a definir y configurar el proveedor de registro como destinatario del registro de ejecución del paquete, en este caso van a ser tres proveedores: para archivos de texto, para archivos XML y para SQL Server

Pasamos a la configuración

Para archivos de texto, creamos una nueva conexión indicando una ruta válida y asignando un nombre al fichero que se creará y rellenará con el registro.

Para archivos XML se procede de igual forma

Para SQL Server hay que escoger una conexión a una BBDD, en mi caso, basta con emplear una de las conexiones que tengo activas en el paquete

Una vez definidos los proveedores, los seleccionamos

Para especificar el detalle de los eventos que serán registros pasamos a la ficha Detalles de la ventana Configurar registros de SSIS

Para estos eventos existe una vista avanzada, la vemos y la dejamos tal cual. En esta vista además de los eventos, tenemos la información que se va a registrar para cada evento. Esta información es: Nombre del equipo, El nombre de usuario de la persona que ha iniciado el paquete, El nombre del paquete, contenedor o tarea en la que ha tenido lugar el evento registrado, El nombre del identificador único global (GUID) del paquete, la tarea o el contenedor en el que ha tenido lugar el evento registrado, El identificador único global de la instancia de ejecución del paquete y  Un mensaje asociado con la entrada del registro.

Además, tenemos un par de opciones disponibles:

Cargar nos permite especificar un archivo XML para utilizarlo como plantilla para establecer las opciones de registro. Muy útil para reutilizar la configuración.

Guardar que almacena los detalles de la configuración como una plantilla XML. En nuestro ejemplo le hemos llamado PlantillaRegistros y este es el contenido, como se ve sería muy sencillo cambiar alguna configuración en esta plantilla y reutilizarla.

Ahora sólo queda ejecutar el paquete y examinar los registros, a esto dedicaremos nuestra siguiente entrada.

Hace una semana que desarrollamos el Primer Encuentro on-line de Mujeres IT en Iberoamérica.

El encuentro nació con éxito, la idea era buena desde el inicio. En lo personal me motivó mucho poder conocer mujeres IT americanas, con distintas lenguas, costumbres, y hasta profesiones; pero un interés común, mostrar nuestro trabajo con SQL Server y la capacidad de llevarlo a término como profesionales, además de ser mujer, madre, esposa, psicóloga, enfermera, geriatra, pediatra, cocinera, costurera, compañera, amante … en fin … todo lo demás que encierran los detalles de la vida cotidiana.

Para la organización, el reto era grande: distintos horarios, distintos países, distintas condiciones para lograr buena conexión, lo dicho, todo un reto, que se superó solamente gracias al esfuerzo del team que estuvo a cargo de la organización y moderación del evento. Mi más sincera enhorabuena a todos y gracias por toda la atención que nos brindaron en aras de que todo saliera bien. Era un evento de mujeres apoyadas y atendidas por hombres, no se podía pedir más

Para las ponentes, era una oportunidad, un reto tomado con mucha seriedad y responsabilidad. La calidad de las presentaciones que conseguí ver era altísima, gracias a todas, he aprendido muchas cosas interesantes, ha sido un enorme placer poderlas escuchar y “ver” en acción.

Seguramente habrá aspectos que mejorar, yo no pude ver todas las charlas, por horarios y un viaje imprevisto, por lo que no soy capaz de definirlos. Seguramente que el equipo organizador los tiene controlados para superarse para la próxima, como la vida misma, reto superado, a mejorarlo !!!

Doy las gracias a todos los que pusieron su granito de arena, yo viví mi presentación con intensidad y cuando hablo de ello, lo hago con emoción, como dije ya, mis datos viajaron de origen a destino y SSIS les tendió el puente que necesitaban. Gracias por la oportunidad, un regalo.

¡¡¡¡ Larga vida al IT WOMAN PASS LATAM !!!!

Pues poco me queda por decir de este evento, luego de anunciarlo aquí y comentarlo aquí, aquí y aquí,

Se trata de la celebración, por primera vez, de un evento on-line de la comunidad PASS LATAM en el que las ponentes son todas mujeres IT. Estamos celebrando el mes de la mujer y esta es nuestra mejor contribución a la fiesta.

El sitio oficial del evento es éste.

Esperamos que nos acompañes estos días 22 y 23 de Marzo.

Les estamos esperando, con los motores encendidos, hemos calentado la caché, están hechas las pruebas unitarias y puesta toda la carne en el azador .

¡ Te esperamos !

Nueva charla on line gratuita el 25 de marzo de 2011, de 12 a 13.30 horas

Este mes vamos a estar hablando de SQL Server Integration Services 2008, la charla durará algo más de una hora y estaremos comentando algunas funcionalidades de Integration Services 2008 y vamos a empezar a tocar lo que de momento se contó en la CTP Pública de Denali … hay que estar al tanto, dicen que habrá novedades en la CTP2; pero de momento toca esperar .

Estos seminarios on-line gratuitos son una vía bastante buena para ponerte en contacto con Danysoft, ver un poco las cosas que desde allí hacemos y acercarte a una herramienta que quizás, desde el desconocimiento, te de algún reparo intentar utilizarla. No temas SSIS es tu amigo y es el puente ideal para que tus datos se muevan de un sitio a otro, se transformen y se “limpien”.

Toda la información sobre este seminario, la tienes aquí.

Recuerda, te esperamos y no olvides registrarte para enviarte la invitación a la reunión !!!

Nos vemos el día 25 de Marzo !!!

Vamos a trabajar con un paquete más sencillo que el anterior, vamos a tener tres Tareas T-SQL y una Tarea de Flujo de datos, el objetivo es que ocurra un proceso de extracción, transformación y carga de datos y que además tengamos situaciones de error que se reflejen en el registro. Este será el aspecto de nuestro paquete.

Las novedades aquí se centran en las dos tareas SQL , en una de ellas hemos provocado un error, sus sentencias son:

Para la tarea SQL que se llama Tarea con Error hemos escrito la sentencia siguiente:

Select ‘Hola’ from ‘Hola’

Esta sentencia provoca el siguiente error de T-SQL

[Tarea Ejecutar SQL] Error: Error al ejecutar la consulta “Select ‘Hola’ from ‘Hola’”: “Sintaxis incorrecta cerca de ‘Hola’.”. Posibles motivos del error: problemas con la consulta, la propiedad “ResultSet” no fue establecida correctamente, parámetros no establecidos correctamente o conexión mal establecida.

Por otra parte, para la tarea SQL que se llama Tarea Correcta hemos escrito la sentencia siguiente:

Select ‘Hola’

En esta consulta no se genera ningún error

Lo primero que necesitamos para trabajar con los registros es configurarlos, para lo que nos vamos a la primera opción del menú SSIS que es precisamente Registro …

En esta ventana podemos ver a la izquierda, en el panel Contenedores, todas las tareas que existen en el paquete y el paquete como tal. Cada una de las tareas pueden ser configuradas de forma independiente, luego veremos cómo sería esto. Para poder crear un Registro es preciso que estemos situados en el paquete, luego a nivel de contenedor interno (entiéndase tarea o contenedor) solo tenemos la oportunidad de seleccionar el registro previamente configurado y los eventos que deseamos registrar.

En el panel de la derecha tenemos dos fichas. La ficha Proveedores y registros nos va a permitir trabajar con los proveedores de registros, seleccionar el tipo y crear la conexión según el Tipo de proveedor. Luego podemos seleccionar qué Proveedores de registro vamos a utilizar con el contenedor.

En la ficha Detalles nos vamos a encontrar, como muestra la figura,  con los eventos que pueden ser registrados y una breve explicación de lo que ocurre en cada caso.

Con toda esta información inicial nos quedamos, en la próxima vamos a configurar los registros.