Configuration de workflow Oozie

Dans cet article, nous allons créer un workflow oozie pour orchestrer le chargement quotidien de la table de dimension "Showroom" et la table de fait "Sales" de la source MySQL vers HDFS à l'aide de Sqoop, suivi du chargement de données de HDFS vers un entrepôt Hive à l'aide de Hive, puis archiver.

Se connecter à l’interface Web Ambari, avec l’utilisateur edw_user. Ouvrir Workflow Manager View pour développer notre Worflow afin de charger quotidiennement le "Data Lake".

Commençons par créer un workflow de chargement quotidien pour la dimension Showroom. Cliquez sur Créer un Workflow et nommez-le.

Ajoutez un nœud d’action Sqoop , entre les nœuds Début et Fin. Cliquez ensuite sur l’icône Paramètres du nœud Sqoop. 
Dans l'onglet Général, sélectionnez l'option Envoyer en tant que ARGS. Ajouter cinq args.

Cliquez ensuite sur Paramètres et entrez les configurations des paramètres workflow.

Ajoutez ensuite un nœud d’action Hive2 , après le nœud d'action sqoop. Cliquez ensuite sur l'icône Paramètres pour le nœud Hive2. Sous l'onglet Général, sélectionnez option hive en tant que script . Ajoutez le chemin du fichier de script sous la forme suivante: /user/edw_user/sales/scripts/scripts.hql. Entrez l'URL jdbc: jdbc:hive2://sandbox-hdp.hortonworks.com:10000/ sales_analytics edw_user et un mot de passe.

Ajoutez ensuite un nœud d’action Shell , après le d'action hive. Cliquez ensuite sur l'icône des paramètres pour Shell Node. Sous Général, exec entrez le chemin du fichier de script sous la forme  /user/edw_user/sales/scripts/script.sh 
Sous Propriétés avancées, entrez Fichier en tant que /user/edw_user/sales/scripts/script.sh.

Enfin, cliquez sur Enregistrer tout en donnant l'extension .xml au fichier workflow cochez l'option "overwrite". Cliquez ensuite sur "Validate" puis sur "Submit", cochez la case Remplacer et "Run on Submit" pour tester le workflow.

Nous allons maintenant créer un workflow de chargement quotidien pour "Sales Fact". Cliquez sur Créer et développer un flux de travail, nommer-le.

Ajoutez un nœud d’action Sqoop, entre les nœuds Début et Fin. Cliquez ensuite sur l’icône Paramètres du nœud Sqoop. 
Dans l'onglet Général, sélectionnez l'option Envoyer en tant que Args . Ajouter cinq args.

Cliquez ensuite sur Paramètres et entrez les configurations des paramètres  workflow.

Ajoutez ensuite un nœud d’action Pig , entre les nœuds Start et End. Cliquez ensuite sur l’icône Paramètres du nœud Sqoop. 
Dans l'onglet Général, sous Script, parcourez et entrez le chemin du fichier sous la forme /user/edw_user/sales/scripts/scriptspig.pig 
Sous Propriétés avancées, entrez Fichier en tant que /user/edw_user/sales/ scripts/scripts.sh sous Configuration, entrez les éléments sur la capture.

Cliquez ensuite sur Paramètres et entrez les configurations des paramètres du workflow.

Ajoutez ensuite un nœud d’action Hive2 , après le nœud d'action Pig. Cliquez ensuite sur l'icône Paramètres pour le nœud Hive2. Sous l'onglet Général, sélectionnez option hive en tant que script . Ajoutez le chemin d'accès au fichier de script sous la forme  /user/edw_user/sales/scripts/scriptspighdfs.hql 
Entrez l'URL jdbc comme jdbc:hive2://sandbox-hdp.hortonworks.com:10000/ sales_analytics edw_user et entrez le mot de passe.

Ajoutez ensuite un nœud d’action Shell , après le nœud précédent. Cliquez ensuite sur l'icône des paramètres pour Shell Node. 
Sous Général, exec entrez le chemin du fichier de script sous la forme - /user/edw_user/sales/scripts/scriptshdfssales.sh sous Propriétés avancées, entrez Fichier en tant que /user/edw_user/sales/scripts/scriptshdfssales.sh

Enfin, cliquez sur Enregistrer avec un chemin au workflow avec l'extension .xml. Cochez l' option "overwrite" . Cliquez ensuite sur "Submit" , cochez la case "overwrite" et "Run on submit" pour tester le workflow.