Exporter vers ADLS à l’aide de Python

Préparez le colis

1. Créez un nouveau fichier nommé config.share avec vos informations d’identification Delta Share au format JSON.

2. Obtenir les champs obligatoires.
   Note: Ces informations peuvent être obtenues à partir de l’application Web Procore Analytics.
   • ShareCredentialsVersion : numéro de version (actuellement 1).
   • BearerToken : votre jeton d’accès Delta Share.
   • Point de terminaison : l’URL de votre point de terminaison Delta Share.
3. Téléchargez et extrayez le package.
4. Décompressez le package dans un répertoire de votre choix.
5. Copiez le fichier de profil *.share Delta Sharing dans le répertoire du package pour y accéder facilement.
   

Installer les dépendances

1. Ouvrez un terminal dans le répertoire du package.
2. Exécutez la commande suivante pour installer les dépendances :
3. pip install -r requirements.txt
   

Générer une configuration

1. Générez le fichier config.yaml en exécutant python user_exp.py:
   Ce script permet de générer le fichier config.yaml qui contient les informations d’identification et les paramètres nécessaires.
2. Lors de la configuration de la source de données, il vous sera demandé de fournir les informations suivantes :
   • Liste des tableaux (séparés par des virgules).
   • Laissez vide pour synchroniser toutes les tables.
     Exemple : 'table1, table2, table3'.
   • Chemin d’accès à votre 'config.share' lime.
3. Pour la première fois, vous fournirez vos informations d’identification telles que l’emplacement de configuration de la source Delta Share, les tables, la base de données, l’hôte, etc.
   Note: Ensuite, vous pouvez réutiliser ou mettre à jour la configuration manuellement ou par le user_exp.py python en cours d’exécution.

Configurer les tâches cron et l’exécution immédiate (facultatif)

1. Décidez s’il faut configurer une tâche cron pour l’exécution automatique.
2. Fournissez un planning cron :
   • Format : * * * * * (minute, heure, jour du mois, mois, jour de la semaine).
   • Exemple pour une exécution quotidienne à 2 heures du matin : 0 2 * * *
   • Pour vérifier les journaux de planification, le fichier 'procore_scheduling.log' sera créé dès que la planification est configurée.

Vous pouvez également vérifier la planification en exécutant la commande terminal :

Pour Linux et MacOS :    

Pour modifier/supprimer - modifier le cron de la planification à l’aide de :

• Après avoir exécuté la commande ci-dessus, vous devriez voir quelque chose de similaire à :
• 2 * * * * /Utilisateurs/your_user/flocon de neige/venv/bin/python /Utilisateurs/your_user/flocon de neige/sql_server_python/connection_config.py 2>&1 | pendant la ligne de lecture ; do echo « $(date) - $line » ; done >> /Users/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import
• Vous pouvez également ajuster le cron du planning ou supprimer la ligne entière pour l’empêcher de fonctionner selon le planning.

Pour Windows :

• Vérifiez que la tâche du planning est créée :
  '''PowerShell
  schtasks /query /tn « ProcoreDeltaShareScheduling » /fo LIST /v
  ```
• Pour modifier/supprimer - planification de la tâche :
  Ouvrez le planificateur de tâches :
  • Appuyez sur Win + R, tapez taskschd.msc, et appuyez sur Entrée.
  • Accédez aux tâches planifiées.
  • Dans le volet gauche, développez la bibliothèque du planificateur de tâches.
  • Recherchez le dossier dans lequel votre tâche est enregistrée (par exemple, la bibliothèque du planificateur de tâches ou un dossier personnalisé).
• Trouvez votre tâche :
  • Recherchez le nom de la tâche ProcoreDeltaShareScheduling.
  • Cliquez dessus pour afficher ses détails dans le volet inférieur.
• Vérifiez son planning :
  • Vérifiez l’onglet Déclencheurs pour voir quand la tâche est définie pour s’exécuter.
  • Consultez l’onglet Historique pour confirmer les exécutions récentes.
• Pour supprimer une tâche :
  • Supprimer la tâche de l’interface graphique.

Question d’exécution immédiate :

• Possibilité d’exécuter un script pour copier les données immédiatement après la configuration.
• Après avoir généré le fichier config.yaml, l’interface de ligne de commande est prête à être exécutée à tout moment indépendamment, en exécutant un script pour copier les données, en fonction de votre package. Voir les exemples ci-dessous :
  Python delta_share_to_azure_panda.py
  OU
  python delta_share_to_sql_spark.py
  OU
  python delta_share_to_azure_dfs_spark.py

Exécution et maintenance

Problèmes courants et solutions

1. Configuration de la tâche Cron :
   • Assurez-vous que les autorisations système sont correctement configurées.
   • Vérifiez les journaux système si la tâche ne parvient pas à s’exécuter.
   •  Vérifiez que le script delta_share_to_azure_panda.py dispose des autorisations d’exécution.
2. Fichier de configuration :
   • Assurez-vous que le fichier config.yaml se trouve dans le même répertoire que le script.
   • Sauvegardez le fichier avant d’apporter des modifications.

Support technique

Pour obtenir de l’aide supplémentaire :

1. Consultez les journaux de script pour obtenir des messages d’erreur détaillés.
2. Vérifiez que le fichier config.yaml ne contient pas d’erreurs de configuration.
3. Contactez votre administrateur système pour les problèmes liés aux autorisations.
4. Contactez le support technique Procore pour les problèmes liés à l’accès à Delta Share.
5. Examiner le journal pour les tables ayant échoué : failed_tables.log.

Notes

1. Sauvegardez toujours vos fichiers de configuration avant d’apporter des modifications.
2. Testez de nouvelles configurations dans un environnement hors production pour éviter les interruptions.