Connectez vos données Procore en téléchargeant des modèles d'analyse (bêta)

Télécharger le fichier d'identifiants

1. Créez un fichier appelé « config.share.
2. Ajoutez les champs ci-dessous :<br
   
      
       <br
      
       / ' '"expirationTime": ""<br /
   }
3. Ajoutez les valeurs BearerToken, endpoint, shareCredentialsVersion et expirationTime reçues de Procore au fichier config.share.

Exécuter le script user_exp.py

Vous pouvez utiliser les scripts suivants pour créer un fichier config.yaml avec les configurations nécessaires. 

• Pour le stockage Azure:
  cron_job : # vrai/faux
  exécuter_as : #pyspark/python
  configuration_source :
    config_path : #chemin d'accès au fichier de configuration.share
    tableaux :
    - '' # nom du tableau si vous souhaitez télécharger un tableau spécifique.
  Laissez
  ce
    champ vide si vous souhaitez télécharger tous les tableaux.
   
   
    compte_storage: # nom du compte-storage
    chemin_storage: #<container>@<storage-account>.dfs.core.windows.net/<directory>
    id_locataire : #id_locataire
  type_tarif : Azure_storage

• Pour la base de données MS SQL:
  cron_job : # vrai/faux
  exécuter_as : #pyspark/python
  configuration_source :
    config_path : #chemin d'accès au fichier de configuration.share
    tableaux :
      - '' # nom du tableau si vous souhaitez télécharger un tableau spécifique. Laissez-le vide si vous souhaitez télécharger toutes les tables.
  
  
   
   
    mot de passe
    schéma : #schéma cible (par défaut sur procore_analytics)<br ​ ​ nom d'utilisateur
  : #username<br
  type_target : serveur_sql

Exécuter en tant que PySpark

Si votre environnement est déjà configuré avec Spark, choisissez l'option « pyspark » lorsque vous y êtes invité ou une fois que le fichier « config.yaml » est généré, vous pouvez exécuter les commandes suivantes pour télécharger les rapports dans l'annuaire de données.

• Pour écrire dans le stockage ADLS Gen2:
  étincelle-soumettre --packages io.delta:delta-partage-spark_2.12:3.1.0,org.apache.hadoop:hadoop-Azure:3.4.0,com.microsoft.Azure:Azure-storage:8.6.6, org.apache.hadoop:hadoop-commun:3.4.0 --exclude-packages com.sun.xml.bind:jaxb-impl delta_share_to_sql_spark.py
• Pour écrire dans la base de données MS SQL :
  étincelle-soumettre --paquets io.delta:delta-partage-spark_2.12:3.1.0 --jars <Emplacement de msql-jdbc jar> delta_share_to_sql_spark.py

Exécuter en tant que Python

1. À partir de la ligne de commande, accédez au dossier en entrant la <path to the folder> commande « cd » .
2. Installez les paquets requis à l'aide de « pip install -r requirements.txt ». ou « python -m pip install -r requirements.txt ».
3. Ouvrez SSIS et créez un nouveau projet.
4. Depuis la boîte à outils SSIS, faites glisser et déposez Exécuter la tâche de processus.
5. Double-cliquez sur Exécuter la tâche de processus.
6. Accédez à l'onglet Processus.
7. À côté de Exécutable, entrez le chemin d'accès à python.exe dans le dossier d'installation de Python.
8. Dans Répertoire de travail, entrez le chemin du dossier contenant le script que vous souhaitez exécuter (sans le nom du fichier de script).
9. Dans Arguments, entrez le nom du script delta_share_to_Azure_panda.py que vous souhaitez exécuter avec le .py extension et cliquez sur Enregistrer.
10. Cliquez sur Démarrer dans le menu du ruban supérieur.
11. Pendant l'exécution de la tâche, la sortie de la console Python s'affiche dans la fenêtre de la console externe.
12. Une fois la tâche terminée, une coche s'affiche.

Choisissez votre propre méthode

Delta Sharing est un protocole ouvert pour le partage de données sécurisé. Vous pouvez trouver le référentiel public GitHub pour Delta Sharing à l' adresse https://github.com/delta-io/delta-share. Le référentiel comprend des exemples et de la documentation pour accéder aux données partagées à l'aide de divers langages tels que Python et Spark Connector (SQL, Python, Scala, Java, R).