Connectez vos données Procore en téléchargeant des modèles d’analyse

Créer un fichier d’informations d’identification

Vous devez d’abord générer un jeton de données dans l’application Web Procore.  Voir Générer un jeton d’accès. 

1. Créez un fichier appelé config.share.
2. Ajoutez les champs ci-dessous :<br
   
      
       <br
      
       / ' '"expirationTime": ""<br /
   }
3. Ajoutez les valeurs du jeton du porteur, du point de terminaison, des informations d’identification de partage, de la version et du délai d’expiration reçues de Procore au fichier config.share.

Exécuter le script user_exp.py

Vous pouvez utiliser les scripts suivants pour créer un fichier config.yaml avec les configurations nécessaires. 

• Pour le stockage Azure :For Azure Storage:
  cron_job : #true/faux
  run_as : #pyspark/python
  source_config :
  config_path : #path au fichier config.share
  Tables:
  - '' # nom de la table si vous souhaitez télécharger une table spécifique. Laissez-le vide si vous souhaitez télécharger toutes les tables
  source_type : delta_share
  target_config :
  auth_type : service_principal
  client_id : #client_id
  secret_id : #secret_id
  storage_account : nom du compte #storage
  storage_path : #<container>@<storage-account>.dfs.core.windows.net/<directory>
  enant_id : #tenant_id
  target_type : azure_storage
   

• Pour la base de données MS SQL:
  cron_job : # vrai/faux
  exécuter_as : #pyspark/python
  configuration_source :
    config_path : #chemin d'accès au fichier de configuration.share
    tableaux :
      - '' # nom du tableau si vous souhaitez télécharger un tableau spécifique. Laissez-le vide si vous souhaitez télécharger toutes les tables.
  
  
   
   
    mot de passe
    schéma : #schéma cible (par défaut sur procore_analytics)<br ​ ​ nom d'utilisateur
  : #username<br
  type_target : serveur_sql

Exécuter en tant que PySpark

Si votre environnement est déjà configuré avec Spark, choisissez l'option « pyspark » lorsque vous y êtes invité ou une fois que le fichier « config.yaml » est généré, vous pouvez exécuter les commandes suivantes pour télécharger les rapports dans l'annuaire de données.

• Pour écrire dans le stockage ADLS Gen2:
  étincelle-soumettre --packages io.delta:delta-partage-spark_2.12:3.1.0,org.apache.hadoop:hadoop-Azure:3.4.0,com.microsoft.Azure:Azure-storage:8.6.6, org.apache.hadoop:hadoop-commun:3.4.0 --exclude-packages com.sun.xml.bind:jaxb-impl delta_share_to_sql_spark.py
• Pour écrire dans la base de données MS SQL :
  étincelle-soumettre --paquets io.delta:delta-partage-spark_2.12:3.1.0 --jars <Emplacement de msql-jdbc jar> delta_share_to_sql_spark.py

Exécuter en tant que Python

1. À partir de la ligne de commande, accédez au dossier en entrant la  <path to the folder> commande « cd » .
2. Installez les paquets requis à l'aide de « pip install -r requirements.txt ». ou « python -m pip install -r requirements.txt ».
3. Exécutez la commande python delta_share_to_azure_pandy.py.

Utilisation de SSIS

1. Ouvrez SSIS et créez un nouveau projet.
2. Depuis la boîte à outils SSIS, faites glisser et déposez Exécuter la tâche de processus.
3. Double-cliquez sur Exécuter la tâche de processus.
4. Accédez à l'onglet Processus.
5. À côté de Exécutable, entrez le chemin d'accès à python.exe dans le dossier d'installation de Python.
6. Dans Répertoire de travail, entrez le chemin du dossier contenant le script que vous souhaitez exécuter (sans le nom du fichier de script).
7. Dans Arguments, entrez le nom du script delta_share_to_Azure_panda.py que vous souhaitez exécuter avec le .py extension et cliquez sur Enregistrer.
8. Cliquez sur Démarrer dans le menu du ruban supérieur.
9. Pendant l'exécution de la tâche, la sortie de la console Python s'affiche dans la fenêtre de la console externe.
10. Une fois la tâche terminée, une coche s'affiche.

Choisissez votre propre méthode

Delta Sharing est un protocole ouvert pour le partage de données sécurisé. Vous pouvez trouver le référentiel public GitHub pour Delta Sharing à l' adresse https://github.com/delta-io/delta-share. Le référentiel comprend des exemples et de la documentation pour accéder aux données partagées à l'aide de divers langages tels que Python et Spark Connector (SQL, Python, Scala, Java, R).