Prise en main de Procore Analytics 2.0
Table des matières
- Connecteur cloud Procore Analytics
- Commencer l’installation
- Choisir une méthode de connexion de données
- Se connecter à Power BI Desktop
- Se connecter à SQL Server à l’aide de Python (SSIS)
- Se connecter à SQL Server à l’aide de la bibliothèque Python
- Se connecter à SQL Server à l’aide de Python Spark
- Se connecter à ADLS à l’aide d’Azure Functions
- Se connecter à ADLS à l’aide de Python
- Se connecter à ADLS à l’aide de Spark
- Se connecter à Fabric Lakehouse à l’aide de Data Factory
- Connectez-vous à Fabric Lakehouse à l’aide de blocs-notes Fabric
- Se connecter à SQL Server à l’aide d’Azure Functions
- Se connecter à SQL Server à l’aide de Data Factory
- Se connecter à SQL Server à l’aide de Fabric Notebook
- Se connecter aux Databricks
- Se connecter à Snowflake à l’aide de Python
- Se connecter à Amazon S3 à l’aide de Python
- Établissez votre propre connexion
Connecteur cloud Procore Analytics
Vérifier les autorisations
Générer des informations d’identification d’accès aux données
Pour commencer à accéder à vos données Procore, il existe deux options pour générer vos identifiants d’accès aux données : la méthode de connexion directe Databricks ou la méthode Delta Share Token. Le jeton d’accès est une chaîne de chiffres que vous devez saisir dans votre connecteur de données applicable pour accéder aux données.
Considérations
- L’outil Procore Analytics doit être activé.
- Par défaut, tous les administrateurs d’entreprise ont un accès de niveau « Admin » aux analyses de l’annuaire.
- Toute personne disposant d’un accès de niveau « Admin » à Analytics peut accorder à d’autres utilisateurs l’accès à l’outil Analytics.
- Les utilisateurs doivent disposer d’un accès de niveau « Admin » à l’outil Analytics pour générer un jeton de données.
Procédure
- Connectez-vous à Procore.
- Cliquez sur l’icône Compte et profil dans la zone supérieure droite de la barre de navigation.
- Cliquez sur Paramètres de mon profil.
- Sous Choisir votre connexion avec Procore Analytics, vous avez deux options pour générer des informations d’identification :
- Databricks se connecte directement OU génère un jeton d’accès personnel avec Delta Share.
- Saisissez votre identificateur de partage Databricks pour la méthode de connexion directe Databricks, puis cliquez sur Se connecter. Pour en savoir plus, consultez Connecter vos données Procore à un espace de travail Databricks .
- Pour la méthode token, sélectionnez Delta Share Token (Jeton de partage Delta).
- Assurez-vous de choisir une date d’expiration.
- Cliquez sur Générer des jetons.
Important! Il est recommandé de copier et de stocker votre jeton pour référence ultérieure, car Procore ne stocke pas les jetons pour les utilisateurs. - Vous utiliserez votre jeton de porteur, votre nom de partage, l’URL du serveur de partage Delta et votre version des identifiants de partage pour commencer à accéder à vos données et à les intégrer.
- Explorez les sections supplémentaires du Guide de démarrage pour connaître les prochaines étapes de connexion de vos données en fonction de la méthode de connexion de données souhaitée.
Remarque
- Le jeton disparaîtra au bout d’une heure ou disparaîtra également si vous quittez la page. Pour générer un nouveau jeton, revenez à l’étape 1.
- Il peut s’écouler jusqu’à 24 heures avant que les données ne deviennent visibles.
- Veuillez ne pas régénérer votre jeton pendant ce temps de traitement, car cela pourrait entraîner des problèmes avec votre jeton.
Charger des rapports dans Power BI (le cas échéant)
- Accédez à Procore Analytics dans le menu Outils de votre entreprise.
- Accédez à la section Mise en route .
- Sous Fichiers Power BI, sélectionnez et téléchargez les rapports Power BI disponibles.
- Connectez-vous au service Power BI à l’aide de vos informations d’identification de connexion Power BI.
- Créez un espace de travail dans lequel vous souhaitez stocker les rapports Procore Analytics de votre entreprise. Pour plus d’informations, consultez la documentation de support Power BI de Microsoft .
Notes: Des exigences en matière de permis peuvent s’appliquer. - Dans l'espace de travail, cliquez sur Charger.
- Cliquez maintenant sur Parcourir.
- Sélectionnez le fichier de rapport à partir de son emplacement sur votre ordinateur et cliquez sur Ouvrir.
- Après avoir chargé le fichier, cliquez sur Filtre et sélectionnez Modèle sémantique.
- Passez votre curseur sur la ligne portant le nom du rapport et cliquez sur l’icône points de suspension
verticaux. - Cliquez sur Paramètres.
- Sur la page des paramètres, cliquez sur Identifiants de la source de données , puis sur Modifier les identifiants.
- Dans la fenêtre « Configurer [Nom du rapport] » qui apparaît, procédez comme suit :
- Méthode d'authentification : sélectionnez « Clé ».
- Clé de compte: saisissez le jeton que vous avez reçu depuis la page de génération de jetons dans Procore.
- Paramètre de niveau de confidentialité pour cette source de données: sélectionnez le niveau de confidentialité. Nous vous recommandons de sélectionner « Privé » ou « Entreprise ». Voir la documentation de support de Microsoft Power BI pour plus d'informations sur les niveaux de confidentialité.
- Cliquez sur Connexion.
- Cliquez sur Refresh et procédez comme suit :
- Fuseau horaire: sélectionnez le fuseau horaire que vous souhaitez utiliser pour les actualisations de données planifiées.
- Sous Configurer un programme d’actualisation, basculez le bouton en position ON.
- Fréquence de rafraîchissement: sélectionnez « Chaque jour ».
- Heure: cliquez sur Ajouter une autre heure et sélectionnez 7 h 00.
Note: Vous pouvez ajouter jusqu’à 8 temps d’actualisation. - Facultatif:
- Cochez la case « Envoyer des notifications d'échec d'actualisation au propriétaire de l'ensemble de données » pour envoyer des notifications d'échec d'actualisation.
- Saisissez les adresses e-mail de tous les autres collègues auxquels vous souhaitez que le système envoie des notifications d'échec d'actualisation.
- Cliquez sur Appliquer.
- Pour vérifier que les paramètres ont été correctement configurés et que les données du rapport sont correctement actualisées, revenez à la page « Filtrer et sélectionner le modèle sémantique » et procédez comme suit :
- Passez votre curseur sur la ligne portant le nom du rapport et cliquez sur l'icône de flèche circulaire pour actualiser les données manuellement.
- Vérifiez la colonne « Actualisé » pour voir s'il y a un avertissement
icône .
- Si aucune icône d’avertissement ne s’affiche, les données du rapport sont actualisées avec succès.
- Si une icône d'avertissement s'affiche, une erreur s'est produite. Cliquez sur l' avertissement Cliquez sur l'icône pour afficher plus d'informations sur l'erreur.
- Pour supprimer le tableau de bord vide créé automatiquement par le service Power BI, procédez comme suit :
- Passez votre curseur sur la ligne portant le nom du tableau de bord. Cliquez sur les points de suspension
et cliquez sur Supprimer.
- Passez votre curseur sur la ligne portant le nom du tableau de bord. Cliquez sur les points de suspension
- Pour vérifier que le rapport s'affiche correctement, accédez à la page « Tout » ou « Contenu » et cliquez sur le nom du rapport pour afficher le rapport dans le service Power BI.
Conseil
Référencez la colonne « Type » pour vous assurer que vous cliquez sur le rapport au lieu d'un autre actif.
- Répétez les étapes ci-dessus dans Power BI pour chaque fichier de rapport Procore Analytics.
Se connecter à Power BI Desktop
Se connecter à SQL Server à l’aide de Python (SSIS)
Vue d'ensemble
L’outil d’accès Cloud Connect de Procore Analytics est une interface de ligne de commande (CLI) qui vous aide à configurer et à gérer les transferts de données de Procore vers MS SQL Server. Il se compose de deux composantes principales :
- user_exp.py (Utilitaire de configuration de la configuration)
- delta_share_to_azure_panda.py (Script de synchronisation des données)
Conditions préalables
- Python et pip installés sur votre système.
- Accès à Procore Delta Share.
- Informations d’identification du compte MS SQL Server.
- Installez les dépendances requises : pip install -r requirements.txt.
Procédure
- Configuration initiale
- Synchronisation des données
- Delta Share Configuration
- MS SQL Server Configuration
- SSIS Configuration
Configuration initiale
- Exécutez l’utilitaire de configuration :
Python user_exp.py
Cela vous aidera à configurer les éléments suivants :
- Configuration de la source Delta Share
- Configuration de la cible MS SQL Server
- Préférences de planification
Synchronisation des données
Après la configuration, vous disposez de deux options pour exécuter la synchronisation des données :
- Exécution directe python
delta_share_to_azure_panda.py
OU - Exécution programmée
S’il est configuré lors de l’installation, le travail s’exécutera automatiquement selon votre planning cron.
Delta Share Configuration
- Créez un nouveau fichier nommé config.share avec vos informations d’identification Delta Share au format JSON.
{
« shareCredentialsVersion » : 1,
« bearerToken » : « xxxxxxxxxxxxx »,
« endpoint » : « https://nvirginia.cloud.databricks.c... astores/xxxxxx"
}
- Obtenir les champs obligatoires :
Note: Ces informations peuvent être obtenues à partir de l’application Web Procore Analytics.- ShareCredentialsVersion : numéro de version (actuellement 1).
- BearerToken : votre jeton d’accès Delta Share.
- Point de terminaison : l’URL de votre point de terminaison Delta Share.
- Enregistrez le fichier dans un emplacement sûr.
- Lors de la configuration de la source de données, il vous sera demandé de fournir les informations suivantes :
- Liste des tableaux (séparés par des virgules).
- Laissez le champ vide pour synchroniser tous les tableaux.
- Exemple : 'table1, t able2, table3'.
- Chemin d’accès à votre 'config.share' lime.
MS SQL Server Configuration
Vous devrez fournir les détails MS SQL Server suivants :
- base de données
- hôte
- mot de passe
- schéma
- nom d’utilisateur
SSIS Configuration
- À l’aide de la ligne de commande, accédez au dossier en entrant'cd <chemin d’accès au <path to the folder> dossier>'.
- Installez les paquets requis à l’aide de 'pip install -r requirements.txt' ou 'python -m pip install -r requirements.txt'.
- Ouvrez SSIS et créez un nouveau projet.
- À partir de la boîte à outils SSIS, faites glisser et déposez l’activité « Exécuter une tâche de processus ».
- Double-cliquez sur « Exécuter la tâche de traitement » et accédez à l’onglet Processus.
- Dans 'Exécutable', entrez le chemin d’accès à python.exe dans le dossier d’installation python.
- Dans 'WorkingDirectory', entrez un chemin d’accès au dossier contenant le script que vous voulez exécuter (sans le nom du fichier de script).
- Dans 'Arguments', entrez le nom du script 'delta_share_to_azure_panda.py' que vous souhaitez exécuter avec le .py extension et enregistrez.
- Cliquez sur le bouton « Démarrer » dans le volet supérieur :
- Pendant l’exécution de la tâche, la sortie de la console Python s’affiche dans la fenêtre de la console externe.
- Une fois la tâche terminée, une coche verte s’affichera :
Se connecter à SQL Server à l’aide de la bibliothèque Python
Vue d'ensemble
Ce guide fournit des instructions détaillées sur la configuration et l’utilisation du package d’intégration Delta Sharing sur un système d’exploitation Windows afin d’intégrer de manière transparente les données dans vos flux de travail avec Procore Analytics. Le package prend en charge plusieurs options d’exécution, ce qui vous permet de choisir la configuration et la méthode d’intégration souhaitées.
Conditions préalables
Assurez-vous d’avoir les éléments suivants avant de procéder :
- Procore Analytics 2.0 SKU
- Delta Sharing fichier pofile :
Procurez-vous votre fichier *.share contenant les informations d’identification Delta Sharing. Pour plus de commodité, copiez-le dans le répertoire du paquet. - Environnement Python : Installez Python 3 et pip sur votre système.
- Téléchargez Python.
- Vous pouvez également utiliser le Microsoft Store.
Procédure
- Préparez le colis
- Installer les dépendances
- Générer une configuration
- Configurer les tâches cron et leur exécution immédiate
- Exécution et maintenance
Préparez le colis
- Créez un nouveau fichier nommé config.share avec vos informations d’identification Delta Share au format JSON.
{
« shareCredentialsVersion » : 1,
« bearerToken » : « xxxxxxxxxxxxx »,
« endpoint » : « https://nvirginia.cloud.databricks.c... astores/xxxxxx"
}
- Obtenir les champs obligatoires.
Note: Ces informations peuvent être obtenues à partir de l’application Web Procore Analytics.- ShareCredentialsVersion : numéro de version (actuellement 1).
- BearerToken : votre jeton d’accès Delta Share.
- Point de terminaison : l’URL de votre point de terminaison Delta Share.
- Téléchargez et extrayez le package.
- Décompressez le package dans un répertoire de votre choix.
- Copiez le fichier de profil *.share Delta Sharing dans le répertoire du package pour y accéder facilement.
Installer les dépendances
- Ouvrez un terminal dans le répertoire du package.
- Exécutez la commande suivante pour installer les dépendances :
- pip install -r requirements.txt
Générer une configuration
- Générez le fichier config.yaml en exécutant python user_exp.py:
Ce script permet de générer le fichier config.yaml qui contient les informations d’identification et les paramètres nécessaires. - Lors de la configuration de la source de données, il vous sera demandé de fournir les informations suivantes :
- Liste des tableaux (séparés par des virgules).
- Laissez vide pour synchroniser toutes les tables.
Exemple : 'table1, table2, table3'. - Chemin d’accès à votre 'config.share' lime.
- Pour la première fois, vous fournirez vos informations d’identification telles que l’emplacement de configuration de la source Delta Share, les tables, la base de données, l’hôte, etc.
Note: Ensuite, vous pouvez réutiliser ou mettre à jour la configuration manuellement ou par le user_exp.py python en cours d’exécution.
Configurer les tâches cron et l’exécution immédiate (facultatif)
- Décidez s’il faut configurer une tâche cron pour l’exécution automatique.
- Fournissez un planning cron :
- Format : * * * * * (minute, heure, jour du mois, mois, jour de la semaine).
- Exemple pour une exécution quotidienne à 2 heures du matin : 0 2 * * *
- Pour vérifier les journaux de planification, le fichier 'procore_scheduling.log' sera créé dès que la planification est configurée.
Vous pouvez également vérifier la planification en exécutant la commande terminal :
Pour Linux et MacOS :
Pour modifier/supprimer - modifier le cron de la planification à l’aide de :
'''bash
EDITOR=nano crontab -e
'''
- Après avoir exécuté la commande ci-dessus, vous devriez voir quelque chose de similaire à :
- 2 * * * * /Utilisateurs/your_user/flocon de neige/venv/bin/python /Utilisateurs/your_user/flocon de neige/sql_server_python/connection_config.py 2>&1 | pendant la ligne de lecture ; do echo « $(date) - $line » ; done >> /Users/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import
- Vous pouvez également ajuster le cron du planning ou supprimer la ligne entière pour l’empêcher de fonctionner selon le planning.
Pour Windows :
- Vérifiez que la tâche du planning est créée :
'''PowerShell
schtasks /query /tn « ProcoreDeltaShareScheduling » /fo LIST /v
``` - Pour modifier/supprimer - planification de la tâche :
Ouvrez le planificateur de tâches :- Appuyez sur Win + R, tapez taskschd.msc, et appuyez sur Entrée.
- Accédez aux tâches planifiées.
- Dans le volet gauche, développez la bibliothèque du planificateur de tâches.
- Recherchez le dossier dans lequel votre tâche est enregistrée (par exemple, la bibliothèque du planificateur de tâches ou un dossier personnalisé).
- Trouvez votre tâche :
- Recherchez le nom de la tâche ProcoreDeltaShareScheduling.
- Cliquez dessus pour afficher ses détails dans le volet inférieur.
- Vérifiez son planning :
- Vérifiez l’onglet Déclencheurs pour voir quand la tâche est définie pour s’exécuter.
- Consultez l’onglet Historique pour confirmer les exécutions récentes.
- Pour supprimer une tâche :
- Supprimer la tâche de l’interface graphique.
Question d’exécution immédiate :
- Possibilité d’exécuter un script pour copier les données immédiatement après la configuration.
- Après avoir généré le fichier config.yaml, l’interface de ligne de commande est prête à être exécutée à tout moment indépendamment, en exécutant un script pour copier les données, en fonction de votre package. Voir les exemples ci-dessous :
Python delta_share_to_azure_panda.py
OU
python delta_share_to_sql_spark.py
OU
python delta_share_to_azure_dfs_spark.py
Exécution et maintenance
Problèmes courants et solutions
- Configuration de la tâche Cron :
- Assurez-vous que les autorisations système sont correctement configurées.
- Vérifiez les journaux système si la tâche ne parvient pas à s’exécuter.
- Vérifiez que le script delta_share_to_azure_panda.py dispose des autorisations d’exécution.
- Fichier de configuration :
- Assurez-vous que le fichier config.yaml se trouve dans le même répertoire que le script.
- Sauvegardez le fichier avant d’apporter des modifications.
Support technique
Pour obtenir de l’aide supplémentaire :
- Consultez les journaux de script pour obtenir des messages d’erreur détaillés.
- Vérifiez que le fichier config.yaml ne contient pas d’erreurs de configuration.
- Contactez votre administrateur système pour les problèmes liés aux autorisations.
- Contactez le support technique Procore pour les problèmes liés à l’accès à Delta Share.
- Examiner le journal pour les tables ayant échoué : failed_tables.log.
Notes
- Sauvegardez toujours vos fichiers de configuration avant d’apporter des modifications.
- Testez de nouvelles configurations dans un environnement hors production pour éviter les interruptions.
Se connecter à SQL Server à l’aide de Python Spark
Vue d'ensemble
Ce guide fournit des instructions détaillées sur la configuration et l’utilisation du package d’intégration Delta Sharing sur un système d’exploitation Windows afin d’intégrer de manière transparente les données dans vos flux de travail avec Procore Analytics. Le package prend en charge plusieurs options d’exécution, ce qui vous permet de choisir la configuration et la méthode d’intégration souhaitées.
Conditions préalables
Assurez-vous d’avoir les éléments suivants avant de procéder :
- Procore Analytics 2.0 SKU
- Delta Sharing fichier pofile :
Procurez-vous votre fichier *.share contenant les informations d’identification Delta Sharing. Pour plus de commodité, copiez-le dans le répertoire du paquet. - Environnement Python : Installez Python 3 et pip sur votre système.
- Téléchargez Python.
- Vous pouvez également utiliser le Microsoft Store.
Procédure
- Préparez le colis
- Installer les dépendances
- Générer une configuration
- Configurer les tâches cron et leur exécution immédiate
- Exécution et maintenance
Préparez le colis
- Créez un nouveau fichier nommé config.share avec vos informations d’identification Delta Share au format JSON.
{
« shareCredentialsVersion » : 1,
« bearerToken » : « xxxxxxxxxxxxx »,
« endpoint » : « https://nvirginia.cloud.databricks.c... astores/xxxxxx"
}
- Obtenir les champs obligatoires.
Note: Ces informations peuvent être obtenues à partir de l’application Web Procore Analytics.- ShareCredentialsVersion : numéro de version (actuellement 1).
- BearerToken : votre jeton d’accès Delta Share.
- Point de terminaison : l’URL de votre point de terminaison Delta Share.
- Téléchargez et extrayez le package.
- Décompressez le package dans un répertoire de votre choix.
- Copiez le fichier de profil *.share Delta Sharing dans le répertoire du package pour y accéder facilement.
Installer les dépendances
- Ouvrez un terminal dans le répertoire du package.
- Exécutez la commande suivante pour installer les dépendances :
- pip install -r requirements.txt
Générer une configuration
- Générez le fichier config.yaml en exécutant python user_exp.py:
Ce script permet de générer le fichier config.yaml qui contient les informations d’identification et les paramètres nécessaires. - Lors de la configuration de la source de données, il vous sera demandé de fournir les informations suivantes :
- Liste des tableaux (séparés par des virgules).
- Laissez vide pour synchroniser toutes les tables.
Exemple : 'table1, table2, table3'. - Chemin d’accès à votre 'config.share' lime.
- Pour la première fois, vous fournirez vos informations d’identification telles que l’emplacement de configuration de la source Delta Share, les tables, la base de données, l’hôte, etc.
Note: Ensuite, vous pouvez réutiliser ou mettre à jour la configuration manuellement ou par le user_exp.py python en cours d’exécution.
Configurer les tâches cron et l’exécution immédiate (facultatif)
- Décidez s’il faut configurer une tâche cron pour l’exécution automatique.
- Fournissez un planning cron :
- Format : * * * * * (minute, heure, jour du mois, mois, jour de la semaine).
- Exemple pour une exécution quotidienne à 2 heures du matin : 0 2 * * *
- Pour vérifier les journaux de planification, le fichier 'procore_scheduling.log' sera créé dès que la planification est configurée.
Vous pouvez également vérifier la planification en exécutant la commande terminal :
Pour Linux et MacOS :
Pour modifier/supprimer - modifier le cron de la planification à l’aide de :
'''bash
EDITOR=nano crontab -e
'''
- Après avoir exécuté la commande ci-dessus, vous devriez voir quelque chose de similaire à :
- 2 * * * * /Utilisateurs/your_user/flocon de neige/venv/bin/python /Utilisateurs/your_user/flocon de neige/sql_server_python/connection_config.py 2>&1 | pendant la ligne de lecture ; do echo « $(date) - $line » ; done >> /Users/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import
- Vous pouvez également ajuster le cron du planning ou supprimer la ligne entière pour l’empêcher de fonctionner selon le planning.
Pour Windows :
- Vérifiez que la tâche du planning est créée :
'''PowerShell
schtasks /query /tn « ProcoreDeltaShareScheduling » /fo LIST /v
``` - Pour modifier/supprimer - planification de la tâche :
Ouvrez le planificateur de tâches :- Appuyez sur Win + R, tapez taskschd.msc, et appuyez sur Entrée.
- Accédez aux tâches planifiées.
- Dans le volet gauche, développez la bibliothèque du planificateur de tâches.
- Recherchez le dossier dans lequel votre tâche est enregistrée (par exemple, la bibliothèque du planificateur de tâches ou un dossier personnalisé).
- Trouvez votre tâche :
- Recherchez le nom de la tâche ProcoreDeltaShareScheduling.
- Cliquez dessus pour afficher ses détails dans le volet inférieur.
- Vérifiez son planning :
- Vérifiez l’onglet Déclencheurs pour voir quand la tâche est définie pour s’exécuter.
- Consultez l’onglet Historique pour confirmer les exécutions récentes.
- Pour supprimer une tâche :
- Supprimer la tâche de l’interface graphique.
Question d’exécution immédiate :
- Possibilité d’exécuter un script pour copier les données immédiatement après la configuration.
- Après avoir généré le fichier config.yaml, l’interface de ligne de commande est prête à être exécutée à tout moment indépendamment, en exécutant un script pour copier les données, en fonction de votre package. Voir les exemples ci-dessous :
Python delta_share_to_azure_panda.py
OU
python delta_share_to_sql_spark.py
OU
python delta_share_to_azure_dfs_spark.py
Exécution et maintenance
Problèmes courants et solutions
- Configuration de la tâche Cron :
- Assurez-vous que les autorisations système sont correctement configurées.
- Vérifiez les journaux système si la tâche ne parvient pas à s’exécuter.
- Vérifiez que le script delta_share_to_azure_panda.py dispose des autorisations d’exécution.
- Fichier de configuration :
- Assurez-vous que le fichier config.yaml se trouve dans le même répertoire que le script.
- Sauvegardez le fichier avant d’apporter des modifications.
Support technique
Pour obtenir de l’aide supplémentaire :
- Consultez les journaux de script pour obtenir des messages d’erreur détaillés.
- Vérifiez que le fichier config.yaml ne contient pas d’erreurs de configuration.
- Contactez votre administrateur système pour les problèmes liés aux autorisations.
- Contactez le support technique Procore pour les problèmes liés à l’accès à Delta Share.
- Examiner le journal pour les tables ayant échoué : failed_tables.log.
Notes
- Sauvegardez toujours vos fichiers de configuration avant d’apporter des modifications.
- Testez de nouvelles configurations dans un environnement hors production pour éviter les interruptions.
Se connecter à ADLS à l’aide d’Azure Functions
Se connecter à ADLS à l’aide de Python
Vue d'ensemble
Ce guide fournit des instructions détaillées sur la configuration et l’utilisation du package d’intégration Delta Sharing sur un système d’exploitation Windows afin d’intégrer de manière transparente les données dans vos flux de travail avec Procore Analytics. Le package prend en charge plusieurs options d’exécution, ce qui vous permet de choisir la configuration et la méthode d’intégration souhaitées.
Conditions préalables
Assurez-vous d’avoir les éléments suivants avant de procéder :
- Procore Analytics 2.0 SKU
- Delta Sharing fichier pofile :
Procurez-vous votre fichier *.share contenant les informations d’identification Delta Sharing. Pour plus de commodité, copiez-le dans le répertoire du paquet. - Environnement Python : Installez Python 3 et pip sur votre système.
- Téléchargez Python.
- Vous pouvez également utiliser le Microsoft Store.
Procédure
- Préparez le colis
- Installer les dépendances
- Générer une configuration
- Configurer les tâches cron et leur exécution immédiate
- Exécution et maintenance
Préparez le colis
- Créez un nouveau fichier nommé config.share avec vos informations d’identification Delta Share au format JSON.
{
« shareCredentialsVersion » : 1,
« bearerToken » : « xxxxxxxxxxxxx »,
« endpoint » : « https://nvirginia.cloud.databricks.c... astores/xxxxxx"
}
- Obtenir les champs obligatoires.
Note: Ces informations peuvent être obtenues à partir de l’application Web Procore Analytics.- ShareCredentialsVersion : numéro de version (actuellement 1).
- BearerToken : votre jeton d’accès Delta Share.
- Point de terminaison : l’URL de votre point de terminaison Delta Share.
- Téléchargez et extrayez le package.
- Décompressez le package dans un répertoire de votre choix.
- Copiez le fichier de profil *.share Delta Sharing dans le répertoire du package pour y accéder facilement.
Installer les dépendances
- Ouvrez un terminal dans le répertoire du package.
- Exécutez la commande suivante pour installer les dépendances :
- pip install -r requirements.txt
Générer une configuration
- Générez le fichier config.yaml en exécutant python user_exp.py:
Ce script permet de générer le fichier config.yaml qui contient les informations d’identification et les paramètres nécessaires. - Lors de la configuration de la source de données, il vous sera demandé de fournir les informations suivantes :
- Liste des tableaux (séparés par des virgules).
- Laissez vide pour synchroniser toutes les tables.
Exemple : 'table1, table2, table3'. - Chemin d’accès à votre 'config.share' lime.
- Pour la première fois, vous fournirez vos informations d’identification telles que l’emplacement de configuration de la source Delta Share, les tables, la base de données, l’hôte, etc.
Note: Ensuite, vous pouvez réutiliser ou mettre à jour la configuration manuellement ou par le user_exp.py python en cours d’exécution.
Configurer les tâches cron et l’exécution immédiate (facultatif)
- Décidez s’il faut configurer une tâche cron pour l’exécution automatique.
- Fournissez un planning cron :
- Format : * * * * * (minute, heure, jour du mois, mois, jour de la semaine).
- Exemple pour une exécution quotidienne à 2 heures du matin : 0 2 * * *
- Pour vérifier les journaux de planification, le fichier 'procore_scheduling.log' sera créé dès que la planification est configurée.
Vous pouvez également vérifier la planification en exécutant la commande terminal :
Pour Linux et MacOS :
Pour modifier/supprimer - modifier le cron de la planification à l’aide de :
'''bash
EDITOR=nano crontab -e
'''
- Après avoir exécuté la commande ci-dessus, vous devriez voir quelque chose de similaire à :
- 2 * * * * /Utilisateurs/your_user/flocon de neige/venv/bin/python /Utilisateurs/your_user/flocon de neige/sql_server_python/connection_config.py 2>&1 | pendant la ligne de lecture ; do echo « $(date) - $line » ; done >> /Users/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import
- Vous pouvez également ajuster le cron du planning ou supprimer la ligne entière pour l’empêcher de fonctionner selon le planning.
Pour Windows :
- Vérifiez que la tâche du planning est créée :
'''PowerShell
schtasks /query /tn « ProcoreDeltaShareScheduling » /fo LIST /v
``` - Pour modifier/supprimer - planification de la tâche :
Ouvrez le planificateur de tâches :- Appuyez sur Win + R, tapez taskschd.msc, et appuyez sur Entrée.
- Accédez aux tâches planifiées.
- Dans le volet gauche, développez la bibliothèque du planificateur de tâches.
- Recherchez le dossier dans lequel votre tâche est enregistrée (par exemple, la bibliothèque du planificateur de tâches ou un dossier personnalisé).
- Trouvez votre tâche :
- Recherchez le nom de la tâche ProcoreDeltaShareScheduling.
- Cliquez dessus pour afficher ses détails dans le volet inférieur.
- Vérifiez son planning :
- Vérifiez l’onglet Déclencheurs pour voir quand la tâche est définie pour s’exécuter.
- Consultez l’onglet Historique pour confirmer les exécutions récentes.
- Pour supprimer une tâche :
- Supprimer la tâche de l’interface graphique.
Question d’exécution immédiate :
- Possibilité d’exécuter un script pour copier les données immédiatement après la configuration.
- Après avoir généré le fichier config.yaml, l’interface de ligne de commande est prête à être exécutée à tout moment indépendamment, en exécutant un script pour copier les données, en fonction de votre package. Voir les exemples ci-dessous :
Python delta_share_to_azure_panda.py
OU
python delta_share_to_sql_spark.py
OU
python delta_share_to_azure_dfs_spark.py
Exécution et maintenance
Problèmes courants et solutions
- Configuration de la tâche Cron :
- Assurez-vous que les autorisations système sont correctement configurées.
- Vérifiez les journaux système si la tâche ne parvient pas à s’exécuter.
- Vérifiez que le script delta_share_to_azure_panda.py dispose des autorisations d’exécution.
- Fichier de configuration :
- Assurez-vous que le fichier config.yaml se trouve dans le même répertoire que le script.
- Sauvegardez le fichier avant d’apporter des modifications.
Support technique
Pour obtenir de l’aide supplémentaire :
- Consultez les journaux de script pour obtenir des messages d’erreur détaillés.
- Vérifiez que le fichier config.yaml ne contient pas d’erreurs de configuration.
- Contactez votre administrateur système pour les problèmes liés aux autorisations.
- Contactez le support technique Procore pour les problèmes liés à l’accès à Delta Share.
- Examiner le journal pour les tables ayant échoué : failed_tables.log.
Notes
- Sauvegardez toujours vos fichiers de configuration avant d’apporter des modifications.
- Testez de nouvelles configurations dans un environnement hors production pour éviter les interruptions.
Se connecter à ADLS à l’aide de Spark
Vue d'ensemble
Ce guide fournit des instructions détaillées sur la configuration et l’utilisation du package d’intégration Delta Sharing sur un système d’exploitation Windows afin d’intégrer de manière transparente les données dans vos flux de travail avec Procore Analytics. Le package prend en charge plusieurs options d’exécution, ce qui vous permet de choisir la configuration et la méthode d’intégration souhaitées.
Conditions préalables
Assurez-vous d’avoir les éléments suivants avant de procéder :
- Procore Analytics 2.0 SKU
- Delta Sharing fichier pofile :
Procurez-vous votre fichier *.share contenant les informations d’identification Delta Sharing. Pour plus de commodité, copiez-le dans le répertoire du paquet. - Environnement Python : Installez Python 3 et pip sur votre système.
- Téléchargez Python.
- Vous pouvez également utiliser le Microsoft Store.
Procédure
- Préparez le colis
- Installer les dépendances
- Générer une configuration
- Configurer les tâches cron et leur exécution immédiate
- Exécution et maintenance
Préparez le colis
- Créez un nouveau fichier nommé config.share avec vos informations d’identification Delta Share au format JSON.
{
« shareCredentialsVersion » : 1,
« bearerToken » : « xxxxxxxxxxxxx »,
« endpoint » : « https://nvirginia.cloud.databricks.c... astores/xxxxxx"
}
- Obtenir les champs obligatoires.
Note: Ces informations peuvent être obtenues à partir de l’application Web Procore Analytics.- ShareCredentialsVersion : numéro de version (actuellement 1).
- BearerToken : votre jeton d’accès Delta Share.
- Point de terminaison : l’URL de votre point de terminaison Delta Share.
- Téléchargez et extrayez le package.
- Décompressez le package dans un répertoire de votre choix.
- Copiez le fichier de profil *.share Delta Sharing dans le répertoire du package pour y accéder facilement.
Installer les dépendances
- Ouvrez un terminal dans le répertoire du package.
- Exécutez la commande suivante pour installer les dépendances :
- pip install -r requirements.txt
Générer une configuration
- Générez le fichier config.yaml en exécutant python user_exp.py:
Ce script permet de générer le fichier config.yaml qui contient les informations d’identification et les paramètres nécessaires. - Lors de la configuration de la source de données, il vous sera demandé de fournir les informations suivantes :
- Liste des tableaux (séparés par des virgules).
- Laissez vide pour synchroniser toutes les tables.
Exemple : 'table1, table2, table3'. - Chemin d’accès à votre 'config.share' lime.
- Pour la première fois, vous fournirez vos informations d’identification telles que l’emplacement de configuration de la source Delta Share, les tables, la base de données, l’hôte, etc.
Note: Ensuite, vous pouvez réutiliser ou mettre à jour la configuration manuellement ou par le user_exp.py python en cours d’exécution.
Configurer les tâches cron et l’exécution immédiate (facultatif)
- Décidez s’il faut configurer une tâche cron pour l’exécution automatique.
- Fournissez un planning cron :
- Format : * * * * * (minute, heure, jour du mois, mois, jour de la semaine).
- Exemple pour une exécution quotidienne à 2 heures du matin : 0 2 * * *
- Pour vérifier les journaux de planification, le fichier 'procore_scheduling.log' sera créé dès que la planification est configurée.
Vous pouvez également vérifier la planification en exécutant la commande terminal :
Pour Linux et MacOS :
Pour modifier/supprimer - modifier le cron de la planification à l’aide de :
'''bash
EDITOR=nano crontab -e
'''
- Après avoir exécuté la commande ci-dessus, vous devriez voir quelque chose de similaire à :
- 2 * * * * /Utilisateurs/your_user/flocon de neige/venv/bin/python /Utilisateurs/your_user/flocon de neige/sql_server_python/connection_config.py 2>&1 | pendant la ligne de lecture ; do echo « $(date) - $line » ; done >> /Users/your_user/snowflake/sql_server_python/procore_scheduling.log # procore-data-import
- Vous pouvez également ajuster le cron du planning ou supprimer la ligne entière pour l’empêcher de fonctionner selon le planning.
Pour Windows :
- Vérifiez que la tâche du planning est créée :
'''PowerShell
schtasks /query /tn « ProcoreDeltaShareScheduling » /fo LIST /v
``` - Pour modifier/supprimer - planification de la tâche :
Ouvrez le planificateur de tâches :- Appuyez sur Win + R, tapez taskschd.msc, et appuyez sur Entrée.
- Accédez aux tâches planifiées.
- Dans le volet gauche, développez la bibliothèque du planificateur de tâches.
- Recherchez le dossier dans lequel votre tâche est enregistrée (par exemple, la bibliothèque du planificateur de tâches ou un dossier personnalisé).
- Trouvez votre tâche :
- Recherchez le nom de la tâche ProcoreDeltaShareScheduling.
- Cliquez dessus pour afficher ses détails dans le volet inférieur.
- Vérifiez son planning :
- Vérifiez l’onglet Déclencheurs pour voir quand la tâche est définie pour s’exécuter.
- Consultez l’onglet Historique pour confirmer les exécutions récentes.
- Pour supprimer une tâche :
- Supprimer la tâche de l’interface graphique.
Question d’exécution immédiate :
- Possibilité d’exécuter un script pour copier les données immédiatement après la configuration.
- Après avoir généré le fichier config.yaml, l’interface de ligne de commande est prête à être exécutée à tout moment indépendamment, en exécutant un script pour copier les données, en fonction de votre package. Voir les exemples ci-dessous :
Python delta_share_to_azure_panda.py
OU
python delta_share_to_sql_spark.py
OU
python delta_share_to_azure_dfs_spark.py
Exécution et maintenance
Problèmes courants et solutions
- Configuration de la tâche Cron :
- Assurez-vous que les autorisations système sont correctement configurées.
- Vérifiez les journaux système si la tâche ne parvient pas à s’exécuter.
- Vérifiez que le script delta_share_to_azure_panda.py dispose des autorisations d’exécution.
- Fichier de configuration :
- Assurez-vous que le fichier config.yaml se trouve dans le même répertoire que le script.
- Sauvegardez le fichier avant d’apporter des modifications.
Support technique
Pour obtenir de l’aide supplémentaire :
- Consultez les journaux de script pour obtenir des messages d’erreur détaillés.
- Vérifiez que le fichier config.yaml ne contient pas d’erreurs de configuration.
- Contactez votre administrateur système pour les problèmes liés aux autorisations.
- Contactez le support technique Procore pour les problèmes liés à l’accès à Delta Share.
- Examiner le journal pour les tables ayant échoué : failed_tables.log.
Notes
- Sauvegardez toujours vos fichiers de configuration avant d’apporter des modifications.
- Testez de nouvelles configurations dans un environnement hors production pour éviter les interruptions.
Se connecter à Fabric Lakehouse à l’aide de Data Factory
Vue d'ensemble
L’intégration de Delta Sharing à Microsoft Fabric Data Factory permet un accès et un traitement transparents des tables Delta partagées pour vos flux de travail d’analyse avec Procore Analytics 2.0. Delta Sharing, un protocole ouvert pour une collaboration sécurisée des données, garantit que les organisations peuvent partager des données sans duplication.
Conditions préalables
- Procore Analytics 2.0 SKU
- Identifiants de partage Delta:
- Procurez-vous le share.json (ou équivalent) fichier d’informations d’identification Delta Sharing auprès de votre fournisseur de données.
- Ce fichier doit comprendre :
- URL du point de terminaison : L’URL du serveur de partage Delta.
- Jeton au porteur : Utilisé pour un accès sécurisé aux données.
- Configuration de Microsoft Fabric :
- Un compte de locataire Microsoft Fabric avec un abonnement actif.
- Accès à un espace de travail compatible avec Microsoft Fabric.
Procédure
- Passer à l’expérience Data Factory
- Configurer le flux de données
- Effectuer des transformations de données
- Validation et surveillance
Passer à l’expérience Data Factory
- Accédez à votre espace de travail Microsoft Fabric.
- Sélectionnez Nouveau, puis choisissez Flux de données Gen2.
Configurer le flux de données
- Accédez à l’éditeur de flux de données.
- Cliquez sur Obtenir des données et sélectionnez Plus.
- Sous Nouvelle source, sélectionnez Delta Sharing Other comme source de données.
- Saisissez les informations suivantes :
- URL: à partir de votre fichier de configuration Delta Sharing.
- Jeton du porteur: trouvé dans votre fichier config.share.
- Cliquez sur Suivant et sélectionnez les tableaux souhaités.
- Cliquez sur Créer pour terminer la configuration.
Effectuer des transformations de données
Après avoir configuré le flux de données, vous pouvez maintenant appliquer des transformations aux données Delta partagées. Choisissez votre option Delta Sharing Data dans la liste ci-dessous :
- Ajouter une destination de données
- Créer/Ouvrir Lakehouse
Ajouter une destination de données
- Accédez à Data Factory.
- Cliquez sur Ajouter une destination de données.
- Sélectionnez Lakehouse comme cible et cliquez sur Suivant.
- Choisissez votre cible de destination et confirmez en cliquant sur Suivant.
Créer-Ouvrir Lakehouse
- Créez/ouvrez votreLakehouse et cliquez sur Obtenir des données.
- Sélectionnez Nouveau flux de données de 2e génération.
- Cliquez sur Obtenir des données, puis sur Plus et recherchez Partage Delta.
- Entrez le jeton du porteur d’URL à partir de votre fichier config.share, puis sélectionnez Next.
- Choisissez vos données/table(s) à télécharger et cliquez sur Suivant.
- Après ces manipulations, vous devriez avoir toutes les données sélectionnées dans votre Fabric Lakehouse.
Validation et surveillance
Testez vos pipelines et flux de données pour garantir une exécution fluide. Utilisez les outils de surveillance de Data
Factory pour suivre la progression et les journaux de chaque activité.
Connectez-vous à Fabric Lakehouse à l’aide de blocs-notes Fabric
Vue d'ensemble
L’utilisation de Data Factory dans Microsoft Fabric avec Delta Sharing permet une intégration et un traitement transparents des tables Delta partagées dans le cadre de vos flux de travail d’analyse avec Procore Analytics 2.0. Delta Sharing est un protocole ouvert pour le partage sécurisé des données, permettant la collaboration entre les organisations sans dupliquer les données.
Ce guide vous guide tout au long des étapes de configuration et d’utilisation de Data Factory dans Fabric avec Delta Sharing, à l’aide de blocs-notes pour le traitement et l’exportation de données vers un Lakehouse.
Conditions préalables
- Procore Analytics 2.0 SKU
- Identifiants de partage Delta :
- Accès aux informations d’identification Delta Sharing fournies par un fournisseur de données.
- Un fichier de profil de partage (config.share) contenant:
- URL du point de terminaison (URL du serveur de partage Delta).
- Jeton d’accès (jeton du porteur pour un accès sécurisé aux données).
- Créez votre fichier config.yaml avec des informations d’identification spécifiques.
- Environnement Microsoft Fabric :
- Un compte de locataire Microsoft Fabric avec un abonnement actif.
- Un espace de travail compatible avec Fabric.
- Packages et scripts :
- Téléchargez le package fabric-lakehouse. Le répertoire doit comprendre :
- ds_to_lakehouse.py : Code du bloc-notes.
- readme.md : Instructions.
- Téléchargez le package fabric-lakehouse. Le répertoire doit comprendre :
Procédure
Configurer la configuration
- Créez le fichier config.yaml et définissez la configuration dans la structure suivante
source_config :
config_path : chemin/vers/votre/fichier-d’identifiants-de-partage-delta.share
tables : # Facultatif - Laisser vide pour traiter toutes les tables
- table_name1
- table_name2
target_config :
lakehouse_path : chemin/vers/votre/tissu/lakehouse/tables/ # chemin vers le tissu lakehouse
Configurez votre maison au bord du lac
- Ouvrez votre espace de travail Microsoft Fabric.
- Accédez à votre Lakehouse et cliquez sur Ouvrir le bloc-notes, puis sur Nouveau bloc-notes.
- Si vous ne connaissez pas la valeur dans config.yaml#lakehouse_path, Vous pouvez le copier à partir de l’écran.
- Cliquez sur les points de suspension sur Fichiers et sélectionnez Copier le chemin ABFS:
3. Copiez le code de ds_to_lakehouse.py et collez-le dans la fenêtre du bloc-notes (Pyspark Python) :
L’étape suivante consiste à charger vos propres fichiers config.yaml et config.share dans le dossier Resources de Lakehouse. Vous pouvez créer votre propre répertoire ou utiliser un répertoire intégré (déjà créé pour les ressources par Lakehouse) :
L’exemple ci-dessous montre un répertoire intégré standard pour un fichier config.yaml .
Remarque : assurez-vous de charger les deux fichiers au même niveau et pour la propriété config_path:
4. Vérifiez le code du cahier, lignes 170-175.
L’exemple ci-dessous montre les modifications de ligne nécessaires :
config_path = « ./env/config.yaml »
À
config_path = « ./builtin/config.yaml»
Étant donné que les fichiers se trouvent dans un dossier intégré et non dans un environnement personnalisé, assurez-vous de surveiller votre propre structure des fichiers. Vous pouvez les charger dans différents dossiers, mais dans ce cas, mettez à jour le code du bloc-notes pour rechercher correctement le fichier config.yaml .
5. Cliquez sur Exécuter la cellule :
Validation
- Une fois le travail terminé, vérifiez que les données ont bien été copiées dans votre Lakehouse.
- Vérifiez les tables spécifiées et assurez-vous que les données correspondent aux tables Delta partagées.
- Attendez que le travail soit terminé, il devrait copier toutes les données.
Se connecter à SQL Server à l’aide d’Azure Functions
Se connecter à SQL Server à l’aide de Data Factory
Vue d'ensemble
Ce document fournit des instructions pas à pas pour configurer un pipeline de données dans Microsoft Fabric afin de transférer des données de Delta Share vers un entrepôt SQL. Cette configuration permet une intégration transparente des données entre les sources Delta Lake et les destinations SQL.
Conditions préalables
- Compte Microsoft Fabric actif avec les autorisations appropriées.
- Informations d’identification Delta Share.
- Informations d’identification de l’entrepôt SQL.
- Accès au flux de données Gen2 dans Fabric.
Procédure
- Accéder au flux de données Gen2
- Configurer les données Source
- Configurer la connexion Delta Share
- Configurer la destination des données
- Finaliser et déployer
- Vérification
- Résolution des problèmes
Accéder au flux de données Gen2
- Connectez-vous à votre compte Microsoft Fabric.
- Accédez à l’espace de travail.
- Sélectionnez « Flux de données Gen2 » parmi les options disponibles.
Configurer la source de données
- Cliquez sur « Données provenant d’une autre source » pour commencer la configuration.
- À partir de l’écran Obtenir des données, procédez comme suit :
- Repérez la barre de recherche intitulée « Choisir une source de données ».
- Saisissez « partage delta » dans le champ de recherche.
- Sélectionnez Delta Sharing dans les résultats.
Configurer la connexion Delta Share
- Saisissez vos informations d’identification Delta Share lorsque vous y êtes invité.
- Assurez-vous que tous les champs obligatoires sont remplis avec exactitude.
- Validez la connexion si possible.
- Cliquez sur « Suivant » pour continuer.
- Consultez la liste des tableaux disponibles :
- Tous les tableaux auxquels vous avez accès seront affichés.
- Sélectionnez les tables que vous souhaitez transférer.
Configurer la destination des données
- Cliquez sur « Ajouter une destination de données ».
- Sélectionnez « Entrepôt SQL » comme destination.
- Entrez les informations d’identification SQL :
- Détails du serveur.
- Informations d’authentification.
- Spécifications de la base de données.
- Vérifiez les paramètres de connexion.
Finaliser et déployer
- Passez en revue toutes les configurations.
- Cliquez sur « Publier » pour déployer le flux de données.
- Attendez le message de confirmation.
Vérification
- Accédez à votre entrepôt SQL.
- Vérifiez que les données sont disponibles et correctement structurées.
- Exécutez des requêtes de test pour garantir l’intégrité des données.
Résolution des problèmes
Problèmes courants et solutions :
- Échecs de connexion : vérifiez les informations d’identification et la connectivité réseau.
- Tables manquantes : cochez les autorisations Delta Share.
- Problèmes de performances : passez en revue les paramètres d’allocation et d’optimisation des ressources.
Se connecter à SQL Server à l’aide de Fabric Notebook
Vue d'ensemble
L’utilisation de Data Factory dans Microsoft Fabric avec Delta Sharing permet une intégration et un traitement transparents des tables Delta partagées dans le cadre de vos flux de travail d’analyse avec Procore Analytics 2.0. Delta Sharing est un protocole ouvert pour le partage sécurisé des données, permettant la collaboration entre les organisations sans dupliquer les données.
Ce guide vous guide tout au long des étapes de configuration et d’utilisation de Data Factory dans Fabric avec Delta Sharing, à l’aide de blocs-notes pour le traitement et l’exportation de données vers un Lakehouse.
Conditions préalables
- Procore Analytics 2.0 SKU
- Identifiants de partage Delta :
- Accès aux informations d’identification Delta Sharing fournies par un fournisseur de données.
- Un fichier de profil de partage (config.share) contenant:
- URL du point de terminaison (URL du serveur de partage Delta).
- Jeton d’accès (jeton du porteur pour un accès sécurisé aux données).
- Créez votre fichier config.yaml avec des informations d’identification spécifiques.
- Environnement Microsoft Fabric :
- Un compte de locataire Microsoft Fabric avec un abonnement actif.
- Un espace de travail compatible avec Fabric.
- Packages et scripts :
- Téléchargez le package fabric-lakehouse. Le répertoire doit comprendre :
- ds_to_lakehouse.py : Code du bloc-notes.
- readme.md : Instructions.
- Téléchargez le package fabric-lakehouse. Le répertoire doit comprendre :
Procédure
Configurer la configuration
- Créez le fichier config.yaml et définissez la configuration dans la structure suivante
source_config :
config_path : chemin/vers/votre/fichier-d’identifiants-de-partage-delta.share
tables : # Facultatif - Laisser vide pour traiter toutes les tables
- table_name1
- table_name2
target_config :
lakehouse_path : chemin/vers/votre/tissu/lakehouse/tables/ # chemin vers le tissu lakehouse
Configurez votre maison au bord du lac
- Ouvrez votre espace de travail Microsoft Fabric.
- Accédez à votre Lakehouse et cliquez sur Ouvrir le bloc-notes, puis sur Nouveau bloc-notes.
- Si vous ne connaissez pas la valeur dans config.yaml#lakehouse_path, Vous pouvez le copier à partir de l’écran.
- Cliquez sur les points de suspension sur Fichiers et sélectionnez Copier le chemin ABFS:
3. Copiez le code de ds_to_lakehouse.py et collez-le dans la fenêtre du bloc-notes (Pyspark Python) :
L’étape suivante consiste à charger vos propres fichiers config.yaml et config.share dans le dossier Resources de Lakehouse. Vous pouvez créer votre propre répertoire ou utiliser un répertoire intégré (déjà créé pour les ressources par Lakehouse) :
L’exemple ci-dessous montre un répertoire intégré standard pour un fichier config.yaml .
Remarque : assurez-vous de charger les deux fichiers au même niveau et pour la propriété config_path:
4. Vérifiez le code du cahier, lignes 170-175.
L’exemple ci-dessous montre les modifications de ligne nécessaires :
config_path = « ./env/config.yaml »
À
config_path = « ./builtin/config.yaml»
Étant donné que les fichiers se trouvent dans un dossier intégré et non dans un environnement personnalisé, assurez-vous de surveiller votre propre structure des fichiers. Vous pouvez les charger dans différents dossiers, mais dans ce cas, mettez à jour le code du bloc-notes pour rechercher correctement le fichier config.yaml .
5. Cliquez sur Exécuter la cellule :
Validation
- Une fois le travail terminé, vérifiez que les données ont bien été copiées dans votre Lakehouse.
- Vérifiez les tables spécifiées et assurez-vous que les données correspondent aux tables Delta partagées.
- Attendez que le travail soit terminé, il devrait copier toutes les données.
Se connecter aux Databricks
Remarque
Cette méthode de connexion est généralement utilisée par les professionnels de la donnée.- Connectez-vous à votre environnement Databricks.
- Accédez à la section Catalogue .
- Sélectionnez Partage Delta dans le menu supérieur.
- Sélectionnez Partagé avec moi.
- Copiez l’identifiant de partage qui vous a été fourni.
- Partagez l’identifiant de partage avec l’équipe de support technique Procore.
Note: Une fois l’identificateur de partage ajouté au système de Procore, la connexion Procore Databricks s’affiche dans l’onglet Partagé avec moi sous Fournisseurs de votre environnement Databricks. L’affichage des données peut prendre jusqu’à 24 heures.
- Lorsque votre connexion Procore Databricks devient visible dans l’onglet Partagé avec moi , sélectionnez l’indentateur Procore et cliquez sur Créer un catalogue.
- Saisissez le nom de votre choix pour le catalogue partagé et cliquez sur Créer.
- Votre catalogue et vos tableaux partagés s’afficheront désormais sous le nom fourni dans la section Explorateur de catalogues.
Veuillez contacter le support technique Procore si vous avez des questions ou si vous avez besoin d’aide.