Passer au contenu principal
Procore

Se connecter à BigQuery

  1. Dernière mise à jour
  2. Enregistrer en tant que PDF

Objectif

L’outil Analytics Cloud Connect Access est un notebook qui vous aide à configurer et à gérer les transferts de données de Procore vers BigQuery avec Analytics 2.0. 

Conditions préalables

  • Analytics 2.0 SKU
  • Accès à Google Cloud Platform (GCP)
  • Autorisations requises sur Delta Share et BigQuery
  • Téléchargez le package compressé à partir de l’outil Analytics au niveau entreprise (via Analytics > Options de connexion > de mise en route > BigQuery).

Procédure

  1. Configurer la configuration
  2. Exécuter l’application BigQuery

Configurer la configuration 

Delta Share Configuration 

  1. Créez un fichier nommé config.share avec vos informations d’identification Delta Share au format JSON.
  2. Obtenir les champs obligatoires.
    Note: Ces informations peuvent être obtenues à partir de l’application Web Analytics.
    • bearerToken : Votre jeton d’accès Delta Share.
    • Terminaison: L’URL de votre point de terminaison Delta Share.
    • shareCredentialsVersion : Numéro de version (actuellement 1).
Exemple de fichier config.share

{
« shareCredentialsVersion » : 1,
« bearerToken » : «  »,
« endpoint » : « "
}

BIGQUERY CONFIGURATION 

  1. Téléchargez le fichier bigquery.zip à partir de l’application Web Analytics. 
    Note: Vous pouvez télécharger le package compressé à partir de l’outil Analytics au niveau entreprise (via Analytics > Mise en route > Options de connexion > BigQuery).
  2. Extrayez le package dans un répertoire de votre choix.
  3. Ouvrez le fichier config.yaml et modifiez les paramètres suivants :
    • source_config.chemin_de_configuration : Chemin d’accès au fichier de configuration Delta Share.
    • source_config.tables : Liste facultative des tables spécifiques à traiter. Laissez-le vide pour traiter toutes les tables.
    • target_config.id_projet : ID de projet GCP pour BigQuery.
    • target_config.dataset : Nom du jeu de données BigQuery.
    • target_config.threads : Nombre de processus de table simultanés.
Exemple de fichier config.yaml

source_config :
config_path : « <path_to_delta_share_config>"
tables : # Facultatif - liste des tables spécifiques à traiter
- « table1"
- « table2 »

target_config :
project_id :<your-gcp-project-id>
«" dataset : «"<bigquery-dataset-name>
target_type : bigquery

Charger le fichier de configuration
  1. Chargez les fichiers config.yaml et config.share dans le compartiment gs.
    1. Stockage Google Cloud Storage (GCS)

Exécuter l’application BigQuery

  1. Créez un notebook Python et installez les packages suivants :
    • %pip install delta-sharing
    • pip install pandas-gbq -U
  2. Copiez le code de , collez-le dans votre notebook, mettez à jour le chemin de delta_share_to_bq.pyconfiguration (config.yaml), et exécutez-le.

Surveillance et journalisation

L’application fournit une journalisation détaillée avec :

  • Statut de traitement pour chaque table.
  • Messages d’erreur et exceptions.
  • Informations sur le traitement simultané.

Meilleures pratiques

  • Optimisation des performances
    • Ajustez le nombre de threads en fonction des ressources système.
    • Surveillez l’utilisation de la mémoire à l’aide de grands tableaux.
    • Tenez compte de la taille des tables lors de la définition de processus simultanés.
  • Gestion des erreurs
    • Surveillez les journaux des applications.
    • Configurez les alertes appropriées.
    • Maintenez les configurations de sauvegarde.

Résolution des problèmes

Problèmes courants et solutions :

  • Échecs de connexion
    • Vérifiez la connectivité réseau.
    • Vérifiez la validité des informations d’identification.
    • Confirmez les autorisations du compte de service.
  • Erreurs de traitement
    • Vérifiez l’existence de la table.
    • Vérifiez les autorisations d’accès à la table.
    • Validez les paramètres de configuration.
  • Problèmes de performance
    • Réduisez les threads simultanés.
    • Surveillez les ressources système.

Support technique

Pour obtenir de l’aide supplémentaire :

  • Consultez les journaux d’application pour plus de détails sur les erreurs.
  • Vérifiez les paramètres de configuration.
  • Assurez-vous que toutes les conditions préalables sont remplies.
  • Contactez votre administrateur système pour les problèmes liés aux autorisations.