Se connecter à BigQuery

Objectif

L’outil Analytics Cloud Connect Access est un notebook qui vous aide à configurer et à gérer les transferts de données de Procore vers BigQuery avec Analytics 2.0.

Conditions préalables

Analytics 2.0 SKU
Accès à Google Cloud Platform (GCP)
Autorisations requises sur Delta Share et BigQuery
Téléchargez le package compressé à partir de l’outil Analytics au niveau entreprise (via Analytics > Options de connexion > de mise en route > BigQuery).

Configurer la configuration

Delta Share Configuration

Créez un fichier nommé config.share avec vos informations d’identification Delta Share au format JSON.
Obtenir les champs obligatoires.
Note: Ces informations peuvent être obtenues à partir de l’application Web Analytics.
- bearerToken : Votre jeton d’accès Delta Share.
- Terminaison: L’URL de votre point de terminaison Delta Share.
- shareCredentialsVersion : Numéro de version (actuellement 1).

Exemple de fichier config.share

{
« shareCredentialsVersion » : 1,
« bearerToken » : « »,
« endpoint » : « "
}

BIGQUERY CONFIGURATION

Téléchargez le fichier bigquery.zip à partir de l’application Web Analytics.
Note: Vous pouvez télécharger le package compressé à partir de l’outil Analytics au niveau entreprise (via Analytics > Mise en route > Options de connexion > BigQuery).
Extrayez le package dans un répertoire de votre choix.
Ouvrez le fichier config.yaml et modifiez les paramètres suivants :
- source_config.chemin_de_configuration : Chemin d’accès au fichier de configuration Delta Share.
- source_config.tables : Liste facultative des tables spécifiques à traiter. Laissez-le vide pour traiter toutes les tables.
- target_config.id_projet : ID de projet GCP pour BigQuery.
- target_config.dataset : Nom du jeu de données BigQuery.
- target_config.threads : Nombre de processus de table simultanés.

Exemple de fichier config.yaml

source_config :
config_path : « <path_to_delta_share_config>"
tables : # Facultatif - liste des tables spécifiques à traiter
- « table1"
- « table2 »

target_config :
project_id :<your-gcp-project-id>
«" dataset : «"<bigquery-dataset-name>
target_type : bigquery

Charger le fichier de configuration

Chargez les fichiers config.yaml et config.share dans le compartiment gs.
1. Stockage Google Cloud Storage (GCS)
  - Utiliser le format : gs://bucket-name/path/to/config.yaml.

Exécuter l’application BigQuery

Créez un notebook Python et installez les packages suivants :
- %pip install delta-sharing
- pip install pandas-gbq -U
Copiez le code de , collez-le dans votre notebook, mettez à jour le chemin de delta_share_to_bq.pyconfiguration (config.yaml), et exécutez-le.

Surveillance et journalisation

L’application fournit une journalisation détaillée avec :

Statut de traitement pour chaque table.
Messages d’erreur et exceptions.
Informations sur le traitement simultané.

Meilleures pratiques

Optimisation des performances
- Ajustez le nombre de threads en fonction des ressources système.
- Surveillez l’utilisation de la mémoire à l’aide de grands tableaux.
- Tenez compte de la taille des tables lors de la définition de processus simultanés.
Gestion des erreurs
- Surveillez les journaux des applications.
- Configurez les alertes appropriées.
- Maintenez les configurations de sauvegarde.

Résolution des problèmes

Problèmes courants et solutions :

Échecs de connexion
- Vérifiez la connectivité réseau.
- Vérifiez la validité des informations d’identification.
- Confirmez les autorisations du compte de service.
Erreurs de traitement
- Vérifiez l’existence de la table.
- Vérifiez les autorisations d’accès à la table.
- Validez les paramètres de configuration.
Problèmes de performance
- Réduisez les threads simultanés.
- Surveillez les ressources système.

Support technique

Pour obtenir de l’aide supplémentaire :

Consultez les journaux d’application pour plus de détails sur les erreurs.
Vérifiez les paramètres de configuration.
Assurez-vous que toutes les conditions préalables sont remplies.
Contactez votre administrateur système pour les problèmes liés aux autorisations.