Comment diviser un ensemble de données volumineux?

Aperçu

Les données sur les activités de vos champs peuvent être ajoutées à Granular Insights sur le Web, sous forme de dossier compressé (d'une taille maximale de 10 Go).

Dans certaines situations, vous pouvez découvrir que la taille de vos données est trop élevée pour les charger. Si le chargement de vos données est trop long, ou si votre dossier compressé est de plus de 10 Go, le téléchargement ne fonctionnera peut-être pas, ou des problèmes surviendront durant le traitement des données.

Dans cet article, nous expliquerons comment diviser votre ensemble de données volumineux en plusieurs dossiers, pour un téléchargement plus rapide. Voici les trois étapes à suivre :

1. Créez une copie de vos données brutes
2. Créez plusieurs nouveaux dossiers pour vos données avec la structure de dossier appropriée
3. Copiez vos données dans les nouveaux dossiers

Exigences

• Données d'un capteur prise en charge

• Connaissance de la structure du dossier pour les données de capteur

1. Créez une copie de vos données brutes

Nous ne recommandons pas d'apporter des changements aux données originales de votre capteur. Vous devriez plutôt commencer par créer une copie de vos données.

1. Créez un nouveau dossier où vous placerez vos données copiées.
   • Note : pour trouver rapidement vos données, nous vous recommandons de créer ce dossier sur le bureau de votre ordinateur ou dans un autre endroit facilement accessible.

2. Sélectionnez le dossier sur la carte de données.

3. Cliquez le button droit de la souris sur le dossier qui contient les données. Sélectionnez Copier dans le menu.
   
   

4. Naviguez vers le dossier de destination (le nouveau dossier que vous avez créé à l'étape 1).

5. Cliquez le button droit de la souris et sélectionnez Coller.

   
   

6. Ouvrez le nouveau dossier que vous avez créé. Vous devriez maintenant voir une copie complète de vos données de machine.

 2. Créez plusieurs nouveaux dossiers pour vos données avec la bonne structure de dossier

Quand vous créez les nouveaux dossiers que vous utiliserez pour séparer vos données, nous vous recommandons d'avoir deux fenêtres File Explorer ouvertes, côte à côte. Le fait d'avoir deux fenêtres ouvertes vous permettra de vérifier rapidement la structure du fichier original lorsque vous créez la même structure dans votre nouveau dossier. Dans les instructions ci-dessous, nous appellerons ces fenêtres la « fenêtre de gauche » et la « fenêtre de droite », pour que ce soit bien clair.

1. Dans une fenêtre File Explorer (à gauche), naviguez jusqu'au dossier qui contient vos données copiées (voir la partie 1 ci-dessus pour savoir comment copier vos données).
2. Dans la deuxième fenêtre File Explorer (à droite), naviguez jusqu'au même dossier que ci-dessus. À ce moment, vos deux fenêtres File Explorer devraient afficher la même chose.
3. Dans cette fenêtre (à droite), créez un nouveau dossier et appelez-le 'Partie 1'.
   
   
4. Double-cliquez sur le nouveau dossier créé ('Partie 1') pour l'ouvrir.
5. Dans ce dossier, recréez la structure de dossier requise pour votre type de données. Vous pouvez double-cliquer sur les données copiées dans la fenêtre de gauche pour ouvrir chaque dossier et faire apparaître la série de dossiers emboîtés que vous devrez recréer. Par exemple :
   • Si vous avez des données John Deere GS4, votre structure de dossier pourrait ressembler à :
     • Dossier > JD-Data > log > [année_agriculteur_ferme_champ] > .jdl
   • Si vous avez des données Precision 20/20, votre structure de dossier pourrait ressembler à :
     • Dossier 1 > Dossier 2 > [fichiers de données] > .dat
6. Continuez à répéter les étapes 3 à 5 jusqu'à ce que vous ayez créé assez de dossiers structurés pour répartir toutes vos données. Par exemple, si vous voulez diviser vos données copiées en trois parties, vous suivrez ces étapes trois fois. Les nouveaux dossiers structurés peuvent s'appeler 'Partie 1', 'Partie 2', 'Partie 3'.

3. Copiez vos données dans les nouveaux dossiers

1. Dans la fenêtre de gauche, assurez-vous que vos données copiées s'y trouvent toujours. Naviguez vers le dossier qui contient les fichiers de données (le dossier 'log' dans l'exemple ci-dessous).

2. Sélectionnez certains des dossiers à copier. Nous recommandons de copier 5 à 10 dossiers. Pour choisir plusieurs dossiers à la fois, tenez la touche 'Shift' enfoncée et cliquez sur plusieurs dossiers pour les sélectionner.
   
   

3. Cliquez le button droit de la souris sur les dossiers sélectionnés et cliquez sur Copier.

4. Dans la fenêtre de l'écran de droite, ouvrez le nouveau dossier créé (c.-à-d. 'Partie 1'). Ouvrez les dossiers emboîtés jusqu'à ce que vous arriviez au même dossier, comme le montre la fenêtre de gauche (c.-à-d. 'log' dans l'exemple ci-dessus). Cliquez le button droit de la souris et sélectionnez Coller. Les dossiers copiés de la fenêtre de gauche devraient maintenant apparaître dans la fenêtre de droite.

5. Continuez de copier des dossiers de la fenêtre de gauche vers les nouveaux dossiers dans la fenêtre de droite ('Partie 2', 'Partie 3', etc.) jusqu'à ce que tous les dossiers de données de la fenêtre de gauche aient été copiés et associés à un dossier à droite.

Maintenant que votre ensemble de données a été réparti dans plusieurs dossiers, vous pouvez les compresser et les télécharger dans Insights. Note : vous ne devriez pas compresser le dossier appelé 'Partie 1'. Compressez plutôt le dossier que vous voyez immédiatement après avoir ouvert 'Partie 1'.

 

Articles liés :

Téléchargez les données de machine manuellement

Types de fichiers et de capteurs pris en charge

Structure des dossiers et types de fichiers des capteurs