Les données Panoramax sont désormais sur data.gouv.fr
Afin de faciliter les réutilisations, toutes les données de la fédération Panoramax peuvent maintenant être téléchargées dans deux formats différents :
Un export brut de la base de données Postgres;
Un fichier Parquet.
Avec pratiquement 
80 millions de photos sur Panoramax, les fichiers exportés sont assez volumineux (~20 Go).
Ces exports sont réalisés toutes les semaines pour le moment.
Export brut de la base de données Postgres
C’est un fichier généré via l’outil pg_dump. Il permet de charger les données dans une base de données Postgres facilement (la commande est détaillée dans la doc) et de profiter de toutes les fonctionnalités de Postgres/Postgis.
Il est à noter que l’import des données peut prendre plusieurs heures et prévoyez un peu de place pour la base de données, la taille à date est de plus de 300 Go (et ca ne va faire qu’augmenter 
).
Export GeoParquet
Un fichier Geoparquet est aussi à disposition.
Apache Parquet est un format de données puissant, orienté colonnes, conçu comme une alternative moderne aux fichiers CSV et Geoparquet lui rajoute des types géospatiaux (Point, Ligne, Polygone).
Vous pouvez consulter la documentation (en anglais pour le moment) pour avoir la description des données à disposition.
Le fichier Parquet peut êtré téléchargé pour une utilisation en local, mais il peut aussi être interrogé à distance, pour ne récupérer que les bouts intéressants et ne pas télécharger les 20G de données.
le format encore en version bêta.
Le format de fichier est encore en développement et doit être considéré comme étant en version bêta.
Si vous avez besoin de davantage de données ou si vous pensez que le format devrait être différent, n’hésitez pas à nous le dire.
Il n’y a notamment pas pour le moment les données exif des photos, car ça alourdirait trop l’export.
Utilisation
Parquet est un format très puissant, mais un peu plus compliqué à utiliser qu’un fichier CSV.
Pour vous aider, on a fait un tutoriel sur l’utilisation du fichier avec l’excellent outil duckdb.
DuckDB n’est pas du tout le seul outil qui permet de lire des fichiers parquet, mais c’est un outil qui permet de lire pleins de formats de fichier comme si c’était du SQL. C’est utilisé par plein d’autres outils, il y a par exemple des plugins QGIS qui l’utilisent.
Avec ce tutoriel, vous apprendrez comment :
- récupérer des données sur une zone géographique (avec une bounding box ou un contour administratif précis) ;
- récupérer toutes les données d’un utilisateur ou d’une utilisatrice ;
- faire des stats sur les tags sémantiques utilisés,
- convertir les données en CSV/GeoJSON, …
Démo avec Kepler
KeplerGL est un outil en ligne pour faire des cartes, qui utilise entre autre duckdb. Voici une mini démo pour afficher les données sur Paris. Ce qui se passe dans Kepler est fait uniquement dans le navigateur, les données ne sont pas envoyées sur un serveur.
En cliquant sur ce lien, vous allez ouvrir Kepler avec une requete Duckdb préremplie qui filtre les données sur une enveloppe géographique autour de Paris.
Vous pouvez cliquer sur la flèche verte pour lancer la requête.
Soyez patient, duckdb récupère les données qu’il faut dans le fichier (mais ne lit pas les 20G du fichier, il peut en sauter des gros bouts, vu que les photos sont rangées par proximité géographique). Sur mon ordinateur, avec une connexion en 4G, la requête prend ~4mn et ~500M sont transférés.
Une fois la requête terminée, vous pouvez l’ajouter à la carte
Puis centrer la carte sur les données.
Et tada 
Vous pouvez ensuite jouer avec les styles si vous en avez envie 
, refiltrer les données, ou rajouter d’autres données…
Conclusion
On est preneurs de vos retours, et nous avons hâte de voir les nouveaux usages qui vont émerger grâce à ces exports 
.
MERCI
.