désolée… je suis toujours décalée car je ne suis presque jamais en vacances pendant les vacances scolaires, et c’est dans ces moments là plus calmes au bureau, que j’ai le temps de faire des tests sur Panoramax
Bonjour @Patchanka , le fichier https://api.panoramax.xyz/data/geoparquet/panoramax.parquet a bien été généré le 12 avril à 09:26 , il y a un souci avec le fichier ?
Les dates indiquées sur data.gouv correspondent aux dernière modifications qui ont été faites sur le jeux de données sur data.gouv, pas à la date de modification du fichier lui même.
Elle est par contre visible sur Index of /data/geoparquet/ et aussi dans les entêtes des réponses HTTP.
1 Like
bon du coup je n’ai pas eu le temps de faire mes tests mais la présentation aux collègues ce matin a fait forte impression quand je leur ai parlé des tags et qu’on a affiché les panneaux sur Panoramax et dans Isigéo.
Le sujet des plaques de rues (que j’ai commencé à taguer manuellement avec wd|P180=Q1969455) a aussi été une question.
et les fléchages directionnels ?
C’est pas détecté actuellement, car pas d’annotation faite (j’ai commencé) ni de modèle entraîné pour ça et testé/validé…
bonjour
j’ai un soucis avec le type de transport qui ne semble pas toujours présent dans le fichier parquet.
Avez-vous constaté la même chose ?
Par exemple, j’ai ajouté le mode de transport sur toutes les séquences de 2022 mais le fichier récupéré n’en contient aucun…
Voici ma requête pour les photos 2022 :
COPY (
SELECT
*
FROM
'https://api.panoramax.xyz/data/geoparquet/panoramax.parquet'
WHERE
bbox.xmin > -1.5085
and bbox.ymin > 43.4440
and bbox.xmax < -1.4117
and bbox.ymax < 43.5212
and instance.name='ign'
and year(datetime)=2022
)
TO 'bayonne_ign_2022.parquet'
WITH
(FORMAT 'parquet');
Ensuite quand je donne ça à FME, il ne trouve aucun tag transport :
Exemple sur cette photo : id=9c0b80de-4d01-46a8-b574-3c36d9051e6d
A noter que sur certaines de ces photos, il trouve bien des panneaux détectés, exemple (sur une autre photo):
bonjour
pour donner un autre exemple, sur 2026, dans le parquet je trouve 32 séquences avec un tag transport et 13 séquences sans tag transport.
Alors que dans Panoramax, toutes ces séquences ont un tag transport.
Exemple de séquence où je ne récupère pas le tag transport :
Exemple de séquence où je récupère bien le tag transport :
Quand c’est bon ça ressemble à ça :
bonjour
est-ce que quelqu’un peut passer cette requête et me dire si le résultat contient l’info du transport ?
J’avoue que je ne sais pas comment “lire” le fichier Parquet, à part avec FME, et avec FME je ne trouve aucune info de transport dedans.
Est-ce que d’autres personnes ont fait des tests (ou plus) sur le contenu de cet export ?
Il y a visiblement un souci sur la synchro avec le metacatalogue, ta première séquence n’a pas de tags sur le metacatalogue
sur l’instance IGN:
~
❯ xh https://panoramax.ign.fr/api/collections/92219fc0-0a24-486b-b744-b5aa4b53143e | jq '.semantics'
[
{
"key": "transport",
"value": "car"
}
]
et sur le metacatalogue:
❯ xh https://api.panoramax.xyz/api/collections/92219fc0-0a24-486b-b744-b5aa4b53143e | jq '.semantics'
[]
J’ai créé une issue, je me demande si ce n’est pas un problème quand on rajoute les tags après coup, peut être que le meta catalogue ne passe pas crawler les nouvelles valeurs.
1 Like
merci @antoine-de
En effet, à l’époque on ne pouvait pas indiquer le transport, je l’ai rajouté plus tard.
Je voudrais l’indiquer sur toutes mes séquences pro mais j’utilisais le parquet pour savoir sur lesquelles il était manquant, c’est comme ça que j’ai vu le soucis.
Tu penses que ça concerne uniquement les tags transport ? Parceque forcément on rajoute manuellement plein de tags après envoi.
je suis en train de creuser, je pense que ca concerne tous les tags rattachés à la séquence (ou à l’envoi, j’ai pas encore fini de creuser).
Je check un peu le souci, et je relancerais une synchro de toutes les données, l’export du week end devrait contenir tout.
1 Like
Les corrections ont été faites la semaine dernière, et j’ai relancé un crawl de toutes les données des instances IGN et OSM-fr (il y a eu quelques pétouilles qu’il faut que je corrige, mais la grosse majorité des données devraient être ok).
Maintenant voici les tags sur ta requête de 2022 :
┌──────────────────┬──────────────────────────────────┬─────────┐
│ key │ value │ nb_tags │
├──────────────────┼──────────────────────────────────┼─────────┤
│ transport │ bike │ 2533 │
│ osm|traffic_sign │ FR:C113 │ 41 │
│ osm|traffic_sign │ FR:B15 │ 36 │
│ osm|traffic_sign │ FR:C115 │ 9 │
│ wd|P180 │ Q1969455 │ 8 │
│ osm|traffic_sign │ FR:B9a │ 8 │
│ osm|traffic_sign │ FR:C114 │ 6 │
│ osm|traffic_sign │ FR:B9g │ 4 │
│ osm|traffic_sign │ FR:B13 │ 3 │
│ osm|traffic_sign │ FR:B11 │ 3 │
│ osm|traffic_sign │ FR:B6d;FR:M6h │ 3 │
│ osm|traffic_sign │ FR:B12 │ 2 │
│ osm|traffic_sign │ FR:B6d;FR:M6a │ 2 │
│ osm|traffic_sign │ FR:M12d │ 2 │
│ osm|traffic_sign │ FR:B22a │ 2 │
│ osm|traffic_sign │ FR:B14[20] │ 1 │
│ wd|P138 │ Q3579824 │ 1 │
│ osm|traffic_sign │ FR:B14[15] │ 1 │
│ osm|traffic_sign │ FR:M12f │ 1 │
│ osm|inscription │ Rue Edouard DUCERE ↵ 1849 - 1910 │ 1 │
1 Like
super, merci beaucoup.
Je vais tester ça dès que possible
ok je viens de relancer la requête + projet FME, je récupère bien les tags transport pour 2022. 
J’avais commencé sur le tag transport qui me semblait un bon exemple pour commencer à requêter les tags, et j’ai passé pas mal de temps à essayer de comprendre pourquoi il n’y étaient pas… je pensais que je m’y prenais mal… j’ai mis beaucoup de temps à comprendre que ce n’était pas moi le problème 
Maintenant les tests vont pouvoir reprendre et je vais encore me (et vous) poser de nouvelles questions bizarres dès que j’aurais un peu de temps pour m’y mettre
à bientôt
1 Like
bonjour ! 
je suis désolée, c’est encore moi.
Ce matin je viens de repasser la même requête pour 2022 et pour 2023.
Or je constate maintenant une différence de structure entre les 2 :
dans le fichier de 2022, les champs s’appellent element.xxx et dans celui de 2023, uniquement xxx.
Exemple : je filtre par utilisateur normalement sur providers element.name
Voici ce que je vois dans FME sur une photo de 2022 :
Et sur une photo de 2023 :
Si je fais la requête initiale pour prendre 2022 + 2023, la structure est celle sans le element.
Est-ce qu’il faut considérer que la structure maintenant est sans ce element. ?
Edit : si je fais cette même requête pour 2022, 2023, 2024, 2025, 2026 => seuls 2022 et 2026 ont le préfixe element.
1 Like
Je vois providers.list{} dans le premier et providers{} dans le second ce qui explique que les valeurs ne soient pas pareil et ça me semble plutôt venir de FME.
ok désolée. Je pense que FME s’est perdu entre les fichiers en entrée anciens et nouveaux.
Si je supprime tout et que je remets les sources (1 parquet par année), tous les fichiers ont la structure sans le element.
Je vais modifier mon projet pour tenir compte de ce changement (car j’ai plusieurs filtres qui utilisent la syntaxe avec le element.)
Moi je fais avec FME, mais quels sont les autres moyens d’ouvrir ou de prévisualiser un fichier .parquet ? J’aurais bien volontiers vérifié la structure moi-même avec un autre outil afin d’éviter de vous faire perdre du temps.
duckdb !
Pour avoir le descriptif du contenu:
DESCRIBE 'panoramax.parquet';
Après c’est du SQL…