Lidar et nuages de points combinés à Panoramax?

Panoramax : photo-cartographions les territoires Technique
1

Un sujet revient de plus en plus souvent dans des échanges que nous avons pu avoir ces derniers temps : le Lidar et les nuages de points pour compléter les photos Panoramax.

Avant tout un petit rappel:

  • le Lidar est une méthode de capture d’un nuage de points (pas la seule)
  • on peut aussi générer un nuage de points soit par photogrammétrie (reconstruction de la 3D à partir d’une série de photo, voire prédiction de la 3D par des modèles d’estimation de profondeur ou distance)
  • ces reconstructions à partir de photos peuvent être très gourmandes en calculs… et en stockage

Après quelques visio autour de ce sujet, je partage ici l’état des réflexions.

L’extension de Panoramax même à intégrer ces données d’une nature assez différente et relativement volumineuse représenterai un très gros travail de refonte à tous les niveaux (API, stockage, visionneuse).

Ceci n’est pas sur notre feuille de route car assez périphérique au coeur de Panoramax.

Ce qui semble plus simple à faire est de pouvoir associer à des photos (seule ou en séquence) un nuage de point correspondant, et ceci pourrait se faire à l’aide des tags sémantiques en indiquant l’URL d’un nuage de point à associer.

Ces catalogues de nuages de points pourraient être eux aussi publiés en utilisant STAC vu qu’ils sont associés à l’espace et au temps, ce qui simplifierait l’utilisation combinée avec le même système de catalogage que Panoramax.

Une visionneuse dédiée pourrait combiner photo et nuage de points pour fournir des outils dont les plus demandés concerne des mesures sur photo (distances, surfaces, hauteurs, etc).

Pour avancer:

  • identifier qui est intéressé par ce sujet et poursuivre les échanges ici sur le forum
  • tester quelques outils de reconstruction 3D (priorité à l’open-source)
  • évaluer les visionneuses existantes qui pourraient mixer les deux

Dans les outils de reconstruction, je connais:

  • Micmac (que j’ai testé il y a des années pour produire une photo aérienne et un nuage de points à partir de photos prises avec un petit drone)
  • Unik3D… modèle d’estimation de distance que je n’ai pas encore tester mais qui semble très efficace

Pour les visionneuses, quelques échanges on déjà eu lieu avec au moins deux développements (open-source) :

One topic has come up more and more frequently in our recent discussions: using Lidar and point clouds to supplement Panoramax photos.

First, a quick reminder:

  • Lidar is one method of capturing a point cloud (not the only one)
  • Point clouds can also be generated through photogrammetry (3D reconstruction from a series of photos, or even 3D prediction using depth or distance estimation models)
  • These reconstructions from photos can be very computationally intensive… and storage-intensive too

After a few video calls on this topic, I’m sharing the current state of our thinking here.

Extending Panoramax itself to integrate this data—which is quite different in nature and relatively large in volume—would represent a massive overhaul at every level (API, storage, viewer).

This is not on our roadmap as it is quite peripheral to the core of Panoramax.

What seems simpler to implement is the ability to link a corresponding point cloud with photos (either a single photo or a sequence), and this could be done using semantic tags by specifying the URL of the point cloud to be associated.

These point cloud catalogs could also be published using STAC since they are associated with space and time, which would simplify their combined use with the same cataloging system as Panoramax.

A dedicated viewer could combine photos and point clouds to provide tools, the most in-demand of which involve measurements on photos (distances, areas, heights, etc.).

Moving forward:

  • Identify who is interested in this topic and continue the discussion here on the forum
  • Test a few 3D reconstruction tools (priority given to open-source)
  • Evaluate existing viewers that could combine the two

Among reconstruction tools, I’m familiar with:

  • Micmac (which I tested years ago to [create an aerial photo](https://medium.com/@ cq94/lorthophoto-faite-maison-2aaa1f791495) and a point cloud from photos taken with a small drone)
  • Unik3D… a distance estimation model that I haven’t tested yet but which seems very effective

As for viewers, there have already been some discussions regarding at least two (open-source) projects:

Translated with DeepL.com (free version)

4 Likes
Infolettre mai 2026
Infolettre avril 2026
Infolettre mars 2026
2

Unik3D a l’air très impressionant !

1 Like
3

Merci d’avoir ouvert ce débat. Nous sommes très intéressés par ces questions à la Ville de Paris dans la mesure où nous installons actuellement notre propre instance Panoramax. Parmi les logiciels open-source, nous avons identifié Meshroom (AliceVision) : AliceVision | Photogrammetric Computer Vision Framework

1 Like
4

Si d’autres personnes sont intéressées par la reconstruction 3D à partir d’une série de photos et la diffusion du résultat, n’hésitez pas à vous manifester!

2 Likes
5

Merci pour cette discussion qui nous intéresse particulièrement car nous avons interfacé notre outil avec le viewer Panoramax. Le fait de pouvoir mesurer différents objets dans le photo-viewer est une options très intéressante.
L’idée d’associer un nuage de points LIDAR à chaque photo/séquence est intéressante.

1 Like
6

Bonjour,

Merci Christian pour la synthèse des discussions.

Sur le sujet nuages de points il y a plusieurs aspects à dissocier :

  • A. la génération des données de nuages de points
  • B. l’intégration des données nuages de points dans la plateforme

On peut également élargir la problématique d’intégration des données nuages de points à l’intégration de données 3D au sens large.

Pour le A, soit on a trois cas :

  • des données de nuages de points qui sont captées en même temps que les images, et on a dans ce cas un bon calage entre photos et nuages de points, et on peut travailler sur la co-visualisation ou des co-traitements
  • on a un nuage de point (e.g. LIDAR aérien ou capture au sol) qui couvre la zone des images, mais pas calé avec les images. Dans ce cas l’enjeu est de s’assurer que le nuage de point est correctement géo-référencé, et d’autre part que les images possèdent une information de localisation et orientation précise ( en 3D donc), ce qui est rarement le cas. Il y a un espace de recherche ouvert pour réussir à déterminer cette localisation et orientation automatiquement à partir de jeux de données annexes
  • on a pas de nuage de point disponible, et on veut le générer : dans ce cas on utilise des outils de photogrammétrie tels que ceux qui ont déjà été cités. Le processus de photogrammétrie inclut le calcul de positionnement et orientation des images dans l’espace 3D, donc en sortie on a forcément un bon calage. Par contre le processus photogrammétrique peut être assez complexe et très dépendant des conditions de prise de vue, de l’homogénéité des photos, et de la densité de prise de vue notamment. Les outils existant en opensource sont assez complets et puissants, mais le processus et le paramétrage demande de l’expertise et du travail.

Pour le B, Oslandia est en train de monter des projets pour intégrer la 3D dans la plateforme Panoramax, et particulièrement les nuages de points. L’idée est notamment de :

  • avoir un catalogue STAC de nuages de points en parallèle du catalogue d’images panoramax
  • développer une visionneuse 3D ( basée sur Giro3D par exemple ) en alternative à la visionneuse 2D actuelle, qui permette l’affichage des images dans un environnement 3D complet. On peut ainsi afficher les images, les nuages de points, et utiliser des outils qui agissent dans l’environnement 3D ( cf les exemples avec des images 360° sur le site de Giro3D )
  • définir un lien entre les images et les nuages de points, en utilisant le système de tags pour associer les images ou les trajectoires à des ressources STAC de nuages de points
  • étendre les annotations faites actuellement sur les images en 2D à l’environnement 3D
  • étendre la visualisation 3D à l’indoor également

Si vous êtes intéressés pour faire avancer cette partie B, n’hésitez pas à nous contacter, nous sommes en phase de mutualisation de budgets pour permettre le développement d’un premier prototype.

3 Likes
7

It’s great to see initiatives like Panoramax evolving as an open platform for street-level imagery. It provides a strong foundation for sharing and working with georeferenced visual data in an open ecosystem.

At the same time, tools such as Potree and CloudCompare remain very powerful for LiDAR and point cloud processing, but they are still largely separate from integrated, web-native workflows.

This gap between imagery platforms and point cloud tooling is exactly the space we are working in with 360GEO.

360GEO is built around open standards and open APIs, with the goal of making interaction with distributed geospatial data as simple and interoperable as possible. The platform is designed as a service layer rather than a closed system: data can remain in decentralized storage or cloud environments, while being accessed and connected through standardized interfaces.

In practice, this means:

  • panoramic / aerial imagery as a visual layer

  • LiDAR data where available (optional, not required)

  • web-based professional viewer and analysis tools

  • integration via open APIs and common geospatial standards

The focus is on making imagery and LiDAR usable in a single, web-native workflow without requiring heavy desktop point cloud processing in every use case.

From an architectural perspective, we strongly believe in openness and interoperability between systems. The platform follows a service-based model where usage of infrastructure and processing resources is naturally reflected in costs, while keeping the system itself as open and interoperable as possible.

We are very interested in exploring how these ecosystems could connect further in practice.

1 Like
8

FYI everyone : on June 19th the EuroSDR (European Spatial Data Reaseach) network is giving a webinar about 3D geoinformation, you may want to attend or submit a presentation :

9

Bonjour,

J’ai lu avec attention l’apport de @vpicavet , mon point d’attention sera la co-registration spatiale mais aussi temporelle des deux informations (image et lidar) ; que j’associe au besoin de connaître la précision planimétrique des acquisitions. Autrement dit, il faut réussir à fusionner image et lidar (les aligner dans un même référentiel relatif xyz d’origine 0,0,0) en ayant une (bonne) idée de la position absolue de ce référentiel ; une condition de la capacité à faire la fusion étant la meilleure proximité temporelle possible entre l’acquisition lidar et celle image.

Il y a des retex je pense à prendre dans les labos ign.

10

J’ai vu une maquette aujourd’hui du projet de jumeau numérique du département de l’Aveyron par Aveyron Innovation et le SMICA

https://aveyron.fr/pages/numerique-innovation-et-energie/le-jumeau-numerique-de-laveyron

Ça semble utiliser le lidar et les images PCRS pour faire un rendu type gearth.

11

Pour info de suivi, Oslandia va commencer des travaux sur la partie B du projet, afin de pouvoir co-visualiser des images Panoramax et des nuages de points correspondants.

On ne traite pas le sujet A, donc on travaille sur la partie logicielle en prenant pour hypothèse que les images et les nuages sont pleinement co-registrés temporellement et spatialement. Cela correspond généralement à des données de prise de vue simultanée avec un appareil unique.

Si vous souhaitez contribuer à ces travaux, n’hésitez pas à nous contacter, nous sommes encore en recherche de soutien pour pouvoir sortir un MVP d’ici à la fin d’année.

1 Like