Un sujet revient de plus en plus souvent dans des échanges que nous avons pu avoir ces derniers temps : le Lidar et les nuages de points pour compléter les photos Panoramax.
Avant tout un petit rappel:
- le Lidar est une méthode de capture d’un nuage de points (pas la seule)
- on peut aussi générer un nuage de points soit par photogrammétrie (reconstruction de la 3D à partir d’une série de photo, voire prédiction de la 3D par des modèles d’estimation de profondeur ou distance)
- ces reconstructions à partir de photos peuvent être très gourmandes en calculs… et en stockage
Après quelques visio autour de ce sujet, je partage ici l’état des réflexions.
L’extension de Panoramax même à intégrer ces données d’une nature assez différente et relativement volumineuse représenterai un très gros travail de refonte à tous les niveaux (API, stockage, visionneuse).
Ceci n’est pas sur notre feuille de route car assez périphérique au coeur de Panoramax.
Ce qui semble plus simple à faire est de pouvoir associer à des photos (seule ou en séquence) un nuage de point correspondant, et ceci pourrait se faire à l’aide des tags sémantiques en indiquant l’URL d’un nuage de point à associer.
Ces catalogues de nuages de points pourraient être eux aussi publiés en utilisant STAC vu qu’ils sont associés à l’espace et au temps, ce qui simplifierait l’utilisation combinée avec le même système de catalogage que Panoramax.
Une visionneuse dédiée pourrait combiner photo et nuage de points pour fournir des outils dont les plus demandés concerne des mesures sur photo (distances, surfaces, hauteurs, etc).
Pour avancer:
- identifier qui est intéressé par ce sujet et poursuivre les échanges ici sur le forum
- tester quelques outils de reconstruction 3D (priorité à l’open-source)
- évaluer les visionneuses existantes qui pourraient mixer les deux
Dans les outils de reconstruction, je connais:
- Micmac (que j’ai testé il y a des années pour produire une photo aérienne et un nuage de points à partir de photos prises avec un petit drone)
- Unik3D… modèle d’estimation de distance que je n’ai pas encore tester mais qui semble très efficace
Pour les visionneuses, quelques échanges on déjà eu lieu avec au moins deux développements (open-source) :
One topic has come up more and more frequently in our recent discussions: using Lidar and point clouds to supplement Panoramax photos.
First, a quick reminder:
- Lidar is one method of capturing a point cloud (not the only one)
- Point clouds can also be generated through photogrammetry (3D reconstruction from a series of photos, or even 3D prediction using depth or distance estimation models)
- These reconstructions from photos can be very computationally intensive… and storage-intensive too
After a few video calls on this topic, I’m sharing the current state of our thinking here.
Extending Panoramax itself to integrate this data—which is quite different in nature and relatively large in volume—would represent a massive overhaul at every level (API, storage, viewer).
This is not on our roadmap as it is quite peripheral to the core of Panoramax.
What seems simpler to implement is the ability to link a corresponding point cloud with photos (either a single photo or a sequence), and this could be done using semantic tags by specifying the URL of the point cloud to be associated.
These point cloud catalogs could also be published using STAC since they are associated with space and time, which would simplify their combined use with the same cataloging system as Panoramax.
A dedicated viewer could combine photos and point clouds to provide tools, the most in-demand of which involve measurements on photos (distances, areas, heights, etc.).
Moving forward:
- Identify who is interested in this topic and continue the discussion here on the forum
- Test a few 3D reconstruction tools (priority given to open-source)
- Evaluate existing viewers that could combine the two
Among reconstruction tools, I’m familiar with:
- Micmac (which I tested years ago to [create an aerial photo](https://medium.com/@ cq94/lorthophoto-faite-maison-2aaa1f791495) and a point cloud from photos taken with a small drone)
- Unik3D… a distance estimation model that I haven’t tested yet but which seems very effective
As for viewers, there have already been some discussions regarding at least two (open-source) projects:
Translated with DeepL.com (free version)