Détecter les commerces sur les images Panoramax

Bonjour !

Je souhaitais discuter d’une idée de réutilisation des données Panoramax : utiliser les photos pour détecter de nouveaux commerces qui ne sont pas présents sur OSM, ou des commerces qui ne sont plus à jour.

La première étape serait de détecter automatiquement les façades des commerces à l’aide de modèles de machine learning. Un peu comme pour la détection de panneaux, on entraînerait un modèle de détection d’objet spécifique.

Puis on aurait un second modèle qui, en prenant l’objet détecté (un crop de la devanture) en entrée, prédirait :

  • le type de commerce (bar, café, restaurant)
  • le nom du commerce extrait de l’image

Un troisième module ferait le matching entre les commerces renseignés dans OSM et ceux détectés.

Une interface à la Osmose permettrait ensuite d’afficher ces predictions aux contributeurs OSM pour validation ou correction.

Je suis preneurs de vos retours ! Et si le projet semble pertinent, je serais ravi d’avoir un peu d’aide pour l’annotation :slight_smile:

Je pense qu’on aura des données plus fraiches et directement exploitables en utilisant la base SIRENE.

Je détaille…

La fréquence de prise de photos sur un territoire est très aléatoire, pour que ce que tu proposes soit utile, il faudrait des images très récentes.

Les traitements auraient besoin d’être quasi systématiques… cela va être très lourd en terme de calcul et de ressources à mobiliser à terme (si on généralise).

J’ai un énorme doute sur la capacité à faire ces détections avec une fiabilité suffisante et en particulier à séparer les devantures successives en éléments distincts pour ensuite envisager de les classer.

Le problème c’est que pour vérifier si un modèle peut donner de bons résultats, il faut l’entraîner et donc faire la partie la plus consommatrice de temps: l’annotation.

Pour SIRENE…

On a déjà des outils de rapprochement avec OSM qui sont très efficaces (CtC = Complète tes commerces) : https://www.complete-tes-commerces.fr/

CtC va non seulement chercher dans SIRENE les établissements, leur type, mais aussi dans le BODACC pour retrouver ceux en cours liquidation.

C’est je pense bien plus efficace, mais si tu veux essayer, pourquoi pas !

1 Like

On a déjà des outils de rapprochement avec OSM qui sont très efficaces (CtC = Complète tes commerces)
CtC va non seulement chercher dans SIRENE les établissements, leur type, mais aussi dans le BODACC pour retrouver ceux en cours liquidation.

J’ai testé Complète tes commerces, mais je trouve que souvent, on ne peut pas dire s’il y a eu un changement de propriétaires avec les données SIRENE. Une ouverture de magasin est encore plus compliquée à détecter.

Le fait que le nom de l’établissement enregistré dans SIRENE ne soit pas systématiquement le même que le nom renseigné sur OpenStreetMap (il n’a des fois rien à voir) rend souvent le matching compliqué. Autre difficulté, en ville, on a régulièrement jusqu’à une dizaine d’établissements renseignés par adresse, et ce n’est pas toujours possible de savoir le SIRET de l’établissement.

Petit exemple à côté de chez moi à Vincennes :

L’ancien siège social (adresse du coiffeur) est censé avoir fermé et déménagé à Bobigny, et pourtant ce coiffeur est toujours ouvert aujourd’hui.

Un autre exemple, ce magasin a fermé :

On a 7 établissements enregistrés à cette même adresse. Panoramax nous permet de confirmer que c’est bien FOJO qui a remplacé le commerce.

Une validation sur le terrain (ou via Panoramax) me semble indispensable dans la plupart des cas.

La fréquence de prise de photos sur un territoire est très aléatoire, pour que ce que tu proposes soit utile, il faudrait des images très récentes.

Oui, on peut s’intéresser uniquement aux images de moins d’un an.

Les traitements auraient besoin d’être quasi systématiques… cela va être très lourd en terme de calcul et de ressources à mobiliser à terme (si on généralise).

ça je ne suis pas si sûr, pour la détection des devantures, on peut avoir un modèle qui détecte tous les objets d’intérêts sur la photo. Je pense que sur Panoramax, on va avoir besoin d’un second modèle de détection d’objet dans tous les cas, pour détecter tous les objets autres que plaques d’immatriculation et visages, vu que les images à annoter et le jeu de donnée ne peuvent pas être publiques dans le cas du modèle de floutage (vu qu’il y a des données personnelles).

Pour le 2nd modèle d’extraction, on peut se concentrer sur les images en ville (ou en zone rurale dans un périmètre de X m autours de POI OSM déjà ajoutés), ça limite le temps de prédiction.

J’ai un énorme doute sur la capacité à faire ces détections avec une fiabilité suffisante et en particulier à séparer les devantures successives en éléments distincts pour ensuite envisager de les classer.

Sur ce point-là, je n’ai pas trop de doute personnellement, mais à tester :slight_smile:
On peut également avoir un petit classifier léger qui détecte quand deux devantures sont regroupées dans un objet.

Le problème c’est que pour vérifier si un modèle peut donner de bons résultats, il faut l’entraîner et donc faire la partie la plus consommatrice de temps: l’annotation.

Je vais faire quelques tests, et je te tiens au courant de ce que ça donne !

Je n’ai pas trop de doute sur le fait que la détection d’objet puis l’extraction fonctionnent correctement : on a adopté pour Open Prices la même d’approche en deux parties (détection d’objet puis extraction), ça fonctionne très bien. La partie la plus difficile pour moi, c’est de réussir pour chaque commerce détecté à :

  • déterminer les coordonnées géographiques du commerce à partir de la photo, de l’objet détecté et des données OSM
  • l’heuristique pour savoir si le commerce existe déjà, et dans le cas contraire s’il doit être mis à jour (changement de propriétaire) ou créé

Je verrai plus l’ajout dans CtC d’un lien vers les photos Panoramax disponibles (et récentes), pour juger visuellement si besoin, car de toute façon un contributeur va faire la mise à jour.

4 Likes