📢 Migration instance IGN : lecture seule durant le pont du 14 juillet

Une migration de l’instance Panoramax IGN est programmée durant le pont du 14 juillet pour changer de serveur de base de données.

Elle sera temporairement disponible en lecture seule, il ne sera pas possible de partager de nouvelles photos durant quelques heures mais les photos seront consultables.

52-710143199

3 Likes

c’est bien noté ! merci !

Migration terminée et tout est en principe opérationnel !

2 Likes

Aussi rapide qu’un Rafale en mission commando !

Dans le détail, on a basculé la base de données de l’instance IGN de Scalingo sur un serveur baremetal OVH.

On devrait avoir de meilleures performances et un peu plus de stabilité (pour rappel, la coupure de plus de 2h il y a quelques semaines).

On a aussi plus de maîtrise du paramétrage de postgresql et cela va simplifier la prochaine migration sur le serveur baremetal définitif qui est en cours de commande chez OVH.

Donc lĂ  on a:

  • mis l’instance en mode “lecture seule” qu’on a dĂ©veloppĂ© typiquement pour ce genre de migrations
  • fait un dump de la base postgresql chez Scalingo (environ 3h)
  • transfĂ©rĂ© le dump sur le nouveau serveur
  • importĂ© le dump dans le nouveau postgresql
  • modifiĂ© le backend de l’API pour qu’il fasse ses requĂŞtes sur le nouveau serveur postgresql
  • vĂ©rifiĂ© que tout Ă©tait ok
1 Like

bonjour, merci pour l’info, je viens de tenter de verser des photos et cela n’a pas fonctionné. Je tenterai demain

Je viens d’envoyer une photo sans problème.

On vient de migrer la partie backend/API qui tourne désormais elle aussi chez OVH.

N’hésitez pas à signaler toute anomalie.

Effet de bord (attendu)… Panoflat peut désormais faire son boulot sur l’instance IGN.

Il y avait des timeout au niveau de l’API pour chercher les séquences à traiter, ce n’est plus le cas :slight_smile:

C’est @Patchanka qui va être contente !

1 Like

Merci pour le suivi. Le problème vient finalement de mes photos : originellement en format 36P (je n’ai pas vérifié le format avec ma nouvelle GoPro), la conversion avec l’appli Gopro ne conserve pas géolocalisation et datation. Donc Panoramax ne les prend pas.

J’ai changé le paramétrage par défaut de ma GoPro!

1 Like

Après upload (avec floutage marqué comme terminé) de mes séquences du soir, j’ai ça :

Simple lenteur, ou nouveau bug ?

1 Like

Ah, merci, il y a un problème de configuration sur l’instance, je corrige ca et je vous tiens au courant

2 Likes

Désolé il manquait une config’ sur le serveur, c’est corrigé pour les prochains envois, et je fais le rattrapage sur les envois d’hier.

1 Like

Merci, mes photos apparaissent bien maintenant !

1 Like

Top, on a effectivement fini de préparer les photos d’hier, tout devrait etre revenu à la normale.

Mini post-mortem…

On a migré dans un premier temps la base de données PostgreSQL le 13 juillet au soir.

Puis ça a été au tour de l’API hier… sauf qu’un oubli dans le fichier de configuration faisait que les photos étaient stockées localement au lieu d’être stockées sur le S3 d’OVH.

Conséquences:

  • les traitements sur les photos n’arrivaient pas Ă  accĂ©der aux images
  • l’espace de stockage allouĂ© Ă  l’API qui est très rĂ©duit s’est remplit très rapidement jusqu’à saturer.

La résolution:

  • ajout d’un peu plus d’espace
  • correction de la configuration pour repasser en S3
  • copie des images qui Ă©taient en attente de traitement sur S3
  • remise dans la file des images qui n’avaient pas pu ĂŞtre traitĂ©es
1 Like

J’ai fait mes premiers envois depuis la migration.

Temps de traitement : c’est le jour et la nuit, la semaine dernière j’ai envoyé des photos le mardi, elles ont été publiées le vendredi. Là je viens d’en envoyer et 1 seconde plus tard elles sont en ligne ! On dirait que la file d’attente s’est considérablement réduite !

Ici c’est les :red_triangle_pointed_down: Fêtes de Bayonne :red_triangle_pointed_down: alors mes photos sont taguées project=FdB2026 et concernent notamment les toilettes et urinoirs temporaires (je vous fait rêver :grinning_face_with_smiling_eyes:)

exemple : Panoramax IGN : photo-cartographier les territoires

Je finirais le traitement semaine prochaine, il faudra que je vois aussi comment taguer le caractère très temporaire des toilettes ou autres mobiliers dans Panoramax car il ne faudrait pas que ça arrive dans OSM. Il faut aussi savoir que pas mal de mobilier “permanent” est retiré pendant les fêtes (accroches à vélo, abri bus, potelets…) et certains commerces barricadés comme s’ils étaient fermés définitivement, ce qui rend l’usage des photos Panoramax prises pendant les fêtes délicat pour la contribution à OSM, rien n’étant comme d’habitude !

C’est peut être aussi car la semaine est plutôt calme… mais oui, ce nouveau serveur (dédié) est sûrement plus performant et en plus c’est du temporaire car on attend la livraison d’un autre serveur définitif qui va aussi s’occuper du stockage qui sera donc local et géré directement plutôt que le S3 OVH.

@antoine-de a aussi fait des tests pour changer la façon de faire les traitements des photos, en particulier pour les 360°. On devrait gagner sur les temps de traitement et sur l’espace de stockage.