Utilisation de la dashcam Tesla

Bonjour,

Je souhaiterais savoir si les vidéos des dashcam Tesla pourraient répondre aux besoin de ce projet (résolution, qualité…).
Je sais déjà qu’elles ne sont pas géotaggées mais j’avais lu un article qui indiquait que l’outil de Mapillary pouvait permettre le traitement des données (découpage vidéo + géotag) si on a une trace gpx à côté.
J’imagine qu’il existe sans doute d’autres solutions techniques (par exemple celle-ci, mais propriétaire) pour réaliser ce traitement.

Qu’en pensez vous ?

Je suis preneur d’un fichier d’exemple pour me faire une idée et tenter une réponse.

Une série de vidéos dashcam + une trace gpx annexe conviendrait ?

Parfait !

Pas besoin d’un gros volume, c’est pour se faire une idée de l’exploitabilité de ce genre d’enregistrements.

Echantillon reçu:

  • 4 caméras (avant, arrière, rétro gauche et droite)
  • flux h264 à 36 images/s à 5Mbps
  • résolution de 1280x960 donc assez faible, mais exploitable pour de l’IA (bien sûr)

C’est moche mais sûrement exploitable pour certains usages comme la détection de panneaux… de quoi alimenter PanneauxRamax !

La faible résolution fait que le floutage de plaques et visages n’est quasiment pas nécessaire :wink:

Voilà le résultat de détection sur le flux vidéo:

On voit que la détection des panneaux est améliorable :wink:

C’est normal car ils sont variés et l’échantillon utilisé pour l’entraînement n’était pas sélectionné à la base pour ça.

Ok !
Et si on splitte les vidéos en image et qu’on les géotaggue, la résolution serait elle suffisante pour l’aspect “base de photos de rues” ?


Ce n’est pas très esthétique mais c’est exploitable pour de la cartographie de PdI, pour préparer un itinéraire… :grinning:

Spliter la vidéo en images ne va pas améliorer la résolution ni la qualité.

C’est mieux que rien, exploitable pour de l’IA pour certaines choses, mais quand même bien moche comparé à ce que prend un simple smartphone ventousé au pare-brise.

Oui, pour cette partie là je me doutais qu’il n’y aurait pas de miracle :sweat_smile:

En fait je pensais plutôt à la facilité d’alimenter de façon rapide et automatique la plateforme. J’imagine qu’il sera toujours possible “d’écraser” des images existantes avec d’autres de meilleure qualité.

Comme les caméras fonctionnent presque non stop sur les Tesla, je trouvais qu’au moins sur ce projet on leur trouvait une vrai utilité !

Oui, c’est intéressant bien sûr !

Aucune idée de la simplicité pour récupérer ces vidéos, puis les transmettre. Si il faut y penser à chaque fois qu’on prends la route, ça risque d’être vite lourd. L’idéal serait d’arriver à automatiser tout ça au maximum.

Ok c’est “moche” mais sur des zones non panoramaxés, il vaut peut-être mieux ça que rien. Pour avoir une première couverture du territoire.
C’est un peu comme les antennes-relais, la 5G est en cours de déploiement, mais heureusement qu’il y a les autres versions en place car sinon c’est un peu vide.

En gros, ça permet une première base, à remplacer par mieux plus tard. L’idéal étant les dues 360 de bonne qualité.

Je pense que l’extraction d’images JPEG depuis des vidéos avec ffmpeg est loin d’être optimale.

ffmpeg utilise pour cela l’encodeur MJPEG et les possibilités de réglage de compression ou autre sont quasi nulles.

L’autre option c’est de sortir des images PNG avec ffmpeg, puis de les compresser en masse avec Imagemagick.

Cela permet aussi d’améliorer leur rendu au passage… exemple :

ffmpeg  -skip_frame nokey -i 2023-07-13_08-19-38-front.mp4 -f image2 -threads 1 -vsync 0 test-%04d.png


PNG en sortie de ffmpeg (970Ko)


JPEG amélioré pas Imagemagick (227Ko)

Obtenu avec :

mogrify -modulate 100,150,90 -sigmoidal-contrast 1x0% -normalize -format jpg -quality 80 *.png

  • modulate pour augmenter la saturation et déjaunir un peu
  • sigmoidal_contrast pour augmenter le contraste
  • normalize pour équilibrer

C’est à affiner en fonction de la dashcam mais ça me semble moins moche malgré les artéfacts de compression plus visibles et bien qu’encore pas mal jaune.

L’autre avantage, les JPEG produits semblent propres car ceux générés directement par ffmpeg posent des problèmes quand on les passe au floutage (je m’arrache les cheveux la dessus depuis hier soir).