Οι επιστήμονες μπορούν να ανακατασκευάσουν χώρους από τις αντανακλάσεις των ματιών στις φωτογραφίες

30th Ιούνιος 2023

Μια ερευνητική ομάδα από το Πανεπιστήμιο του Μέριλαντ, ανέπτυξε μια μέθοδο με τεχνητή νοημοσύνη (AI) για την ανακατασκευή πολύπλοκων σκηνών και αντικειμένων σε 3D, χρησιμοποιώντας μόνο τις αντανακλάσεις των ματιών ενός ατόμου.

“Η ανακλαστική φύση του ανθρώπινου ματιού είναι μια υποτιμημένη πηγή πληροφοριών σχετικά με το πώς μοιάζει ο κόσμος γύρω μας. Με την απεικόνιση των ματιών ενός κινούμενου ατόμου, μπορούμε να συλλέξουμε πολλαπλές απόψεις μιας σκηνής εκτός της άμεσης οπτικής επαφής της κάμερας μέσω των αντανακλάσεων στα μάτια”, εξηγούν οι ερευνητές.

Η ανακατασκευή μιας τρισδιάστατης σκηνής με τη χρήση των αντανακλάσεων των ματιών, είναι προβληματική για δύο πρωταρχικούς λόγους. Οι ερευνητές εξηγούν ότι είναι δύσκολο να εκτιμηθεί με ακρίβεια η θέση των ματιών ενός ατόμου, γεγονός που καθιστά δύσκολη την ανακατασκευή μιας σκηνής με βάση την αντανάκλαση. Επιπλέον, το ανθρώπινο μάτι και η υφή της ίριδας αλληλεπιδρούν περίπλοκα με τις ανακλάσεις της επιφάνειας του ματιού. Η υποκείμενη υφή του ματιού μπορεί να επηρεάσει σημαντικά την εμφάνιση των αντανακλάσεων.

“Η γεωμετρία του κερατοειδούς είναι περίπου η ίδια σε όλους τους υγιείς ενήλικες. Εξαιτίας αυτού του γεγονότος, αν μετρήσουμε το μέγεθος των εικονοστοιχείων του κερατοειδούς ενός ατόμου στην εικόνα, μπορούμε να υπολογίσουμε ακριβώς πού βρίσκονται τα μάτια του. Χρησιμοποιώντας αυτή τη γνώση, εκπαιδεύουμε το πεδίο ακτινοβολίας στις αντανακλάσεις των ματιών, εκτοξεύοντας ακτίνες από την κάμερα και αντανακλώντας τις στην προσεγγιστική γεωμετρία των ματιών. Για να αφαιρέσουμε την ίριδα από το να εμφανίζεται στην ανακατασκευή, εκτελούμε αποσύνθεση υφής εκπαιδεύοντας ταυτόχρονα έναν χάρτη υφής 2D που μαθαίνει την υφή της ίριδας”, γράφουν οι ερευνητές.

Όπως αναφέρει το Gizmodo, η νέα έρευνα, που διεξήχθη από τους Hadi Alzayer, Kevin Zhang, Brandon Feng, Christopher Metzler και Jia-Bin Huang, βασίζεται σε προηγούμενη έρευνα σχετικά με την τεχνολογία νευρωνικού πεδίου ακτινοβολίας (NeRF). Το NeRF μπορεί να δημιουργήσει νέες προβολές μιας τρισδιάστατης σκηνής χρησιμοποιώντας εισόδους δεδομένων 2D.

Στην περίπτωση της ανακατασκευής μιας τρισδιάστατης σκηνής με τη χρήση των αντανακλάσεων των ματιών, οι ερευνητές έπρεπε να ξεπεράσουν πολλές προκλήσεις, συμπεριλαμβανομένης της εύρεσης ενός τρόπου αντιστάθμισης της υφής της ίριδας και των θέσεων του κερατοειδούς. Για να το πετύχει αυτό, η ομάδα ανέπτυξε μια εκτιμώμενη υφή των ματιών και σχεδίασε έναν τρόπο για να μεταφράσει το σχήμα μιας αντανάκλασης σε έναν τυπικό κερατοειδή σε μια τυπική, φυσική προοπτική. Για το σκοπό αυτό, οι ερευνητές βασίστηκαν επίσης σε προηγούμενη εκτεταμένη έρευνα σχετικά με τη γεωμετρία του ανθρώπινου ματιού.

Σε πειράματα πραγματικού κόσμου, η ομάδα ανακατασκεύασε με επιτυχία ένα δωμάτιο σε 3D χρησιμοποιώντας αντανακλάσεις των ματιών. Αν και τα αποτελέσματα δεν είναι εξαιρετικά υψηλής ανάλυσης, είναι συναρπαστικά.

Η ομάδα εξηγεί ότι οι τυπικές τεχνικές NeRF είναι ανεπαρκείς λόγω του θορύβου που είναι εγγενής στον εντοπισμό του κερατοειδούς, των πολύπλοκων υφών της ίριδας και της χαμηλής ανάλυσης των μικρών ανακλάσεων. Για να ξεπεράσει αυτά τα εμπόδια, η ομάδα εισήγαγε νέες μεθόδους βελτιστοποίησης της θέσης του κερατοειδούς και αποσύνθεσης της υφής της ίριδας κατά τη διάρκεια της διαδικασίας εκπαίδευσής της. Η μέθοδος επιτρέπει επίσης τη βελτιωμένη ανακατασκευή της σκηνής όταν ένα άτομο κινεί το κεφάλι του, κάτι που είναι μοναδικό, καθώς άλλες μέθοδοι NeRF χρησιμοποιούν μια κινούμενη κάμερα και όχι ένα κινούμενο υποκείμενο. Όταν τα υποκείμενα στρέφουν το κεφάλι τους από πλευρά σε πλευρά, τα πρόσθετα δεδομένα στις επόμενες λήψεις εικόνων βελτιώνουν τα αποτελέσματα.

“Με αυτό το έργο, ελπίζουμε να εμπνεύσουμε μελλοντικές εξερευνήσεις που αξιοποιούν απροσδόκητα, τυχαία οπτικά σήματα για να αποκαλύψουν πληροφορίες για τον κόσμο γύρω μας, διευρύνοντας τους ορίζοντες της τρισδιάστατης ανακατασκευής σκηνών”, καταλήγει η έρευνα.

Μάθετε περισσότερα εδώ.

Αναζητήστε όλα τα νέα προϊόντα στο κατάστημα
Ρεπέλλα Φωτογραφικά.

To pttlgr στηρίζεται για την λειτουργία του στους αναγνώστες του!
Μπορείς να βοηθήσεις με μία μικρή δωρεά!
Υποστηρίξτε το pttlgr ακόμα και με μόλις 1€ – χρειάζεται μόνο ένα λεπτό. Εάν μπορείτε, σκεφτείτε να μας υποστηρίξετε με ένα ποσό κάθε μήνα.
Σας ευχαριστούμε.

Στηρίξτε το pttlgr και την προσπάθεια μας για έγκυρη και άμεση ενημέρωση ακολουθώντας μας
σε Instagram, YouTube και Facebook!

Ακολουθήστε το pttlgr στα Google News, εδώ!