Ε1.1 – Συνεντεύξεις και συναντήσεις εργασίας με ομάδες χρηστών [M1-M3]

Περιλαμβάνει τη διαμόρφωση των ομάδων εργασίας με στόχο τη διεξαγωγή συνεντεύξεων και συναντήσεων εργασίας. Οι παραπάνω ενέργειες θα μας επιτρέψουν να αναλύσουμε τις ανάγκες των χρηστών και να καθορίσουμε τις απαιτήσεις του συστήματος. Οι συναντήσεις εργασίας θα έχουν ως βάση την παρουσίαση και ανάλυση των συστημάτων υποβοήθησης που είναι διαθέσιμα στην αγορά (ώριμες λύσεις αλλά και ερευνητικά πρωτότυπα), ώστε να προσδιοριστεί η επιπλέον λειτουργικότητα που είναι αναγκαία για την ενίσχυση της αυτονομίας των ανθρώπων με μειωμένη όραση. Συγκεκριμένα, μερικά από τα παραπάνω συστήματα που έχουν ήδη εντοπιστεί και θα αξιοποιηθούν στα πλαίσια της E1.1, είναι τα ερευνητικά συστήματα που έχουν παρουσιαστεί από τους (Poggi and Mattoccia, 2016), (Boschini et al., 2016), (Zientara et al., 2017) καθώς επίσης και τα πρωτότυπα όπως το eSight και Seeing AI. Οι ομάδες χρηστών θα διαμορφωθούν μέσω της στενής συνεργασίες που διατηρεί η ΜΑΘΑΑΕ με το Κέντρο Εκπαίδευσης & Αποκατάστασης Τυφλών Θεσσαλονίκης.

Ε1.2 – Καθορισμός των απαιτήσεων μηχανικής όρασης και διεπαφής επικοινωνίας [M1-M6]

Ως αποτέλεσμα της Ε1.1 θα προκύψει ν μια σειρά από απαιτήσεις για την οπτική αναγνώριση σε σημασιολογικό επίπεδο, καθώς επίσης και σε σχέση με την επικοινωνία χρήστη-συστήματος. Στόχος της Ε1.2 είναι να περιγράψει, να τεκμηριώσει και να ιεραρχήσει τις απαιτήσεις του συστήματος ώστε να αποτελέσει τον οδηγό για την έρευνα και ανάπτυξη που θα πραγματοποιηθεί στα πλαίσια των ΕΕ2-4. Σημαντικό στοιχείο της Ε1.2 είναι η ιεράρχηση των απαιτήσεων ως προς τη σημαντικότητά τους, καθώς και η μετατροπή τους από απαιτήσεις χρηστών σε απαιτήσεις συστήματος που προϋποθέτει εξειδίκευση στη ανάπτυξη αλγορίθμων και στο σχεδιασμό διεπαφών.

Ε1.3 – Εκπαίδευση των χρηστών στη χρήση του συστήματος () [M13-M20]

Καθώς το σύστημα που θα αναπτυχθεί αναμένεται να διαφέρει σημαντικά ως προς τη χρήση του σε σχέση με τα υπάρχοντα συστήματα, ο στόχος της Ε1.3 είναι να ορίσει τις διαδικασίες, να παράγει τα σενάρια και να σχεδιάσει το εκπαιδευτικό λογισμικό που θα επιτρέψει στους τελικούς χρήστες να εξοικειωθούν με τη χρήση του. Το λογισμικό θα καθοδηγεί το χρήστη στις λειτουργίες του συστήματος και θα περιλαμβάνει ασκήσεις (υπό μορφή παιχνιδιού).

Ε2.1 – Ανασκόπηση της βιβλιογραφίας και αναπαραγωγή των πιο πρόσφατων αποτελεσμάτων [M1-M6]

Στόχος της Ε2.1 είναι να πραγματοποιήσει μια εκτεταμένη έρευνα πεδίου ώστε να εντοπίσει τους αλγόριθμους που επιτυγχάνουν τα υψηλότερα ποσοστά ακρίβειας στην αναγνώριση αντικειμένων και προσώπων σε μη ελεγχόμενο περιβάλλον. Έμφαση θα δοθεί στους αλγόριθμους που εμφανίζουν υψηλά ποσοστά ακρίβειας χωρίς να έχουν μεγάλες απαιτήσεις σε υπολογιστικούς πόρους. Αυτό είναι ιδιαίτερα σημαντικό αν αναλογιστούμε ότι οι αλγόριθμοι αιχμής για την μηχανική όραση που βασίζονται σε εκτεταμένα νευρωνικά δίκτυα (deep neural networks) έχουν σημαντικές απαιτήσεις σε υπολογιστικούς πόρους. Τέλος, στόχος της E2.1 είναι να εντοπίσει και να αξιολογήσει τις υπάρχουσες λύσεις μηχανικής όρασης που διατίθενται ως υπηρεσία (για παράδειγμα Google Cloud Vision API), με στόχο να υποστηρίξουν την μηχανική όραση του υπό ανάπτυξη συστήματος.

Ε2.2 – Προσαρμογή των αλγόριθμων για την εκτέλεση σε περιβάλλοντα με περιορισμένους υπολογιστικούς πόρους [M7-M12]

Ο στόχος της Ε2.3 είναι να καταστήσει δυνατή την εκτέλεση των αλγόριθμων μηχανική όρασης σε ένα κινητό τηλέφωνο. Παρά το γεγονός ότι τα σύγχρονα κινητά τηλέφωνα διαθέτουν σημαντικά υπολογιστικά και αποθηκευτικά μέσα δεν παύουν να αποτελούν ένα περιβάλλον με περιορισμένους πόρους. Ως συνέπεια είναι σημαντικό να προσαρμόσουμε τους αλγόριθμους οπτικής αναγνώρισης ώστε να εκτελούνται αποτελεσματικά σε τέτοιου είδους περιβάλλοντα (όπως για παράδειγμα η περίπτωση του TensorFlow App). Είναι σημαντικό να αναφέρουμε ότι καθώς οι αλγόριθμοι αιχμής για τη μηχανική όραση είναι εξαιρετικά απαιτητικοί (ως προς τους πόρους του συστήματος) κατά τη διαδικασία εκπαίδευσης, η εκπαίδευση των απαραίτητων μοντέλων δεν θα πραγματοποιείται στο κινητό τηλέφωνο αλλά σε μια ισχυρή υπολογιστική μονάδα. Η μονάδα θα είναι εξοπλισμένη με κάρτες γραφικών υψηλής επίδοσης και την τεχνολογία CUDA της NVIDIA που είναι απαραίτητη για την αποτελεσματική εκπαίδευση των νευρωνικών δικτύων. Επίσης, η μονάδα θα ενσωματώνει και τα υποσυστήματα της Ε2.2 για τη συλλογή περιεχομένου εκπαίδευσης, ενώ θα επικοινωνεί με το κινητό τηλέφωνο για να δέχεται τα ορίσματα αναζήτησης και να αποστέλλει τα μοντέλα μηχανικής όρασης.

Ε2.3 – Ανάπτυξη αυτόματου μηχανισμού για τον εντοπισμό και τη συλλογή του περιεχομένου εκπαίδευσης των αλγορίθμων [M7-M12]

Στόχος της Ε2.3 είναι η ανάπτυξη δύο υποσυστημάτων που θα επιτελούν: α) την αναζήτηση περιεχομένου στο διαδίκτυο και στα κοινωνικά δίκτυα με όρισμα είτε κάποιο σημείο ενδιαφέροντος (γεωγραφικές συντεταγμένες), είτε κάποια λέξη κλειδί, είτε κάποιο πρόσωπο, β) την ανάκτηση του οπτικού περιεχομένου που σχετίζεται με το όρισμα, χρησιμοποιώντας αυτοματοποιημένα προγράμματα λογισμικού (crawler και scrapper). Αυτά τα προγράμματα θα αξιοποιούν τα διαθέσιμα Application Programming Interfaces (APIs) που προσφέρονται από τα κοινωνικά δίκτυα, καθώς επίσης θα φροντίζουν ώστε να μην παραβιάζονται δικαιώματα χρήσης, πνευματικής ιδιοκτησίας και ιδιωτικότητας κατά την ανάκτηση του περιεχομένου.

Ε2.4 – Ανάπτυξη εφαρμογής για κινητά τηλέφωνα που θα υλοποιεί τις λειτουργίες μηχανικής όρασης [M7-M18]

Στα πλαίσια της E2.4 θα αναπτύξουμε μια εφαρμογή για κινητά τηλέφωνα (Android και iOS) που θα επιτελεί της εξής λειτουργίες: α) θα δέχεται τα ορίσματα αναζήτησης και θα τα αποστέλλει στην ισχυρή υπολογιστική μονάδα, β) θα λαμβάνει ως απάντηση τα εκπαιδευμένα μοντέλα μηχανικής όρασης, γ) θα επικοινωνεί με το σύστημα αισθητήρων που είναι ενσωματωμένο στα γυαλιά του χρήστη ώστε να λαμβάνει τις εικόνες από την ενσωματωμένη κάμερα, δ) θα εφαρμόζει τα μοντέλα μηχανικής όρασης για την οπτική αναγνώριση του περιεχομένου της εικόνας σε σημασιολογικό επίπεδο, και ε) θα μετατρέπει το αποτέλεσμα της αναγνώρισης σε ηχητικό μήνυμα το οποίο και θα αποστέλλεται στο ενσωματωμένο ακουστικό των προηγμένων γυαλιών.

Ε3.1 – Μελέτη προδιαγραφών, έρευνα αγοράς και αξιολόγηση καταλληλότητας αισθητήρων [M1-M6]

Αφορά τις ενέργειες που έχουν στόχο στη διαμόρφωση ενός συστήματος αισθητήρων που θα πρέπει κατ’ ελάχιστο να περιλαμβάνει μία κάμερα και ένα ακουστικό επικοινωνίας. Οι ενέργειες περιλαμβάνουν τον καθορισμό των προδιαγραφών του συστήματος αισθητήρων, την έρευνα αγοράς και την αξιολόγηση καταλληλότητας. Για παράδειγμα, οι προδιαγραφές της συχνότητας λήψης και αποστολής δεδομένων θα πρέπει να είναι αρκετά υψηλές ώστε να εξασφαλίζουν την έγκαιρη αναγνώριση και μετάδοση της πληροφορίας του αποτελέσματος. Επίσης, θα πρέπει να διαθέτουν ενσωματωμένη δυνατότητα ασύρματης επικοινωνίας, να έχουν όσο το δυνατόν μικρότερο όγκο και βάρος, να είναι χαμηλής ενεργειακής κατανάλωσης και να διαθέτουν μεγάλη αυτονομία. Τέλος, οι αισθητήρες θα πρέπει να είναι διαθέσιμοι σε προσιτή τιμή και να είναι προσβάσιμοι στην αγορά για έναν απλό χρήστη. Όλα τα παραπάνω κριτήρια θα αποτελέσουν τον οδηγό για τις εργασίες της Ε3.1.

Ε3.2 – Πρωτόκολλο επικοινωνίας αισθητήρων και εφαρμογής κινητών τηλεφώνων [M7-M12]

Εξαιρετικά σημαντικό είναι και το πρωτόκολλο επικοινωνίας μεταξύ του συστήματος αισθητήρων με την εφαρμογή για κινητά τηλέφωνα, που θα εξασφαλίζει την αδιάλειπτη και αξιόπιστη λειτουργία του συστήματος. Η επιλογή θα πραγματοποιηθεί ανάμεσα στα πρωτόκολλα επικοινωνίας που βασίζονται στο Bluetooth πρότυπο με τα κρίσιμα χαρακτηριστικά να αφορούν το ρυθμό μετάδοσης, τη σύγχρονη/ασύγχρονη επικοινωνία, την κατανάλωση ενέργειας και την συμβατότητα με ευρέως διαδεδομένες κάμερες, ακουστικά και κινητά τηλέφωνα.

Ε3.3 – Διασυνδεσιμότητα και προσαρμογή των αισθητήρων σε ένα ζευγάρι γυαλιών [M7-M18]

Την επιλογή και αγορά των αισθητήρων θα ακολουθήσει η διασυνδεσιμότητα και η προσαρμογή τους σε ένα ζευγάρι γυαλιών. Οι αισθητήρες θα πρέπει να προσαρμοστούν στα γυαλιά με τέτοιο τρόπο ώστε αφενός να εξυπηρετούν τις ανάγκες του συστήματος (καθαρές λήψεις από την κάμερα, συνεχής πρόσβαση στο ακουστικό) και αφετέρου να μην αλλοιώνουν την εικόνα του χρήστη (θα πρέπει η ενισχυμένη έκδοση των γυαλιών με τους αισθητήρες να δείχνει σαν ένα συνηθισμένο ζευγάρι γυαλιών). Οι τεχνικές, αισθητικές και απαιτήσεις χρηστικότητας των αισθητήρων θα αποτελέσουν τον οδηγό της συγκεκριμένη ενότητας.

Ε4.1 – Σχεδιασμός της διεπαφής με γνώμονα την χρηστικότητα και την εμπειρία χρήστη [M4-M12]

Στα πλαίσια της Ε4.1 θα καθοριστούν οι λεπτομέρειες της διεπαφής μεταξύ του χρήστη και του συστήματος. Καθώς τα παραδείγματα συστημάτων τεχνητής όρασης είναι περιορισμένα στη βιβλιογραφία, η βελτιστοποίηση της επικοινωνίας παραμένει ανοιχτό ερευνητικό θέμα. Συγκεκριμένα, ο σχεδιασμός θα πρέπει να λάβει υπόψη του ότι πρόκειται για μια πολυτροπική διεπαφή που συνδέει την όραση με την ακοή, καθώς επίσης και το γεγονός ότι χρησιμοποιεί διόδους επικοινωνίας (όπως είναι η ακουστική) που θα πρέπει να είναι δεκτικές και σε επιπλέον εξωτερικά ερεθίσματα. Πράγματι η ακοή αποτελεί πολύ σημαντικό μέσο επικοινωνίας για τους ανθρώπους με μειωμένη όραση και η μετάδοση των αποτελεσμάτων της οπτικής αναγνώρισης δεν θα πρέπει να υπερκαλύπτει τη δυνατότητα να αφουγκράζονται το περιβάλλον τους. Με γνώμονα τα παραπάνω, στα πλαίσια της Ε4.1 θα πραγματοποιήσουμε μια σειρά από δοκιμές όπου τελικοί χρήστες του συστήματος θα δοκιμάζουν διαφορετικές εκδόσεις της διεπαφής. Ο στόχος είναι να καταλήξουμε σε μιας διεπαφή που θα είναι αποδεχτή από μεγάλος μέρος των χρηστών, καθώς επίσης και να εντοπίσουμε τις παραμέτρους που φαίνεται να διαφοροποιούνται σημαντικά ανάλογα με τις προτιμήσεις του χρήστη, επιτρέποντας την εξατομίκευσή τους στα πλαίσια της Ε4.2.

Ε4.2 – Εξατομίκευση των παραμέτρων δειγματοληψίας, αναγνώρισης και επικοινωνίας [M7-M18]

Παρά την βελτιστοποίηση του σχεδιασμού της διεπαφής που θα λάβει χώρα στα πλαίσια της Ε4.1, είναι σημαντικό για το σύστημά να παρέχει δυνατότητες εξατομίκευσης, καθώς οι προτιμήσεις των χρηστών μπορεί να διαφέρουν σημαντικά. Οι πιο σημαντικές από τις παραμέτρους που αναμένεται να διαφοροποιούνται ανάλογα με τις προσωπικές προτιμήσεις είναι αυτές που συνδέονται με τη συχνότητα δειγματοληψίας, αναγνώρισης και επικοινωνίας. Για παράδειγμα, αναμένεται να υπάρχουν χρήστες που ανάλογα με την περίσταση ενδέχεται να προτιμήσουν ένα “φλύαρο” σύστημα έναντι μικρής αυτονομίας ή το ανάποδο. Αντίστοιχα, αναμένεται να υπάρχουν χρήστες που θα προτιμήσουν ένα “φλύαρο” σύστημα σε ότι αφορά τα πρόσωπα και “φειδωλό” σε ότι αφορά τα αντικείμενα ή το αντίστροφο. Ο στόχος της Ε4.2 είναι να σχεδιάσει τη διεπαφή με τέτοιο τρόπο ώστε να δίνει στο χρήστη τη δυνατότητα ρύθμισης των παραπάνω παραμέτρων ανάλογα με τις προτιμήσεις του.

Ε5.1 – Κατάρτιση πλάνου και προετοιμασία των πιλοτικών εφαρμογών [M13-M18]

Οι πιλοτικές εφαρμογές που θα πραγματοποιηθούν για την αξιολόγηση τους συστήματος προσομοιώνουν την επίσκεψη σε ένα supermarket για την αγορά των προμηθειών της εβδομάδας, την επίσκεψη στο δημαρχιακό μέγαρο για τη διευθέτηση υποθέσεων που αφορούν την ιδιότητα του χρήστη ως δημότη και ένα περίπατο στο παραλιακό μέτωπο της Θεσσαλονίκης που θα περιλαμβάνει και μια συνάθροιση σε ένα σημείο ενδιαφέροντος. Ο στόχος της Ε5.1 είναι να πραγματοποιήσει όλες τις απαραίτητες προετοιμασίες που θα επιτρέψουν την ομαλή διεξαγωγή των πιλοτικών δοκιμών. Στην περίπτωση της επίσκεψης σε supermarket θα πρέπει να υπάρχει η κατάλληλη μέριμνα από τους υπεύθυνους του καταστήματος ώστε να υποδεχθούν τους χρήστες που θα συμμετέχουν στην πιλοτική δοκιμή. Για παράδειγμα, η ενίσχυση της αυτονομίας αναμένεται να επέλθει σταδιακά, κάτι που συνεπάγεται ότι οι πρώτες επισκέψεις δεν μπορούν να γίνουν σε ένα supermarket που βρίσκεται σε πλήρη λειτουργία. Αντίστοιχα, για την επίσκεψη στο δημαρχιακό μέγαρο θα πρέπει να προετοιμαστεί το σενάριο διευθέτησης υποθέσεων και η αλληλεπίδραση με τους δημοτικούς υπαλλήλους. Τέλος για την επίσκεψη στο παραλιακό μέτωπο θα πρέπει να οριστούν τα σημεία συνάθροισης και οι χρήστες που θα συμμετέχουν, όπως επίσης τα σημεία ενδιαφέροντος και τα ηχοτοπία που θα είναι συνδεδεμένα μαζί τους. Όπως και παραπάνω, οι πρώτες επισκέψεις δεν μπορούν να γίνουν χωρίς τη βοήθεια κάποιου συνοδού καθώς η αυτονόμηση του χρήστη αναμένεται να επιτευχθεί σταδιακά. Συνεπώς, ο στόχος της Ε5.1 είναι να καταρτίσει το πλάνο, να διαμορφώσει τα σενάρια χρήσης και να προετοιμάσει το έδαφος για τη διεξαγωγή των πιλοτικών δοκιμών.

Ε5.2 – Διεξαγωγή των πιλοτικών εφαρμογών [M19-M24]

Περιλαμβάνει τη διεξαγωγή των πολιτικών δοκιμών στο supermarket, στο δημαρχιακό μέγαρο και στο παραλιακό μέτωπο Θεσσαλονίκης. Κατά τη διεξαγωγή των πιλοτικών δοκιμών μέλη της ομάδας εργασίας του έργου θα συνεργαστούν με τα μέλη της ομάδας χρηστών για την εκτέλεση των σεναρίων χρήσης της Ε5.2. Οι πιλοτικές δοκιμές θα πραγματοποιηθούν σε επίπεδα αυξανόμενης δυσκολίας, όπου κάθε επίπεδο θα προϋποθέτει μεγαλύτερη αυτονομία από το χρήστη. Επίσης, κατά τη διεξαγωγή των πιλοτικών δοκιμών θα πραγματοποιηθούν χρήσεις με διαφορετική ρύθμιση των παραμέτρων της διεπαφής, ώστε να επιτευχθεί η κατάλληλη εξατομίκευση του συστήματος. Οι χρήστες που θα συμμετέχουν στις πιλοτικές δοκιμές θα προέλθουν μέσω της στενής συνεργασίας που διατηρεί η ΜΑΘΑΑΕ με το Κέντρο Εκπαίδευσης & Αποκατάστασης Τυφλών Θεσσαλονίκης.

Ε5.3 – Συλλογή των αποτελεσμάτων και αξιολόγηση του συστήματος [M19-M24]

Παράλληλα με τη διεξαγωγή των πιλοτικών δοκιμών από τους χρήστες, τα μέλη της ομάδας εργασίας θα παρατηρούν και θα καταγράφουν όλες τις λεπτομέρειες ώστε να παράγουν τα στοιχεία που είναι απαραίτητα για την αξιολόγηση του συστήματος. Επιπλέον πληροφορίες αναμένεται να προκύψουν και από τα ερωτηματολόγια και τις συνεντεύξεις που θα πραγματοποιηθούν με τους χρήστες μετά το πέρας κάθε δοκιμής. Στα πλαίσια της E5.3 όλα τα παραπάνω θα συλλεχθούν και θα αναλυθούν ώστε να προκύψει η αξιολόγηση του συστήματος σε σχέση με την ακρίβεια, την αξιοπιστία, τη λειτουργικότητα και τη χρηστικότητά του.

Ε6 – Διάχυση των αποτελεσμάτων με σκοπό την εμπορική αξιοποίηση [M13-Μ24]

O στόχος της ΕΕ6 είναι να ενισχύσει την προοπτική της εμπορικής εκμετάλλευσης του παραγόμενου συστήματος με τη συμμετοχή των ΜΜΕ της κοινοπραξίας σε μια σειρά από εμπορικές εκθέσεις. Εκτός από την ίδια τη παρουσίαση του συστήματος και τη γνωριμία με εμπορικούς αντιπροσώπους, ο στόχος της συμμετοχής σε τέτοιου είδους εκθέσεις είναι και η καλύτερη αποτύπωση της αγοράς και των δυνητικών αγοραστών του συστήματος. Συνεπώς, η μέθοδος που θα ακολουθηθεί στα πλαίσια της ΕΕ6 είναι η σταδιακή εξειδίκευση των πελατειακών ομάδων, ξεκινώντας από εκθέσεις στο ευρύτερο χώρο των τεχνολογιών για ανθρώπους με ειδικές ανάγκες, και εξειδικεύοντας στις εκθέσεις για ανθρώπους με μειωμένη όραση, ή ακόμα και εκθέσεις για ανθρώπους με συγκεκριμένη πάθηση όπου η χρήση του e-Όραση αναμένεται να έχει τα μεγαλύτερα οφέλη.

Ε7 – Εκπόνηση επιχειρηματικού σχεδίου για την εκμετάλλευση του συστήματος [M13-M24]

Στα πλαίσια της ΕΕ7 θα εκπονηθεί το επιχειρηματικό πλάνο που θα επιτρέψει την εμπορική εκμετάλλευση της εφαρμογής. Συγκεκριμένα, το κύριος μέρος του σχεδίου θα αφορά το ολοκληρωμένο σύστημα που θα αξιοποιηθεί από την ΠΡΙΣΜΑ και θα περιλαμβάνει: α) ανάλυση με βάση τη μεθοδολογία Business Model Canvas, που περιλαμβάνει τη διερεύνηση μιας σειράς από σημαντικές παραμέτρους, όπως είναι προσφερόμενη αξία, τα τμήματα της αγοράς και οι πελατειακές ομάδες, τα κανάλια διανομής (επιπλέον των όσων αναφέρονται στην ενότητα 1.1.στ), οι ροές εσόδων, οι κρίσιμοι πόροι, οι κρίσιμες συνεργασίες. Η παραπάνω ανάλυση θα συνοδευτεί από τη μελέτη των ανταγωνιστών, καθώς και από την ανάλυση των εμποδίων που ενδέχεται να προκύψουν, είτε σε ρυθμιστικό είτε σε κοινωνικο-πολιτικό επίπεδο. Τέλος, πέραν της παραπάνω εκτεταμένης ανάλυσης που θα πραγματοποιηθεί για το πλήρες σύστημα, μικρότερης κλίμακας επιχειρηματικά σχέδια θα εκπονηθούν και για τα υπόλοιπα αποτελέσματα.