Ερευνητές έφτιαξαν αυτόματο σύστημα που φτιάχνει κόμικ από ταινίες και σειρές

Ερευνητές στο Τεχνολογικό Πανεπιστήμιο Dalian στην Κίνα και το City University του Χονγκ Κονγκ δημιούργησαν ένα καινοτόμο εργαλείο που μπορεί να δημιουργήσει αυτόματα κόμικ, τα οποία συνήθως σχεδιάζονται από εξειδικευμένους επαγγελματίες καλλιτέχνες και απαιτούν εκτεταμένη εργασία. Το framework τους δημιουργεί κόμικς εξάγοντας δεδομένα από τηλεοπτικές σειρές, ταινίες, κινούμενα σχέδια ή άλλα βίντεο.

«Προτείνουμε ένα πλήρως αυτόματο σύστημα για τη δημιουργία κόμικς από βίντεο χωρίς καμία ανθρώπινη παρέμβαση», έγραψαν οι ερευνητές. «Με δεδομένο ένα βίντεο μαζί με τους υπότιτλους του, η προσέγγισή μας εξάγει πρώτα βασικά καρέ, αναλύοντας τους υπότιτλους και σχηματοποιεί βασικά καρέ σε εικόνες στυλ κόμικ».

Μετά την εξαγωγή βασικών καρέ από βίντεο και τη μετατροπή τους σε εικόνες κόμικς, το σύστημα που επινόησαν οι ερευνητές χρησιμοποιεί ένα πλαίσιο διάταξης σελίδας για τη τοποθέτηση των εικόνων σε πολλές σελίδες και τη δημιουργία οπτικά ελκυστικών διατάξεων που αντικατοπτρίζουν τη σχέση μεταξύ των εικόνων.

Το σύστημα χρησιμοποιήθηκε για τη δημιουργία κόμικ με βάση 16 βίντεο κλιπ που εξήχθησαν από τέσσερις ταινίες και σειρές: "Τιτανικός", "The Message", "Friends" και "Up in the Air". Αυτά τα βιντεοκλίπ είχαν διάρκεια μεταξύ δύο και έξι λεπτών.

Η ομάδα ζήτησε από μια ομάδα ανθρώπων να αξιολογήσει τη συνολική ποιότητα των κόμικς που παράγονται από το μοντέλο τους, σε σύγκριση με αυτά που παράγονται από ένα εναλλακτικό σύστημα. Η συντριπτική πλειονότητα των χρηστών που συμμετείχαν σε αυτήν τη μελέτη δήλωσε ότι προτιμούσαν τις διατάξεις που δημιουργήθηκαν από το νέο μοντέλο.

Μόλις τελειοποιηθεί, το σύστημα δημιουργίας κόμικς που αναπτύχθηκε από αυτήν την ομάδα θα μπορούσε να χρησιμοποιηθεί για τη δημιουργία κόμικ που βασίζονται σε ταινίες, τηλεοπτικές σειρές ή άλλο περιεχόμενο βίντεο. Στις επόμενες μελέτες τους, οι ερευνητές σχεδιάζουν να αναπτύξουν μια εναλλακτική ενότητα για την επιλογή βασικών πλαισίων, καθώς αυτό θα μπορούσε να βελτιώσει την ποιότητα των διατάξεων που παράγει το σύστημά τους.

«Επί πλέον, με έμπνευση από πολλές υπάρχουσες μεθόδους που μπορούν να δημιουργήσουν αλληλουχίες εικόνων από μια ιστορία με πολλές προτάσεις, είναι δυνατόν να παράγουμε κόμικς από ιστορίες κειμένου και μας ενδιαφέρει να επεκτείνουμε τη μέθοδο μας για να αξιοποιήσουμε τις πληροφορίες κειμένου για να βοηθήσουμε στη δημιουργία manga», καταλήγουν οι ερευνητές.