Όπως θα σας πει ο καθένας που ήταν ποτέ σε μια σχέση, τα ανθρώπινα συναισθήματα είναι μια περίπλοκη ιδέα. Αυτό ισχύει ιδιαίτερα για τους εμπόρους που προσπαθούν να κατανοήσουν τα ποιοτικά οφέλη - την αξία που υπερβαίνει τη βασική λειτουργικότητα - του προϊόντος ή της υπηρεσίας τους. Δεν είναι δύσκολο να καταλάβετε τι κάνει το προϊόν σας, αλλά ξέρετε πώς κάνει τους καταναλωτές σας να αισθάνονται;



Θα χρησιμοποιούσατε αν χρησιμοποιούσατε ανάλυση συναισθημάτων κοινωνικής ακρόασης για να αποστάξετε τα φιλτραρισμένα κοινωνικά μέσα που απευθύνονται στο κοινό-στόχο σας σε στρατηγικές ιδέες που μπορούν να δράσουν. Λαμβάνοντας όλα τα κοινωνικά δεδομένα διαθέσιμα στο Twitter Και η κατηγοριοποίησή του για θετικό, αρνητικό ή ουδέτερο συναίσθημα είναι μια σημαντική επιχείρηση, και δεν δημιουργούνται δύο μέθοδοι ίσες. Αυτός είναι ο λόγος για τον οποίο η HASHTAGS δημιούργησε ένα υβριδικό σύστημα ανάλυσης συναισθημάτων που συνδυάζει τις δύο βασικές προσεγγίσεις, τις λίστες κανόνων και τη μηχανική μάθηση.



Λίστες κανόνων

Ένας από τους απλούστερους τρόπους αντιμετώπισης της ανάλυσης συναισθημάτων είναι με τη χρήση ανθρώπινων κανόνων ή λεξικών. Με αυτήν την προσέγγιση, το σύστημα βασίζεται σε μια λίστα λέξεων ή φράσεων που αντιστοιχούν απευθείας σε ένα συγκεκριμένο συναίσθημα. Για παράδειγμα, οποιοδήποτε Tweet που περιέχει τη λέξη «high πέντε» μπορεί να χαρακτηριστεί ως θετικό, ενώ ένα Tweet που περιέχει «φρικτό» θα ήταν αρνητικό. Συστήματα όπως αυτό είναι εξαιρετικά προσαρμόσιμα και μπορούν να επεκταθούν ώστε να περιλαμβάνουν χιλιάδες κανόνες λέξεων και φράσεων.

Στο μειονέκτημα, τα συστήματα κανόνων αγωνίζονται με Tweets που ταιριάζουν με αντικρουόμενους κανόνες, όπως 'Η ταινία δεν ήταν τόσο φρικτή όσο περίμενα.' Εδώ, το «φρικτό» μπορεί να χαρακτηριστεί αρνητικό, ενώ το «αναμενόμενο» θα ήταν θετικό. Οι αντικρουόμενοι κανόνες χαρακτηρίζουν το Tweet ως ουδέτερο, ενώ ορισμένοι ανθρώπινοι αναγνώστες το ερμηνεύουν ως ελαφρώς θετικοί και άλλοι, ελαφρώς αρνητικοί.

Ένας επιπλέον περιορισμός των συστημάτων που βασίζονται σε κανόνες είναι η εξάρτηση από την ανθρώπινη προσπάθεια και κατανόηση. Η γλώσσα εξελίσσεται ραγδαία (ειδικά στο Twitter) και ένα σύστημα που βασίζεται σε κανόνες απαιτεί από κάποιον να παρέχει μια σταθερή ροή νέων όρων και φράσεων. Η ενημέρωση ενός συστήματος συναισθήματος δεν είναι πάντα κορυφαία προτεραιότητα και ένα σύστημα μπορεί γρήγορα να είναι ξεπερασμένο. Ακόμη και με την επαγρύπνηση παρακολούθησης, μπορεί να είναι δύσκολο να εντοπιστούν οι μεταβαλλόμενες γλωσσικές τάσεις και να καθοριστεί πότε πρέπει να προστεθούν νέοι κανόνες.

Μηχανική εκμάθηση

Χρησιμοποιούνται πιο προηγμένα συστήματα ανάλυσης συναισθημάτων Μηχανική εκμάθηση (ML) τεχνικές (μερικές φορές ονομάζονται επίσης Τεχνητή Νοημοσύνη ή Επεξεργασία φυσικής γλώσσας ). Η Μηχανική Μάθηση είναι μια οικογένεια τεχνικών που χρησιμοποιούν στατιστικά στοιχεία και πιθανότητες να εντοπίσουν πολύπλοκα μοτίβα που μπορούν να χρησιμοποιηθούν για την επισήμανση στοιχείων.

Σε αντίθεση με τα συστήματα που βασίζονται σε κανόνες, τα συστήματα ML είναι αρκετά ευέλικτα για να ανιχνεύουν ομοιότητες που δεν είναι άμεσα εμφανείς στον άνθρωπο. Εξετάζοντας πολλά, πολλά παραδείγματα, το σύστημα μαθαίνει μοτίβα που συνήθως σχετίζονται με θετικά, αρνητικά ή ουδέτερα αισθήματα.



Για παράδειγμα, ένα σύστημα ανάλυσης συναισθημάτων ML μπορεί να διαπιστώσει ότι τα Tweets που περιέχουν τη λέξη «βροχή» και τελειώνουν με ένα θαυμαστικό είναι αρνητικά, ενώ τα Tweets με «βροχή» και δύο θαυμαστικά είναι θετικά. Ένας άνθρωπος μπορεί να μην παρατηρήσει αυτό το μοτίβο ή να καταλάβει γιατί συμβαίνει, αλλά ένα σύστημα ML μπορεί να το χρησιμοποιήσει για να κάνει πολύ ακριβείς προβλέψεις.

Ενώ τα συστήματα μηχανικής εκμάθησης μπορούν να παράγουν εξαιρετικά αποτελέσματα, έχουν μερικά μειονεκτήματα. Όταν υπάρχει μεγάλη ποικιλία στη γλώσσα, μπορεί να είναι δύσκολο για ένα σύστημα ML να διεισδύσει στο θόρυβο για να διαλέξει μοτίβα. Όταν υπάρχουν ισχυρά μοτίβα, μπορούν να επισκιάσουν λιγότερο κοινά μοτίβα και να αναγκάσουν το σύστημα ML να αγνοήσει τις λεπτές ενδείξεις.

Προσέγγιση του Sprout

Για να χτίσουμε το σύστημα ανάλυσης συναισθημάτων, σχεδιάσαμε ένα υβριδικό σύστημα που συνδυάζει τις καλύτερες προσεγγίσεις βασισμένων σε κανόνες και μηχανικής μάθησης. Αναλύσαμε δεκάδες χιλιάδες Tweets για να εντοπίσουμε μέρη όπου αγωνίζονται τα μοντέλα ML και παρουσιάσαμε στρατηγικές βασισμένες σε κανόνες για να βοηθήσουμε να ξεπεράσουμε αυτές τις ελλείψεις.



Συμπληρώνοντας στατιστικά μοντέλα με ανθρώπινη κατανόηση, έχουμε δημιουργήσει ένα ισχυρό σύστημα που αποδίδει καλά σε μια μεγάλη ποικιλία ρυθμίσεων.

αναλύει το συναίσθημα

Όλα για την ακρίβεια

Στην επιφάνεια, η ανάλυση συναισθημάτων φαίνεται αρκετά απλή - απλώς αποφασίστε εάν ένα Tweet είναι θετικό, αρνητικό ή ουδέτερο. Ωστόσο, η ανθρώπινη γλώσσα και τα συναισθήματα είναι περίπλοκα και η ανίχνευση συναισθημάτων μέσα σε ένα Tweet αντικατοπτρίζει αυτήν την πολυπλοκότητα.

888 αριθμός αγγέλου

Εξετάστε αυτά τα Tweets. Είναι θετικά, αρνητικά ή ουδέτερα;

https://twitter.com/alex/status/917406154321420289

Μπορεί να αισθάνεστε σίγουροι για τις απαντήσεις σας, αλλά οι πιθανότητες είναι καλές που δεν θα συμφωνούσαν όλοι μαζί σας. Η έρευνα έχει δείξει ότι οι άνθρωποι συμφωνούν μόνο για το συναίσθημα των Tweets 60-80% της εποχής.

Μπορεί να είστε δύσπιστοι. Ήμασταν επίσης.

28 πνευματικό νόημα

Για να το δοκιμάσουμε, δύο μέλη της ομάδας μας για την Επιστήμη δεδομένων επισήμαναν το ίδιο ακριβώς σύνολο 1.000 Tweets ως θετικό, αρνητικό ή ουδέτερο. Καταλάβαμε ότι «δουλεύουμε με Tweets κάθε μέρα. πιθανότατα θα έχουμε σχεδόν τέλεια συμφωνία μεταξύ μας. '

Υπολογίσαμε τα αποτελέσματα και στη συνέχεια τα διπλασιάσαμε και τα τριπλασιάσαμε. Η έρευνα ήταν ακριβής - συμφωνήσαμε μόνο στο 73% των Tweets.

Προκλήσεις στην ανάλυση συναισθημάτων

Η έρευνα (μαζί με το μικρό μας πείραμα) δείχνει ότι η ανάλυση συναισθημάτων δεν είναι απλή. Γιατί είναι τόσο δύσκολο; Ας δούμε μερικές από τις μεγαλύτερες προκλήσεις.

Συμφραζόμενα

Τα Tweets είναι ένα μικρό στιγμιότυπο στο χρόνο. Ενώ μερικά είναι αυτόνομα, τα Tweets αποτελούν συχνά μέρος μιας συνεχιζόμενης συνομιλίας ή πληροφοριών αναφοράς που έχουν νόημα μόνο εάν γνωρίζετε τον συγγραφέα. Χωρίς αυτές τις ενδείξεις, μπορεί να είναι δύσκολο να ερμηνεύσουμε τα συναισθήματα ενός συγγραφέα.

Σαρκασμός

Η ανίχνευση σαρκασμού είναι μια άλλη γεύση της πρόκλησης περιβάλλοντος. Χωρίς πρόσθετες πληροφορίες, τα συστήματα ανάλυσης συναισθημάτων συχνά συγχέουν την κυριολεκτική έννοια των λέξεων με τον τρόπο που προορίζονται. Ο Σαρκασμός είναι ένας ενεργός τομέας ακαδημαϊκής έρευνας, οπότε μπορεί να δούμε συστήματα στο εγγύς μέλλον που καταλαβαίνουν το snark.

Συγκρίσεις

Το συναίσθημα γίνεται επίσης δύσκολο όταν τα Tweets κάνουν συγκρίσεις. Αν κάνω έρευνα αγοράς για λαχανικά και κάποιο Tweets, 'Τα καρότα είναι καλύτερα από σκουός', είναι θετικό ή αρνητικό αυτό το Tweet; Εξαρτάται από την προοπτική σας. Ομοίως, κάποιος μπορεί να κάνει tweet, 'Η εταιρεία Α είναι καλύτερη από την εταιρεία Β.' Αν εργάζομαι για την εταιρεία A, αυτό το Tweet είναι θετικό, αλλά αν είμαι με την εταιρεία B, είναι αρνητικό.

Emoji

Τα Emoji είναι μια δική τους γλώσσα . Ενώ τα emoji εκφράζουν ένα αρκετά προφανές συναίσθημα, άλλα είναι λιγότερο καθολικά. Κατά τη δημιουργία του συστήματος ανάλυσης συναισθημάτων, εξετάσαμε προσεκτικά τον τρόπο με τον οποίο οι άνθρωποι χρησιμοποιούν emoji, διαπιστώνοντας ότι ακόμη και τα κοινά emoji μπορούν να προκαλέσουν σύγχυση. χρησιμοποιείται σχεδόν εξίσου για να σημαίνει 'τόσο χαρούμενος που κλαίω' ή 'τόσο λυπημένος που κλαίω.' Εάν οι άνθρωποι δεν μπορούν να συμφωνήσουν σχετικά με την έννοια ενός emoji, ούτε μπορεί ένα σύστημα ανάλυσης συναισθημάτων.

Ορισμός ουδέτερου

Ακόμα και το 'ουδέτερο' συναίσθημα δεν είναι πάντα απλό. Σκεφτείτε έναν τίτλο ειδήσεων για ένα τραγικό συμβάν. Ενώ όλοι συμφωνούμε ότι το γεγονός είναι τρομερό, οι περισσότεροι τίτλοι ειδήσεων προορίζονται να είναι πραγματικές, ενημερωτικές δηλώσεις. Τα συστήματα ανάλυσης συναισθημάτων έχουν σχεδιαστεί για να προσδιορίζουν το συναίσθημα του συγγραφέα του περιεχομένου και όχι την απάντηση του αναγνώστη. Παρόλο που μπορεί να φαίνεται περίεργο να βλέπουμε τρομερά νέα που φέρουν την ένδειξη 'ουδέτερο', αντικατοπτρίζει την πρόθεση του συγγραφέα να κοινοποιεί πραγματικές πληροφορίες.

Τα συστήματα ανάλυσης συναισθημάτων ποικίλλουν επίσης στο πώς ορίζεται το ουδέτερο. Μερικοί θεωρούν ότι το ουδέτερο είναι μια γενική κατηγορία για οποιοδήποτε Tweet όπου το σύστημα δεν μπορεί να αποφασίσει μεταξύ θετικών ή αρνητικών. Σε αυτά τα συστήματα, το 'ουδέτερο' είναι συνώνυμο με το 'Δεν είμαι σίγουρος'. Στην πραγματικότητα, ωστόσο, υπάρχουν πολλά Tweets που δεν εκφράζουν συγκίνηση, όπως το παρακάτω παράδειγμα.

Το σύστημά μας κατατάσσει ρητά τα μη συναισθηματικά Tweets ως ουδέτερα, αντί να χρησιμοποιεί το ουδέτερο ως προεπιλεγμένη ετικέτα για διφορούμενα Tweets.

Αξιολόγηση ανάλυσης συναισθημάτων

Με τόσες πολλές προκλήσεις στην ανάλυση συναισθημάτων, είναι χρήσιμο να κάνετε την εργασία σας πριν επενδύσετε σε ένα νέο εργαλείο. Οι προμηθευτές προσπαθούν να βοηθήσουν στη μείωση των περιπλοκών εστιάζοντας σε στατιστικά στοιχεία σχετικά με την ακρίβεια του προϊόντος τους. Ωστόσο, η ακρίβεια δεν είναι πάντοτε σύγκριση μήλων-μήλων. Αν σκοπεύετε να χρησιμοποιήσετε την ακρίβεια ως ραβδί μέτρησης, ακολουθούν μερικά πράγματα που πρέπει να ρωτήσετε.

Είναι η αναφερόμενη ακρίβεια μεγαλύτερη από 80%;
Δεδομένου ότι οι άνθρωποι συμφωνούν μεταξύ τους μόνο το 60-80% του χρόνου, δεν υπάρχει τρόπος να δημιουργήσετε ένα σύνολο δεδομένων δοκιμής που όλοι θα συμφωνήσουν περιέχει τις «σωστές» ετικέτες συναισθημάτων. Όσον αφορά το συναίσθημα, το «σωστό» είναι υποκειμενικό. Με άλλα λόγια, δεν υπάρχει πρότυπο χρυσού για χρήση στην δοκιμή ακρίβειας.

Το ανώτατο όριο της ακρίβειας του συστήματος ανάλυσης συναισθημάτων θα είναι πάντα συμφωνία σε επίπεδο ανθρώπου: περίπου 80%. Εάν ένας προμηθευτής αξιώνει πάνω από 80% ακρίβεια, είναι καλή ιδέα να είστε δύσπιστοι. Η τρέχουσα έρευνα δείχνει ότι ακόμη και το 80% της ακρίβειας είναι απίθανο. κορυφαίοι εμπειρογνώμονες στον τομέα συνήθως επιτυγχάνουν ακρίβεια στα μέσα έως τα άνω της δεκαετίας του '60.

Πόσες κατηγορίες συναισθημάτων προβλέπονται;
Ορισμένοι προμηθευτές αξιολογούν την ακρίβεια μόνο σε Tweets που έχουν αναγνωριστεί από ανθρώπινους αξιολογητές ως οριστικά θετικά ή αρνητικά, εξαιρουμένων όλων των ουδέτερων Tweets. Είναι πολύ πιο εύκολο για την ακρίβεια ενός συστήματος να εμφανίζεται πολύ υψηλή όταν εργάζεστε με έντονα συναισθηματικά Tweets και μόνο δύο πιθανά αποτελέσματα (θετικά ή αρνητικά).

Στην άγρια ​​φύση, ωστόσο, τα περισσότερα Tweets είναι ουδέτερα ή διφορούμενα. Όταν ένα σύστημα αξιολογείται μόνο με θετικά και αρνητικά, είναι αδύνατο να γνωρίζουμε πόσο καλά το σύστημα αντιμετωπίζει ουδέτερα Tweets - την πλειονότητα αυτών που θα δείτε στην πραγματικότητα.

Ποιοι τύποι Tweets περιλαμβάνονται στο σύνολο δοκιμών τους;
Πρέπει να δημιουργηθεί και να δοκιμαστεί ένα σύστημα ανάλυσης συναισθημάτων σε Tweets που είναι αντιπροσωπευτικά των πραγματικών συνθηκών. Ορισμένα συστήματα ανάλυσης συναισθημάτων δημιουργούνται χρησιμοποιώντας συγκεκριμένα πεδία Tweets που έχουν φιλτραριστεί και καθαριστεί για να καταστεί όσο το δυνατόν πιο εύκολο για ένα σύστημα να κατανοήσει.

Για παράδειγμα, ένας προμηθευτής μπορεί να έχει βρει ένα προϋπάρχον σύνολο δεδομένων που περιλαμβάνει μόνο έντονα συναισθηματικά Tweets για τον κλάδο των αεροπορικών εταιρειών, με εξαίρεση τυχόν ανεπιθύμητα ή εκτός θέματος Tweets. Αυτό θα προκαλούσε υψηλή ακρίβεια, αλλά μόνο όταν χρησιμοποιείται σε πολύ παρόμοια Tweets. Αν εργάζεστε σε διαφορετικό τομέα ή λαμβάνετε Tweets εκτός θέματος ή ανεπιθύμητης αλληλογραφίας, θα δείτε πολύ χαμηλότερη ακρίβεια.

Πόσο μεγάλο ήταν το σύνολο δεδομένων δοκιμής;
Τα συστήματα ανάλυσης συναισθημάτων πρέπει να αξιολογούνται σε αρκετές χιλιάδες Tweets για τη μέτρηση της απόδοσης του συστήματος σε πολλά διαφορετικά σενάρια. Δεν θα λάβετε πραγματικό μέτρο της ακρίβειας ενός συστήματος όταν ένα σύστημα δοκιμάζεται μόνο σε μερικές εκατοντάδες Tweets.

Εδώ στο Sprout, δημιουργήσαμε το μοντέλο μας σε μια συλλογή 50.000 Tweets που προήλθε από ένα τυχαίο δείγμα από το Twitter. Επειδή τα Tweets μας δεν είναι συγκεκριμένα για τον τομέα, το σύστημα ανάλυσης συναισθημάτων μας αποδίδει καλά σε ένα ευρύ φάσμα τομέων.

Επιπλέον, κάνουμε ξεχωριστές προβλέψεις για θετικές, αρνητικές και ουδέτερες κατηγορίες. δεν εφαρμόζουμε μόνο ουδέτερο όταν αποτυγχάνουν άλλες προβλέψεις. Η ακρίβειά μας δοκιμάστηκε σε 10.000 Tweets, κανένα από τα οποία δεν χρησιμοποιήθηκε για την κατασκευή του συστήματος.

Δείτε την Ανάλυση συναισθημάτων του Sprout ζωντανά με τους ακροατές

Όλη η έρευνα στον κόσμο δεν υποκαθιστά την αξιολόγηση ενός συστήματος από πρώτο χέρι. Δώστε στο νέο μας σύστημα ανάλυσης συναισθημάτων μια δοκιμαστική μονάδα μέσα στο νεότερο σύνολο εργαλείων κοινωνικής ακρόασης, Ακούστες και δείτε πώς λειτουργεί για εσάς. Τελικά, το καλύτερο εργαλείο κοινωνικής ακρόασης είναι αυτό που ικανοποιεί τις ανάγκες σας και σας βοηθά να αποκτήσετε μεγαλύτερη αξία από τα κοινωνικά. Αφήστε μας να σας βοηθήσουμε να ξεκινήσετε σήμερα.

Μοιράσου Το Με Τους Φίλους Σου: