Ako vám už hovorí ktokoľvek, kto niekedy mal vzťah, ľudské emócie sú zložitým konceptom. To platí najmä pre obchodníkov, ktorí sa snažia pochopiť kvalitatívne výhody - hodnotu, ktorá presahuje základnú funkčnosť - ich produktu alebo služby. Nie je ťažké pochopiť, čo váš produkt robí, ale viete, ako nabudia zákazníci?



Boli by ste, keby ste pomocou analýzy sentimentu pri počúvaní na sociálnej sieti destilovali nefiltrované úvahy sociálnych médií cieľového publika do praktických strategických poznatkov. Užívanie všetkých sociálne údaje dostupné na Twitteri a kategorizácia na pozitívny, negatívny alebo neutrálny sentiment je hlavným cieľom a neexistujú dve rovnaké metódy. Preto spoločnosť HASHTAGS vybudovala hybridný systém analýzy sentimentu, ktorý kombinuje dva primárne prístupy, zoznamy pravidiel a strojové učenie.



Zoznamy pravidiel

Jedným z najjednoduchších spôsobov riešenia analýzy sentimentu je použitie pravidiel alebo slovníkov vytvorených človekom. Pri tomto prístupe sa systém spolieha na zoznam slov alebo fráz, ktoré priamo mapujú konkrétny sentiment. Napríklad akýkoľvek Tweet, ktorý obsahuje slovo „päťka“, môže byť označený ako pozitívny, zatiaľ čo Tweet s obsahom „hrozný“ by bol negatívny. Systémy, ako je tento, sú vysoko prispôsobiteľné a je možné ich rozšíriť tak, aby obsahovalo tisíce pravidiel slov a fráz.

Negatívom je, že vládne systémy zápasia s tweetmi, ktoré zodpovedajú protichodným pravidlám, napríklad „Film nebol taký hrozný, ako som predpokladal.“ Tu by sa výraz „hrozný“ mohol označiť ako negatívny, zatiaľ čo výraz „očakávaný“ by sa označil pozitívne. Konfliktné pravidlá označujú Tweet za neutrálny, zatiaľ čo niektorí ľudskí čitatelia by ho interpretovali ako mierne pozitívny a iní ako mierne negatívni.

Ďalším obmedzením systémov založených na pravidlách je spoliehanie sa na ľudské úsilie a porozumenie. Jazyk sa rýchlo vyvíja (najmä na Twitteri) a systém založený na pravidlách vyžaduje, aby niekto poskytoval stály prísun nových výrazov a fráz. Aktualizácia sentimentálneho systému nie je vždy najvyššou prioritou a systém môže rýchlo zastarať. Aj pri bdelom monitorovaní môže byť ťažké identifikovať meniace sa jazykové trendy a určiť, kedy je potrebné pridať nové pravidlá.

Strojové učenie

Používajú sa pokročilejšie systémy analýzy sentimentu Strojové učenie (ML) techniky (niekedy tiež nazývané umelá inteligencia alebo Spracovanie prirodzeného jazyka ). Machine Learning je skupina techník, ktoré využívajú štatistiku a pravdepodobnosť na identifikáciu zložitých vzorov, ktoré možno použiť na označovanie položiek.

Na rozdiel od systémov založených na pravidlách sú systémy ML dostatočne flexibilné na to, aby zistili podobnosti, ktoré človeku nie sú okamžite zjavné. Pri pohľade na veľa a veľa príkladov sa systém učí vzory, ktoré sú zvyčajne spojené s pozitívnymi, negatívnymi alebo neutrálnymi náladami.



Napríklad systém analýzy sentimentu ML môže zistiť, že tweety, ktoré obsahujú slovo „dážď“ a končia jedným výkričníkom, sú negatívne, zatiaľ čo tweety s „dažďom“ a dvoma výkričníkmi sú pozitívne. Človek si nemusí všimnúť tento vzorec alebo pochopiť, prečo sa vyskytuje, ale systém ML ho môže použiť na veľmi presné predpovede.

Systémy strojového učenia môžu síce priniesť vynikajúce výsledky, ale majú niekoľko nedostatkov. Keď je v jazyku veľa rozmanitostí, pre systém ML môže byť ťažké prepasírovať šum, aby vybral vzory. Ak existujú silné vzory, môžu zatieniť menej bežné vzory a spôsobiť, že systém ML ignoruje jemné náznaky.

Prístup Sprout

Na zostavenie nášho systému analýzy sentimentu sme navrhli hybridný systém, ktorý kombinuje to najlepšie z prístupu založeného na pravidlách aj strojového učenia. Analyzovali sme desaťtisíce tweetov, aby sme identifikovali miesta, kde modely ML bojujú, a zaviedli sme stratégie založené na pravidlách, ktoré pomôžu tieto nedostatky prekonať.



Doplnením štatistických modelov o ľudské chápanie sme vytvorili robustný systém, ktorý funguje dobre v širokej škále nastavení.

analýza klíčenia sentimentu

Všetko o presnosti

Na prvý pohľad sa zdá, že analýza sentimentu je celkom jednoduchá - stačí sa rozhodnúť, či je Tweet pozitívny, negatívny alebo neutrálny. Ľudský jazyk a emócie sú však komplikované a zisťovanie sentimentu v tweete odráža túto zložitosť.

Zvážte tieto tweety. Sú pozitívne, negatívne alebo neutrálne?

https://twitter.com/alex/status/917406154321420289

Vo svojich odpovediach môžete mať istotu, ale je veľká šanca, že s vami nebudú všetci súhlasiť. Výskum ukázal, že ľudia sa zhodujú iba na sentimente Tweety 60-80% času.

Možno budete skeptickí. Aj my sme boli.

Aby sme to otestovali, dvaja členovia nášho tímu Data Science označili úplne rovnakú množinu 1 000 tweetov ako pozitívne, negatívne alebo neutrálne. Prišli sme na to, „že každý deň pracujeme s Tweety; pravdepodobne budeme mať medzi nami takmer dokonalú dohodu. “

Výsledky sme vypočítali a potom dvakrát a trikrát skontrolovali. Výskum bol na mieste - zhodli sme sa iba na 73% tweetov.

Výzvy v analýze sentimentu

Výskum (spolu s našim malým experimentom) ukazuje, že analýza sentimentu nie je jednoduchá. Prečo je to také zložité? Poďme sa prejsť niekoľkými najväčšími výzvami.

Kontext

Tweety sú maličkým momentom v čase. Aj keď sú niektoré samostatné, tweety sú často súčasťou prebiehajúcej konverzácie alebo referenčných informácií, ktoré majú zmysel, iba ak poznáte autora. Bez týchto indícií môže byť ťažké interpretovať autorove pocity.

Sarkazmus

Detekcia sarkazmu je ďalšou príchuťou kontextovej výzvy. Bez ďalších informácií si systémy analýzy sentimentu často mýlia doslovný význam slov s tým, ako sú určené. Sarkazmus je aktívnou oblasťou akademického výskumu, takže sa v blízkej budúcnosti môžeme dočkať systémov, ktoré rozumejú snarkom.

Porovnania

Sentiment bude tiež komplikovaný, keď Tweety porovnávajú. Ak robím prieskum trhu so zeleninou a niekým Tweety: „Mrkva je lepšia ako tekvica,“ je tento Tweet pozitívny alebo negatívny? Závisí to od vašej perspektívy. Podobne by niekto mohol tweetnúť: „Spoločnosť A je lepšia ako spoločnosť B.“ Ak pracujem pre spoločnosť A, tento Tweet je pozitívny, ale ak som so spoločnosťou B, je negatívny.

Emodži

Emodži sú vlastným jazykom . Zatiaľ čo emodži vyjadrujú celkom zjavný sentiment, iné sú menej univerzálne. Pri budovaní nášho systému analýzy sentimentu sme sa podrobne zaoberali tým, ako ľudia používajú emodži, a zistili sme, že aj bežné emodži môžu spôsobiť zmätok. sa takmer rovnako používa ako „tak šťastný, že plačem“ alebo „taký smutný, že plačem“. Ak sa ľudia nedokážu dohodnúť na význame emodži, nedokáže to ani systém analýzy sentimentu.

5555 význam čísla anjela

Definovanie neutrálu

Ani „neutrálny“ sentiment nie je vždy priamy. Zvážte nadpis správy o tragickej udalosti. Aj keď by sme všetci súhlasili s tým, že udalosť je strašná, väčšina novinových titulkov má byť vecných, informatívnych výrokov. Systémy analýzy sentimentu sú navrhnuté tak, aby identifikovali emócie autora obsahu, nie odpoveď čitateľa. Aj keď sa môže zdať čudné vidieť hrozné správy označené ako „neutrálne“, odráža to autorov zámer oznamovať vecné informácie.

Systémy analýzy sentimentu sa tiež líšia v definovaní neutrálnosti. Niektorí považujú neutrálny za univerzálnu kategóriu pre akýkoľvek Tweet, kde systém nemôže rozhodnúť medzi pozitívnym alebo negatívnym. V týchto systémoch je výraz „neutrálny“ synonymom pre výraz „Nie som si istý.“ V skutočnosti však existuje veľa tweetov, ktoré nevyjadrujú emócie, napríklad príklad uvedený nižšie.

Náš systém výslovne klasifikuje neemotívne tweety ako neutrálne, namiesto toho, aby neutrálne používal ako predvolené označenie pre nejednoznačné tweety.

Vyhodnotenie analýzy sentimentu

Pri toľkých výzvach v analýze sentimentu sa oplatí urobiť si domácu úlohu skôr, ako investujete do nového nástroja. Predajcovia sa snažia pomôcť prekonať zložitosť zameraním na štatistiku presnosti svojho produktu. Presnosť nie je vždy porovnaním medzi jablkami. Ak plánujete použiť presnosť ako meraciu tyčinku, mali by ste sa spýtať na niekoľko vecí.

Je uvádzaná presnosť vyššia ako 80%?
Pretože ľudia navzájom súhlasia iba 60 - 80% času, neexistuje spôsob, ako vytvoriť súbor testovacích údajov, s ktorým bude každý súhlasiť, ktorý obsahuje „správne“ štítky sentimentu. Pokiaľ ide o sentiment, „správne“ je subjektívne. Inými slovami, neexistuje zlatý štandard, ktorý by sa dal použiť pri presnosti testovania.

Horná hranica presnosti systému analýzy sentimentu bude vždy v zhode na úrovni človeka: asi 80%. Ak predajca požaduje presnosť viac ako 80%, je dobré byť skeptický. Súčasný výskum naznačuje, že je nepravdepodobná ani 80% presnosť; špičkoví odborníci v tejto oblasti zvyčajne dosahujú presnosti v polovici až v horných 60. rokoch.

Koľko kategórií sentimentu sa predpovedá?
Niektorí predajcovia hodnotia presnosť iba v prípade tweetov, ktoré boli ľudskými hodnotiteľmi označené ako definitívne pozitívne alebo negatívne, s výnimkou všetkých neutrálnych tweetov. Je oveľa jednoduchšie, aby sa presnosť systému javila veľmi vysoká pri práci so silne emocionálnymi tweetmi a iba s dvoma možnými výsledkami (pozitívnym alebo negatívnym).

Vo voľnej prírode je však väčšina tweetov neutrálna alebo nejednoznačná. Keď je systém hodnotený iba pozitívne a negatívne, je nemožné vedieť, ako dobre sa systém vyrovná s neutrálnymi tweetmi - väčšinou s tým, čo skutočne uvidíte.

Aké typy tweetov sú zahrnuté v ich testovacej sade?
Systém analýzy sentimentu by mal byť postavený a testovaný na tweetoch, ktoré reprezentujú podmienky v reálnom svete. Niektoré systémy analýzy sentimentu sú vytvárané pomocou tweetov špecifických pre doménu, ktoré boli filtrované a čistené, aby systém čo najlepšie porozumel.

Predajca napríklad mohol nájsť už existujúcu množinu údajov, ktorá obsahuje iba silno emotívne tweety o leteckom priemysle, pričom je vylúčený akýkoľvek spam alebo tweety mimo témy. To by spôsobilo vysokú presnosť, ale iba pri použití na veľmi podobných tweetoch. Ak pracujete v inej doméne alebo dostávate akékoľvek tweety mimo tému alebo spam, uvidíte oveľa nižšiu presnosť.

Aký veľký bol súbor údajov o teste?
Systémy analýzy sentimentu by sa mali hodnotiť na niekoľkých tisícoch tweetov, aby sa mohol merať výkon systému v mnohých rôznych scenároch. Skutočnú mieru presnosti systému nezískate, ak je systém testovaný iba na niekoľkých stovkách tweetov.

Tu v spoločnosti Sprout sme postavili náš model na zbierke 50 000 tweetov získaných z náhodnej vzorky z Twitteru. Pretože naše tweety nie sú špecifické pre doménu, náš systém analýzy sentimentu funguje dobre v širokej škále domén.

Ďalej robíme samostatné predpovede pre pozitívne, negatívne a neutrálne kategórie; neutrálime iba vtedy, keď zlyhajú iné predpovede. Naša presnosť bola testovaná na 10 000 tweetoch, z ktorých žiadne neboli použité na zostavenie systému.

Pozrite si Sproutovu analýzu sentimentu naživo s poslucháčmi

Celý výskum na svete nenahrádza hodnotenie systému z prvej ruky. Vyskúšajte náš nový systém analýzy sentimentu v rámci našej najnovšej sady nástrojov na počúvanie v sociálnej sieti, Poslucháči a uvidíte, ako to funguje pre vás. Najlepším nástrojom na počúvanie v sociálnej sieti je nakoniec ten, ktorý vyhovuje vašim potrebám a pomôže vám získať väčšiu hodnotu zo sociálnych sietí. Pomôžeme vám začať dnes.

Zdieľajte So Svojimi Priateľmi: