Mudell Razzjonali tar-Riżorsi Ta 'Ipproċessar Uman Ta' Struttura Lingwistika Rikursiva Parti 3

Esperiment 2: Effett ta 'Cues Semantiċi

Wara rreplikajna l-esperiment 1 fuq it-tieni sett ta 'oġġetti u fl-istess ħin ittestjajna l-effett imbassar ta' kompatibilità semantika.

Il-kompatibilità semantika tirreferi għall-fehim u l-ħakma tan-nies tal-kompatibilità u l-interrelazzjonijiet bejn unitajiet differenti fil-lingwa, kliem jew simboli. Il-memorja tirreferi għall-kapaċità tan-nies li jiftakru u jaħżnu l-informazzjoni.

Hemm relazzjoni mill-qrib bejn il-kompatibilità semantika u l-memorja. Kompatibilità semantika tajba tista 'ttejjeb il-kwalità tal-memorja tan-nies, filwaqt li kompatibilità semantika fqira se tfixkel il-fehim tal-informazzjoni tan-nies u l-effetti tal-memorja.

L-ewwel, il-kompatibilità semantika tista 'ttejjeb ir-rilevanza tal-informazzjoni, u b'hekk tgħin lin-nies jifhmu u jiftakru aħjar l-informazzjoni. Jekk ikun hemm korrelazzjoni ovvja bejn unitajiet differenti, in-nies jistgħu jużaw din il-korrelazzjoni biex jibnu konnessjonijiet bejn l-informazzjoni u jiffurmaw struttura ta 'netwerk bejn l-informazzjoni. Din l-istruttura tan-netwerk tista 'ttejjeb l-effett tal-memorja tal-informazzjoni u ttejjeb il-kapaċità tal-ħażna tal-informazzjoni tan-nies.

It-tieni nett, kompatibilità semantika tajba tista 'ttejjeb il-fehim tal-informazzjoni, u tagħmilha aktar faċli għan-nies biex tiftakar. Jekk ikun hemm relazzjoni ta 'kompatibilità ovvja bejn l-informazzjoni, in-nies jistgħu jifhmu faċilment il-konnessjoni bejn l-informazzjoni, u b'hekk jiffurmaw fehim u memorja tal-informazzjoni. Għall-kuntrarju, jekk ikun hemm inkompatibilità ovvja bejn l-informazzjoni, in-nies se jħossuhom konfużi u konfużi u jkollhom diffikultà biex jifhmu u jiftakru l-informazzjoni.

Fl-aħħarnett, kompatibilità semantika fqira tista 'taffettwa ħażin il-prestazzjoni tal-memorja tan-nies. Jekk ikun hemm wisq differenza bejn unitajiet differenti, ikun diffiċli għan-nies biex jifhmu u jiftakru l-informazzjoni, u b'hekk jitilfu l-valur tal-memorja. Għalhekk, fil-proċess tal-kitba u t-tixrid tal-informazzjoni, il-kompatibilità semantika għandha tinżamm kemm jista 'jkun biex ittejjeb il-fehim u l-memorja tan-nies.

Fil-qosor, hemm relazzjoni qawwija bejn il-kompatibilità semantika u l-memorja. Kompatibilità semantika tajba tista 'ttejjeb ir-rilevanza u l-fehim tal-informazzjoni, u b'hekk ittejjeb il-kapaċità tal-ħażna tal-informazzjoni tan-nies u l-effett tal-memorja. Għalhekk, fil-ħajja u x-xogħol ta 'kuljum, il-kompatibilità semantika għandha tinżamm kemm jista' jkun biex titjieb il-fehim u l-memorja tal-informazzjoni. Wieħed jista 'jara li għandna bżonn intejbu l-memorja, u Cistanche deserticola jista' jtejjeb b'mod sinifikanti l-memorja minħabba li Cistanche deserticola huwa materjal mediċinali tradizzjonali Ċiniż li għandu ħafna effetti uniċi, li wieħed minnhom huwa li jtejjeb il-memorja. L-effikaċja tal-laħam ikkapuljat ġejja mid-diversi ingredjenti attivi li fih, inklużi l-aċidu, il-polisakkaridi, il-flavonoids, eċċ. Dawn l-ingredjenti jistgħu jippromwovu s-saħħa tal-moħħ b'diversi modi.

Ikklikkja taf supplimenti biex ittejjeb il-memorja

Lil hinn miż-żewġ manipulazzjonijiet mill-esperiment 1, fit-TNEJN u TLIET kundizzjonijiet, aħna wkoll varjaw il-frażi verb tat-tieni għall-aħħar: Fil-kundizzjoni KOMPATIBBLI, l-ewwel nom kien suġġett plawżibbli (eż., "dejjaq lill-pazjent"); fil-kundizzjoni INKOMPATIBBLI, ma kienx (eż., "fejjaq il-pazjent"). Fil-kondizzjoni KOMPATIBBLI, verżjonijiet mhux veridika bħal "ir-rapport minn..." għandu jkollhom probabbiltà a priori ogħla, li jagħmlu tbassir tal-aħħar verb inqas preċiż. Bnejna 42 oġġett ta' stimolu.

Fig. 3B turi tbassir mill-mudell razzjonali tar-riżorsi u teoriji preċedenti għal dawn l-oġġetti. Minbarra l-effetti mill-esperiment 1, il-mudell ibassar diffikultà ogħla fil-kundizzjoni KOMPATIBBLI, partikolarment fi ħdan TLIET. La teorija sorpriża u lanqas DLT ma jbassru xi effett ta 'kompatibilità.

Ġbarna dejta tal-ħin tal-qari minn 200 parteċipant, inklużi kemm varjanti KOMPATIBBLI kif ukoll INKOMPATIBBLI fit-TNEJN u TLIET kundizzjonijiet. Fl-aspetti l-oħra kollha, l-esperimentu l-analiżi tad-dejta kienu identiċi għall-esperiment 1. Il-ħinijiet tal-qari huma murija f'Fig. 3B.

Ir-riżultati tal-esperiment 1 kienu replikati: L-ewwel, il-ħinijiet tal-qari kienu ogħla fi TLIET milli fi TNEJN (= 0.29, 95% CrI [0.24, 0.35], P( < 0) ​​< 0.0001; effett fil-ħinijiet tal-qari mhux maħduma: 337 ms, 95% CrI [267, 411] ms).

It-tieni, kien hemm interazzjoni bejn il-preġudizzju tal-inkorporazzjoni u l-preżenza ta' klawżola "dik" (= −0.06, 95% CrI [−0.1{ {9}}, −0.024],P( > 0)=0.0007). Bħal fl-esperiment 1, l-effett tal-embeddingbias kien pożittiv fil-kundizzjoni WIEĦED (differenza bejn "fatt" u "rapport": 193 ms, 95% CrI [37, 357] ms), u negattiv fuq iż-ŻEWĠ u TLIET kundizzjonijiet (differenza bejn " fatt" u "rapport": −105 ms, 95% CrI [−194, −18]ms).

It-tielet, bi qbil mat-tbassir tal-mudell, il-ħinijiet tal-qari kienu ogħla fil-kundizzjoni KOMPATIBBLI mill-kundizzjoni INKOMPATIBBLI ( {{0}}.083, 95% CrI [0.031, 0.136 ],P( < 0)=0.0014; effett fil-ħinijiet tal-qari mhux ipproċessat: 96 ms, 95% CrI[36, 156] ms). Ara l-Appendiċi SI, sezzjoni S3 għal aktar analiżi.

Innota li l-effetti ta 'inkorporazzjoni bias u kompatibilitàare numerikament akbar fit-TLIET kundizzjonijiet milli fil-kondizzjonijiet theTWO; meta-analiżi turi li dawn id-differenzi huma statistikament sinifikanti kemm fil-ħinijiet tal-qari kif ukoll f'partijiet tal-ispazju tal-parametri tal-mudell (Appendiċi SI, sezzjonijiet S2.1 u S6.6).

Differenzi numeriċi fl-inklinazzjoni ta 'inkorporazzjoni bias betweenCOMPATIBLE u INKOMPATIBBLI ma kinux statistikament sinifikanti (SI Appendiċi, Fig. S23), u lanqas kienu differenzi numeriċi fil theintercept tal-mudell previżjonijiet bejn iż-żewġ esperimenti (SI Appendiċi, Fig. S6).

Ara l-Appendiċi SI, taqsima S6 għal evidenza konverġenti minn studji preċedenti dwar il-ħin tal-qari (total n=501). Aħna rreplikajna aktar l-effett tal-inkorporazzjoni tal-preġudizzju fuq il-komprensjoni f'żewġ studji ta' klassifikazzjoni (total n=335; Appendiċi SI, taqsima S5).

Esperiment 3: Studju tal-Produzzjoni

S'issa, ikkonfermajna t-tbassir tal-mudell fil-ħinijiet tal-qari. Id-diffikultà mkejla fil-ħinijiet tal-qari tindika li l-aspettattivi tal-bnedmin jinkisru, iżda ma tindikax direttament x'inhuma l-aspettattivi umani.

Biex nipprovdu t-tieni test tal-aspettattivi tal-bniedem, rrikorrejna għal paradigma tal-produzzjoni - Tlestija tal-għeluq (40,41) - li ntużat fir-riċerka tal-lingwa biex tevalwa liema kliem huma mistennija immedjatament wara preambolu. Aħna nużaw dan il-metodu biex nevalwaw il-kumplessità ta’ strutturi multinesti u biex inkejlu kemm il-verbi jistennew il-bnedmin wara preambolu kumpless.*

Tlabna lill-parteċipanti biex jimlew kuntesti tal-formola "Ir-rapport li t-tabib li d-diplomatiku..." għal sentenza sħiħa. Aħna stennejna li l-parteċipanti jew jipproduċu komplezzjonijiet grammatikali bi tliet verbi, bħal "... mistrusted cured the patient was sorprendenti," jew verżjonijiet mhux grammatikali b'inqas verbi, bħal "... mistrusted kien sorprendenti." Riżorsi-razzjonali lossy-contextsorprisal tbassar li r-rata ta 'tali completions ungrammatical għandhom ikunu aktar baxxi għal nomi bi preġudizzju għoli inkorporazzjoni (eż., "fatt"), peress li dawn jagħmluha aktar faċli biex tirkupra l-kuntest veru minn rappreżentazzjonijiet imperfettmemory (Fig. 4A). Mudelli eżistenti bbażati fuq l-aspettattivi u bbażati fuq il-memorja ma jbassrux li r-rata ta 'kompleti grammatikali tiddependi fuq il-preġudizzju ta' inkorporazzjoni.

Irreklutajna 80 parteċipanti. Fig. 4 turi r-rata ta 'tlestijiet mhux kompluti (inqas minn tliet verbi) bħala funzjoni ta' preġudizzju ta 'inkorporazzjoni. Kif imbassar, kien hemm effett ta' embeddingbias fuq ir-rata ta' tweġibiet mhux grammatikali (= −0.32, 95% CrI[−0.60, −0.05 ], P( > 0)=0.0123) f'analiżi ta' effetti loġistiċi mħallta prova b'prova.

Irreplikajna dan l-istudju f’żewġ lingwi oħra (Spanjol u Ġermaniż), inkluża waħda (Ġermaniż) fejn id-diffikultà ta’ centerembeddings hija sostanzjalment aktar dgħajfa milli bl-Ingliż (42).

Bl-Ispanjol, immirajna klawżoli relattivi tas-suġġett (el hechode que el director que, "il-fatt li d-direttur li") biex nevitaw il-klawżoli relattivi tas-suġġett-oġġett inizjali inqas naturali, filwaqt li nittestjaw il-ġeneralizzazzjoni għal konfigurazzjoni sintattika differenti. Bil-Ġermaniż, immirajna strutturi inkorporati (eż. Klaus hat erzahlt, ¨dass die Behauptung, dass der Student, den der Professur, "Klaus saidthat the claim that the student who the teacher"), peress li huma magħrufa li jżidu d-diffikultà għal livelli eqreb lejn Ingliż (35).

Irreklutajna 60 parteċipanti f'kull lingwa. Fiż-żewġ lingwi, l-effett tar-rata ta’ inkorporazzjoni kien stmat bħala negattiv, b’daqsijiet tal-effett stmati komparabbli mar-riżultat bl-Ingliż (Spanjol:=−0.23, 95% CrI [−{{7} }}.34, −0.12], P( > 0)< 0.0003; German: β = −0.28, 95% CrI [−0.56, −0.03], P(β > 0) = 0.01738). These results suggest that the-previously undocumented-effect of embedding bias on human expectations holds across different languages, even when they vary in the overall difficulty of center embeddings.

Diskussjoni

Introduċejna mudell ta 'proċessar tal-lingwa umana bħala tbassir razzjonali tar-riżorsi, skalat għal input arbitrarju bl-użu ta' metodi kontemporanji ta 'tagħlim tal-magni. Bil-għan li jirrikonċilja perspettivi bbażati fuq il-memorja u l-aspettattivi dwar l-ipproċessar sintattiku tal-bniedem, il-mudell mhux biss jirkupra tbassir ta’ dawk it-teoriji ta’ qabel fejn huma korretti iżda wkoll ibassar interazzjonijiet li qabel kienu mhux dokumentati bejn limitazzjonijiet tal-memorja u aspettattivi probabilistiċi, li kkonfermajna fi tliet esperimenti ta’ mġiba li jipprovaw l-ipproċessar uman ta’ rikorsiv. strutturi.

Ir-riżultati tagħna juru li d-diffikultà dokumentata sew tal-integrazzjoni tad-dipendenzi lingwistiċi twal, li hija fil-qalba tal-mudelli eżistenti bbażati fuq il-memorja (5, 7, 36), hija sostanzjalment modulata minn aspettattivi probabilistiċi: Il-paragun bejn il-kundizzjonijiet ONE u TLIET turi li tali kundizzjonijiet. l-effetti tal-lokalità jistgħu jiddgħajfu jew saħansitra jitreġġgħu lura meta l-istruttura sintattika mhux lokali għandha probabbiltà a priori għolja, tbassir li taqa 'naturalment mill-unifikazzjoni proposta tagħna ta' perspettivi bbażati fuq il-memorja u l-aspettattivi.

Ix-xogħol tagħna jkompli jiddokumenta tliet familji prominenti ta’ effetti mil-letteratura psikolingwistika f’esperiment wieħed u b’mudell wieħed: effetti tal-lokalità (żieda fid-diffikultà ta’ TLIET), effetti ta’ prevedibbiltà (effett ta’ embeddingbias fil-kundizzjoni ONE), u effetti ta’ interferenza semantika (effett ta’ kompatibilità semantika). ).

Kien hemm interess konsiderevoli fi trattament teoretiku unifikat ta 'dawn l-effetti tal-familji; ix-xogħol tagħna juri kif mudell wieħed jista' jiddeskrivi, b'mod partikolari, kif jinteraġixxu. Grupp wieħed ta 'fenomeni mhux immirati mill-esperimenti tagħna huwa interferenza bbażata fuq ix-xebh (43, 44). L-investigazzjoni dwar jekk tistax tiġi kkunsidrata wkoll b'dan il-qafas ta 'mudellar hija problema interessanti għal riċerka futura.

Il-mudell razzjonali tar-riżorsi tagħna huwa formalment relatat ma 'mudelli oqsma differenti. Xogħol klassiku wera li l-analiżi razzjonali tal-probabbiltajiet ta 'żamma tista' tagħti kont għall-proprjetajiet fundamentali tal-memorja umana (28, 29). Xogħol reċenti (45-48) ifformalizza mudelli razzjonali tal-memorja tax-xogħol tal-bniedem f'xi oqsma, bħall-memorja tax-xogħol viżwali, bl-użu tat-teorija tar-rata ta 'distorsjoni, qafas teoretiku ta' informazzjoni li joħroġ kodifikazzjoni ta 'fedeltà għolja taħt restrizzjonijiet tar-riżorsi.

Id-differenza ewlenija bejn it-teorija tar-rata-distorsjoni u l-mudell tagħna hija li l-kejl tal-ekonomija hija l-frazzjoni tal-kliem disponibbli hawn, filwaqt li hija n-numru ta 'bits kodifikati fit-teorija tar-rata-distorsjoni. Applikata għall-komprensjoni tas-sentenza, it-teorija tad-distorsjoni tar-rata twassal għal rappreżentazzjonijiet "ġest" kompletament kompressati tal-kuntest tal-passat. Tali rappreżentazzjonijiet kompressati bis-sħiħ ma jwasslux għall-mudelli ta 'diffikultà osservati fl-esperimenti tagħna (ara l-Appendiċi SI, sezzjoni S8 għad-dettalji).

Min-naħa l-oħra, il-mudell tagħna huwa wkoll simplifikazzjoni peress li jimmudella l-kuntest reċenti bħala sekwenza ta’ kliem, li jista’ jissottovaluta r-rwol tar-rappreżentazzjonijiet tal-memorja tal-kuntest itwal fejn il-kliem individwali setgħu ġew minsija iżda tibqa’ l-memorja tat-tifsira. Aktar avvanzi fil-magna it-tagħlim jista' jippermetti li jiġi dedott format aktar sofistikat ta' rappreżentazzjonijiet tal-memorja mill-ottimizzazzjoni razzjonali tar-riżorsi.

Fix-xjenza tal-kompjuter, l-istruttura rikursiva hija tipikament ipproċessata bl-użu ta 'strutturi ta' data bbażati fuq stack. B'mod korrispondenti, mudelli bikrija tal-ipproċessar sintattiku tal-bniedem assumew limiti fuq id-daqs tal-munzell, jew in-numru ta 'nodi li jistgħu jinżammu fil-memorja fl-istess ħin (2, 24).

Mudelli bħal dawn ibassru li l-inkorporazzjoni aktar profonda hija aktar diffiċli, iżda ma jbassrux li d-diffikultà hija modulata minn indikazzjonijiet statistiċi jew semantiċi. B'differenza mill-arkitetturi bbażati fuq stack, it-teorija tagħna tassenja rwol ewlieni lill-indikazzjonijiet probabilistiċi fl-istabbiliment ta 'struttura rikorsiva. F'dan ir-rigward, jaqbel ma' teoriji aktar reċenti bbażati fuq il-memorja billi wieħed jassumi li l-bnedmin ma jżommux strutturi tad-data bħal munzelli, u, minflok, jistabbilixxu strutturi sintattiċi bl-użu ta 'rkupru assoċjattiv ibbażat fuq cue (5, 7, 49, 50). Mudelli ta' rkupru assoċjattiv kif implimentati bħalissa (7) donot kont għall-mudelli diffikultà distintiv mbassra byour mudell u osservati fl-esperimenti tagħna. Madankollu, aħna nqisu t-teorija tagħna bħala kompatibbli ma 'ideat minn dik il-letteratura.

It-teorija tagħna tipprovdi mudell ta’ livell ta’ komputazzjoni li jagħmel tbassir kompatibbli mal-mudelli eżistenti bbażati fuq il-memorja, iżda, b’differenza minn dawk il-mudelli, huwa adattat b’mod razzjonali mal-istruttura statistika rikka tal-lingwa, li jippermettilha tbassar kif il-limitazzjonijiet tal-memorja jinteraġixxu mal-aspettattivi probabilistiċi. Ir-riżultati tagħna jissuġġerixxu li l-identifikazzjoni ta' verżjonijiet probabilistiċi ta' mudelli ta' rkupru assoċjattiv, bħala implimentazzjonijiet ta' livell algoritmiku tar-riżorsi-mudell razzjonali deskritt hawn, hija problema interessanti għar-riċerka psikolingwistika. Ara l-Appendiċi SI, sezzjoni S7.2 għal aktar dwar l-implikazzjonijiet tar-riżultati tagħna għall-mudelli tal-memorja bbażati fuq l-irkupru.

L-unifikazzjoni proposta tagħna tal-mudelli bbażati fuq l-aspettattivi u dawk ibbażati fuq il-memorja tistrieħ fuq l-idea li r-rappreżentazzjonijiet tal-memorja tax-xogħol imperfetti huma rikostruwiti b’mod razzjonali-għalkemm kultant b’mod żbaljat-użu tal-għarfien tal-istatistika tal-lingwa. Din l-idea għandha preċedent importanti fix-xogħol fuq l-integrazzjoni mill-ġdid fil-memorja tax-xogħol verbali ( eż., refs. 51–55), proċess li permezz tiegħu memorja degradata għal żmien qasir tiġi rrestawrata bl-użu ta' għarfien minn memorja fit-tul. Dan ġie applikat għall-memorja għal-listi ta' kliem (eż., ref. 52–55) u, aktar reċentement, għall-memorja għal mudelli sintattiċi (56). Il-mudell tagħna jipprovdi rendikont ta 'proċessi bħal dawn imsejsa fl-inferenza Bayesjana ristretta mir-razzjonalità tar-riżorsi. Hemm ukoll mudelli fejn il-memorja tax-xogħol hija ttrattata bħala komponent tal-memorja tagħha stess iżda bħala emerġenti mill-interazzjoni tal-ipproċessar u l-memorja fit-tul (57, 58). Għal mudelli bħal dawn, ir-riżultati tagħna jipprovdu dejta dwar kif l-għarfien fit-tul jinforma l-ipproċessar. .

L-esperimenti tagħna jikkapitalizzaw fuq korrelati statistiċi ta 'strutturi sintattiċi biex jistħarrġu kif l-aspettattivi probabilistiċi jinteraġixxu mar-restrizzjonijiet tal-memorja. Dan għandu xi paralleli fil-ħidma preċedenti fuq mudelli bbażati fuq l-aspettattivi li wrew kif korrelazzjonijiet, bħal bejn animacy u tip ta 'klawżola relattiva, l-ipproċessar ta' impatt b'modi mhux meqjusa minn kontijiet eżistenti bbażati fuq il-memorja (eż., refs. 59-61). Ix-xogħol tagħna jespandi fuq din il-linja ta 'ħidma billi tartikula teorija implimentata tal-interazzjoni bejn ir-restrizzjonijiet tal-memorja u l-aspettattiva probabilistika.

Il-mudell tagħna għandu parametru ħieles δ, in-numru medju ta 'kliem miżmuma. Assumina valur wieħed biex niksbu tbassir u nqabbluhom mal-ħinijiet tal-qari tal-bniedem. It-twaħħil tiegħu għal suġġetti individwali u l-fehim tar-relazzjoni tiegħu ma 'miżuri stabbiliti ta' differenzi individwali hija problema interessanti għar-riċerka futura.

Mudelli Connectionist ta 'proċessar sintattiku tal-bniedem (8, 62-64) għandhom l-għan li jiddeskrivu l-ipproċessar tal-bniedem bl-użu ta' aspettattivi derivati ​​minn rappreżentazzjonijiet tan-netwerk newrali u ġew proposti biex jimmudellaw effetti relatati kemm mal-limitazzjonijiet tal-memorja kif ukoll mal-aspettattivi probabilistiċi. Madankollu, id-differenzi bejn is-sorpriża sempliċi kif ikkalkulat mill-GPT-2 u s-sorpriżi b'kuntest ta' telf razzjonali tar-riżorsi juru li l-limitazzjonijiet tal-memorja bħall-bniedem m'għandhomx għalfejn joħorġu awtomatikament f'mudelli konnessjonisti.

Aħna wrejna kif mudell ta' pproċessar tal-lingwa razzjonali tar-riżorsi jista' jiġi skalat għall-istruttura statistika rikka tal-lingwa naturali. Il-metodu tagħna bbażat fuq it-tagħlim tal-magni jista’ jiftaħ il-bieb għat-twaħħil ta’ mudelli razzjonali sofistikati fuq statistika ta’ input naturali u wkoll f’oqsma oħra tal-konjizzjoni umana.

Il-ġeneralità tal-mudell tagħna tissuġġerixxi wkoll li fenomeni simili jistgħu jeżistu barra mill-lingwa: Kull meta l-bnedmin jipproċessaw input li huwa wisq kumpless biex il-partijiet kollha tiegħu jiġu attenduti simultanjament, l-ipproċessar għandu jiġi affettwat mill-istruttura statistika ta 'inputs simili.

Materjali u metodi

Nomi. Ġbarna nomi li jistgħu jieħdu komplement sentenzjali, billi nużaw il-Penn Treebank (65), il-Web Treebank bl-Ingliż (66), l-AnCoRA treebank (67) bl-Ispanjol, u l-HDT Treebank (68) bil-Ġermaniż. Stmajna l-inkorporazzjoni tal-preġudizzju tal-probabbiltà tal-log li "in-NOUN" kien segwit minn "li" bl-użu tal-Wikipedija bl-Ingliż (2.3 biljun kelma), il-Wikipedija Ġermaniża (800 miljun kelma) u l-Wikipedija Spanjola (500 miljun kelma). Ara l-Appendiċi SI, sezzjoni S11 għad-dettalji. Aħna vvalidajna l-istimi Ingliżi bl-użu ta’ żewġ corpus kbar oħra tal-Ingliż Amerikan u Brittaniku (Appendiċi SI, sezzjoni S10.1).

Mudell. Sorpriża ta' kuntest ta' telf razzjonali tar-riżorsi hija definita minn familja ta' probabbiltajiet ta' żamma θ={qw, i: i, w}, fejn w tvarja fuq kliem ui=1, ..., N, fejn N=20 huwa t-tul massimu tal-kuntest ikkunsidrat, twil biżżejjed biex jakkomoda l-kuntesti kollha li jidhru fl-esperimenti. Aħna nipparametrizzaw qw, jien nuża netwerk newrali li jgħaqqad l-identità tal-kelma tal-passat u n-numru ta 'kliem li jintervjenu, biex joħroġ żamma. probabbiltà (SI Appendiċi, sezzjoni S1.1). Il-mudell θ jagħti lok għall-probabbiltà p(c|c) u għalhekk il-posterior p(c|c). Huwa magħżul biex jimminimizza l-medja sorpriża tal-kelma li jmiss għall-kelma li jmiss li tirriżulta p(w|c):

Setup Sperimentali għall-Istudji tal-Ħin tal-Qari. Għall-istudji kollha, il-protokoll sperimentali ġie approvat mill-Bord ta 'Reviżjoni Istituzzjonali fi StanfordUniversity. Inkiseb kunsens infurmat mill-parteċipanti kollha.

Kull parteċipant ġie ppreżentat b'10 provi kritiċi. Fiż-żewġ esperimenti, żewġ provi kienu f'WIEĦED, u erba 'provi kienu fi TNEJN u TLIET kull wieħed. Fl-esperiment 2, nofs it-TNEJN u TLIET provi kienu kull wieħed fil-kundizzjoni KOMPATIBBLI (INKOMPATIBBLI). Aħna għażilna numru żgħir ta 'provi kritiċi, biex innaqqsu kwalunkwe effett ta' adattament statistiku għal inkorporazzjonijiet taċ-ċentru matul il-kompitu.

Biex timmassimizza l-preċiżjoni statistika, għażilna 15-il nom bi preġudizzju ta' inkorporazzjoni għoli ħafna u 15-il nom bi preġudizzju ta' inkorporazzjoni baxx ħafna (SI Appendiċi, Fig. S36). Għal kull parteċipant, ħadna kampjun ta' ħames nomi bi preġudizzju għoli ta' inkorporazzjoni u ħames nomi b'valur baxx u qabbilhom ma' l-10 provi kritiċi. Għal kull parteċipant, aħna wkoll kampjun fillers 30 minn ġabra ta 'mili 56 minn studju qabel ħin qari ta' embeddings ċentru (42).

Biex ineħħu anomaliji semantiċi minħabba vjolazzjonijiet tal-preżuppożizzjoni (eż., "il-fatt kien ħażin"), aħna kklassifikati n-nomi f'li jinvolvi (eż., "fatt"), li ma jinvolvix newtrali (eż., "talba"), u li ma jinvolvix negattivi (eż. " akkuża") nomi, u oġġetti klassifikati għall-kompatibbiltà ma' kull waħda minn dawn it-tliet klassijiet (Appendiċi SI, sezzjoni S11). Għal kull parteċipant, qabbilna l-10 nomi ma’ oġġetti kompatibbli semantikament.

Għall-kompitu tal-labirint, aħna ġġenerajna distraturi awtomatikament (39) bl-użu tal-mudell tal-lingwa Gulordava (69): dawn id-distraturi għandhom probabbiltà kuntestwali estremament baxxa filwaqt li jkunu mqabbla mal-kelma fil-mira fil-frekwenza u fit-tul. -l-aħħar frażi verbali fil-kundizzjonijiet (IN)KOMPATIBBLI fl-esperiment 2. B'mod partikolari, distractorswerew imqabbla mal-kelma kritika fil-kundizzjonijiet kollha.

Meta l-parteċipanti għamlu żball (jiġifieri, għażlu d-distratur), huma ġew imħeġġa biex jerġgħu jippruvaw il-kelma kurrenti (70). Il-ħinijiet ta' reazzjoni fuq tali provi kienu esklużi; din l-għażla ma kellha impatt fuq il-konklużjonijiet (Appendiċi SI, taqsima S3.6).

Għal kull suġġett, il-provi ġew ippreżentati f'ordni każwali sabiex l-ebda żewġ kritiċi ma kienu maġenbhom. Il-parteċipanti, reklutati fuq il-pjattaforma akkademika Prolific, ħadu medjan ta' 13-il minuta u rċevew £ 2.20 (≈3 USD).

Analiżi tad-Data għall-Ħinijiet tal-Qari. Eskludejna provi 1) bi tweġiba żbaljata, 2) minn parteċipanti li għamlu żbalji fuq aktar minn 20% tal-kliem, u3) taħt jew aktar minn 99% tal-ħinijiet kollha tal-qari. Ara l-Appendiċi SI, sezzjoni S3.6 għal robustezza għall-kondizzjoni 1, u ara l-Appendiċi SI, sezzjoni S3.7 għar-robustezza għall-kondizzjoni 3. Aħna mbagħad analizzajna l-ħinijiet tal-qari trasformati bil-log fuq il-mudelli finali ta’ effetti mħallta Bayesian ta’ verbusing implimentati fi Stan (71) bl-użu ta' l-armi (72).Ara SI Appendiċi, sezzjoni S3.3 għall-preċedenti u r-robustezza għall-għażliet preċedenti. Aħna użajna kodifikazzjoni ta' kuntrast bil-preżenza ta' klawżola "dik" (WIEĦED vs. TNEJN/TLIET), fond (TNEJN vs. TLIETA), u manipulazzjoni ta' kompatibilità (KOMPATIBBLI vs. INKOMPATIBBLI) bħala kuntrasti. Il-preġudizzju tal-inkorporazzjoni kien iċċentrat, u l-interazzjonijiet binarji mhux vakwu kollha ġew miżjuda bħala effetti fissi (Appendiċi SI, sezzjoni S3.2).

Aħna inkludejna l-istruttura ta 'effetti każwali massimi ġġustifikati mid-disinn sperimentali, daħħal oġġetti, nomi, u parteċipanti bħala effetti każwali. Biex nistmaw l-effetti fil-ħinijiet tal-qari mhux ipproċessati (millisekondi), l-ewwel ikkalkulajna l-ħin imbassar tal-qari tal-log trasformat fiż-żewġ kundizzjonijiet (eż. KOMPATIBBLI u INKOMPATIBBLI), imbagħad ittrasformajna t-tnejn f’millisekondi billi esponenzjajna, u kkalkulajna d-differenza (ara l-Appendiċi SI, sezzjoni S3.4). għal aktar dettalji). Fil-Fig. 3, aħna plot il-medja ta 'wara tal-ħin tal-qari mbassar fil-kundizzjonijiet kollha għan-nomi li jintegraw bias li jaqblu "fatt" jew "rapport." Il-vireg tal-iżball jirrappreżentaw l-SD posterjuri.

Dettalji għall-Istudju tal-Produzzjoni. Bnejna 28 oġġett tal-forma "Il-XXXli d-diplomatiku li s-senatur," u għażilna 12-il nom, 6 kull wieħed bi preġudizzju inkorporat għoli ħafna jew baxx ħafna. Għal kull parteċipant, aħna ngħaqadna bl-addoċċ oġġetti u nomi. It-12-il prova kritika ġew ippreżentati f'ordni każwali b'27 mili. Alinguist annotat manwalment, għal kull tlestija pprovduta, jekk kienx prodott in-numru korrett ta' frażijiet verbali (tlieta). L-annotatur kien agħma għall-identità tan-nom.

Bl-Ispanjol u l-Ġermaniż, għażilna 20 nom bi preġudizzju ta’ inkorporazzjoni għoli ħafna jew baxx ħafna f’kull lingwa, u ħadna kampjuni ta’ 6 nomi ta’ inkorporazzjoni għolja u 6 baxxi għal kull parteċipant. Bħal fil-verżjoni bl-Ingliż, qabbilna b'mod każwali 12-il oġġett mat-12-il nom kampjun għal kull parteċipant. Fillers ġew tradotti mill-esperiment Ingliż.

Bil-Ġermaniż, komplejna bnejna 12-il sentenza matriċi (eż., "Klaus saidthat"), u qabbilhom b'mod każwali ma' oġġetti u nomi għal kull parteċipant. Mexxejna analiżi ta' effetti loġistiċi mħallta prova b'prova Bayesjana bl-inkorporazzjoni ta' preġudizzju bħala effett fiss , u effetti każwali ta 'nomi, oġġetti, parteċipanti, u (bil-Ġermaniż) sentenzi matriċi. Ara l-Appendiċi SI, sezzjoni S4 għad-dettalji.

Data, Materjali, u Disponibbiltà tas-Softwer. Il-probabbiltajiet ta' żamma mwaħħla u t-tbassir tal-mudell ġew depożitati f'Zenodo (https://zenodo.org/record/6602698) (73), (https://zenodo.org/record/6988696) (74). Il-ħinijiet tal-qari anonimizzati, id-dejta tal-produzzjoni tal-lingwa, u l-kodiċi tas-sors ġew depożitati f'GitLab (https://gitlab.com/m-hahn/resource-rational-surprisal) (75).

RIKONOXXIMENTI. Nirringrazzjaw lill-editur u lir-reviżuri għall-feedback kostruttiv tagħhom, li għen biex itejjeb il-manuskritt. Aħna grati wkoll lejn Judith Degen, Tiwalayo Eisape, Hailin Hao, Jennifer Hu, Dan Jurafsky, PengQian, Cory Shain, Shravan Vasishth, Tom Wasow, Ethan Wilcox, u l-udjenza fil-Konferenza CUNY 2020 dwar l-Ipproċessar tas-Senti għal diskussjoni u feedback utli.

Referenza

1. N. Chomsky, Strutturi Sintattiċi (Mouton, The Hague, 1957).

2. GA Miller, N. Chomsky, "Mudelli Finitarji ta 'utenti tal-lingwa" fil-Manwal tal-Psikoloġija Matematika, RD Luce, RR Bush, G. Galanter, Eds. (John Wiley, 1963), pp. 269–321.

3. L. Frazier, "Komplessità sintattika" fl-Analiżi tal-Lingwa Naturali: Perspettivi Psikoloġiċi, Komputali u Teoretiċi, DR Dowty, L. Karttunen, AM Zwicky, Eds. (Cambridge University Press, NewYork, 1985), pp. 129–189.
4. E. Gibson, Kumplessità lingwistika: Lokalità tad-dipendenzi sintattiċi. Konjizzjoni 68, 1–76 (1998).

5. B. McElree, S. Foraker, L. Dyer, Strutturi tal-memorja li jissottomettu l-komprensjoni tas-sentenza.J. Mem.Lang. 48, 67–91 (2003).

6. W. Tabor, B. Galantucci, DC Richardson, Effects of merely local syntactic coherence on sentenceprocessing.J. Mem. Lang. 50, 355–370 (2004).

7. RL Lewis, S. Vasishth, Mudell ibbażat fuq l-attivazzjoni tal-ipproċessar tas-sentenza bħala rkupru tal-memorja tas-sengħa.Cogn. Sci. 29, 375–419 (2005).

8. MH Christiansen, MC MacDonald, Approċċ ibbażat fuq l-użu għar-rikors fl-ipproċessar tas-sentenzi.Lang. Tgħallem. 59, 126–161 (2009).

9. J. Hale, (2001) "A parser early probabilistic bħala mudell psikolingwistiku" fil-Proċedimenti tat-Tieni Laqgħa tal-Kapitolu ta 'l-Amerika ta' Fuq ta 'l-Assoċjazzjoni għall-Lingwistika Komputali, NAACL 2001,L. Levin, K. Knight, Eds. (Assoċjazzjoni għal-Lingwistika Komputali, Stroudsburg, PA), pp. 1–8.

10. R. Levy, Komprensjoni sintattika bbażata fuq l-aspettattivi. Konjizzjoni 106, 1126–1177 (2008).

11. K. Rayner, AD Well, Effetti tar-restrizzjoni kuntestwali fuq il-movimenti tal-għajnejn fil-qari: Eżami ulterjuri. Psychon. Bull. Rev 3, 504–509 (1996).

12. A. Staub, L-effett tal-prevedibbiltà lessika fuq il-movimenti tal-għajnejn fil-qari: Reviżjoni kritika u interpretazzjoni teoretika.Lang. Lingwist. Boxxla 9, 311–327 (2015).

For more information:1950477648nn@gmail.com