L-esplorazzjoni ta' Transformers tal-Viżjoni Supervisjati Awto-Għas-Rikonoxximent tal-Mixi fis-Selvaġġ Parti 3

Aħna nużaw kampjun sempliċi biex ninterpolaw bejn ġonot ġirien (Figura 3). Madankollu, naively tagħmel dan fuq l-iskeletru jirriżulta ġonot spurju madwar l-iskeletru, irrispettivament mill-għażla ta 'formati skeletru (eż., OpenPose jew COCO), peress li l-ordni konġunta ma jippreserva ebda tifsira semantika.

Is-sekwenzjar tal-ġogi jirreferi għaċ-ċaqliq tal-ġogi tal-ġisem f'ċerta ordni. Dan it-tip ta’ eżerċizzju għandu rwol importanti fiż-żamma tas-saħħa fiżika u fit-titjib tal-memorja tal-ġisem.

L-ewwelnett, is-sekwenzjar konġunt jista 'jippromwovi moviment koordinat ta' diversi partijiet tal-ġisem, itejjeb is-saħħa tal-muskoli, u jtejjeb il-funzjoni kardjopulmonari, li kollha jgħinu biex tinżamm is-saħħa tajba. Fl-istess ħin, l-allinjament regolari tal-ġogi jista 'jnaqqas l-ebusija u l-uġigħ tal-ġisem, itejjeb il-qagħda u l-bilanċ, u jdewwem it-tnaqqis tal-funzjoni fiżika kkawżata mill-età.

It-tieni, is-sekwenzjar konġunt jista 'wkoll itejjeb il-memorja. Ir-riċerka turi li l-eżerċizzju jista 'jistimula t-tkabbir u l-konnessjonijiet tan-newroni tal-moħħ, u b'hekk jippromwovi l-iskambju ta' informazzjoni bejn in-newroni, li jista 'jgħin biex itejjeb il-memorja u l-kapaċitajiet tat-tagħlim. Il-moviment sekwenzat tal-ġogi jeħtieġ li l-moħħ jagħti struzzjonijiet preċiżi għall-movimenti ta 'diversi partijiet tal-ġisem, li huwa ta' għajnuna kbira għall-iżvilupp tal-koordinazzjoni tal-moħħ u l-abbiltajiet tal-memorja.

Fl-aħħarnett, is-sekwenzjar konġunt jista 'wkoll itaffi l-istress u l-ansjetà u jtejjeb l-istabbiltà emozzjonali. L-eżerċizzju jista 'jerħi xi sustanzi fil-ġisem, bħal dopamine u endorphins, li jistgħu jgħinu biex itaffu l-problemi emozzjonali u jtejbu s-sens ta' ferħ u sodisfazzjon tal-ġisem. Dawn il-fatturi għandhom ukoll impatt pożittiv fuq it-titjib tal-memorja.

Fil-qosor, hemm relazzjoni pożittiva bejn is-sekwenzjar konġunt u l-memorja. Permezz ta 'eżerċizzji regolari ta' sekwenza konġunta, tista 'tippromwovi l-iżvilupp b'saħħtu tal-ġisem u l-moħħ, ittejjeb il-memorja u l-abbiltajiet ta' tagħlim, u ttejjeb l-istabbiltà emozzjonali. Ejjew nagħtu attenzjoni għas-saħħa tajba u ngawdu s-sbuħija tal-ħajja flimkien! Wieħed jista 'jara li għandna bżonn intejbu l-memorja, u Cistanche deserticola jista' jtejjeb b'mod sinifikanti l-memorja minħabba li Cistanche deserticola huwa materjal mediċinali tradizzjonali Ċiniż li għandu ħafna effetti uniċi, li wieħed minnhom huwa li jtejjeb il-memorja. L-effikaċja tal-laħam ikkapuljat ġejja mid-diversi ingredjenti attivi li fih, inklużi l-aċidu, il-polisakkaridi, il-flavonoids, eċċ. Dawn l-ingredjenti jistgħu jippromwovu s-saħħa tal-moħħ b'diversi modi.

Ikklikkja taf supplimenti biex ittejjeb il-memorja

Din l-osservazzjoni hija konformi max-xogħol ta 'Yang et al. [44], li tipproponi immaġni tal-iskeletru tal-istruttura tas-siġra (TSSI) biex tipproponi r-relazzjonijiet spazjali bejn il-ġonot. Huwa bbażat fuq l-ordni tal-ġonot traversal tal-fond-ewwel siġra, li tippreserva l-informazzjoni strutturali tal-iskeletru. Figura 3 (lemin), showcasesthe effetti ta 'formati skeletru differenti u metodi upsample. Għal dan il-metodu ta 'ridimensionar, użajna l-format TSSI u l-interpolazzjoni bikubika.

Barra minn hekk, esperimentajna b'żewġ metodi ta' upscaling, li setgħu nitgħallmu waqt it-taħriġ. Aħna użajna saff lineari sempliċi applikat għal kull skeletru ċċattjat biex inżidu n-numru ta 'ġonot. Dan huwa l-aktar mod sempliċi biex tittrasforma kull iskeletru, iżda ma jikkunsidra l-ebda relazzjoni spazjali bejn il-ġogi. Biex tindirizza dan, aħna nimpjegaw ukoll sett ta 'saffi dekonvoluzzjonali 2D fuq is-sekwenza tal-iskeletru għal ridimensjonar filwaqt li tqis ukoll l-informazzjoni strutturali; għal dan il-metodu, aħna nimpjegaw ukoll il-format TSSI.

It-Tabella 1 turi r-riżultati għal kull metodu ta' ridimensjonar għall-arkitetturi kollha. Il-mudelli ġew imħarrġa u evalwati fuq CASIA-B għal 200 epoka, u aħna nuru riżultati għal mixi normali. Għall-bqija ta 'l-esperimenti tagħna, għażilna li nieħdu kampjuni fuq is-sekwenza ta' l-iskeletru b'interpolazzjoni bikubika.

Filwaqt li hemm diversi proċeduri ta' taħriġ minn qabel sorveljati minnha nfisha possibbli, għażilna approċċ ta' taħriġ minn qabel kontrastanti peress li hija l-istess proċedura għall-ħidma ta' rkupru attwali tar-rikonoxximent tal-mixi. Approċċi kontrastanti jinkoraġġixxu rappreżentazzjonijiet li jappartjenu għall-istess klassi biex ikunu qrib fl-ispazju moħbi, filwaqt li fl-istess ħin ikunu 'l bogħod minn rappreżentazzjonijiet li jappartjenu għal klassijiet differenti.

B'mod partikolari, nużaw Supervised Contrastive [45] għat-taħriġ minn qabel. It-telf tas-SupCon jopera fuq lott multi-viewed: kull kampjun fil-lott għandu verżjonijiet multipli miżjuda fih innifsu. Intwera li naturalment hija aktar robusta għall-korruzzjoni tad-data, ittaffi l-ħtieġa għal għażla bir-reqqa ta 'triplets peress li l-gradent jinkoraġġixxi t-tagħlim minn eżempji iebsa u huwa inqas sensittiv għall-iperparametri.

3.4. Żieda tad-Data

Taħriġ b'mod kuntrastattiv sorveljat minnu nnifsu b'telf ta 'SupCon jimplika l-użu ta' awmentazzjoni tad-data biex tipprovdi "veduti" multipli miżjuda tal-istess sekwenza tal-iskeletru. Iż-żidiet użati għas-sekwenzi tal-iskeletru tal-mixi tagħna huma konformi ma 'xogħlijiet oħra f'dan il-qasam [10,12, 30]. It-tkabbir ewlieni użat huwa l-ħsad temporali każwali b'tul ta' perijodu ta' T=64 frejms.

Minħabba li l-iskeletri jiġu ssorveljati għal tul ta 'żmien varjabbli, nużaw il-ħsad biex niżguraw li s-sekwenzi kollha jkollhom l-istess tul. Barra minn hekk, persuna li tkun miexja tista' tibdel id-direzzjoni u twettaq azzjonijiet oħra matul it-tul ta' żmien; konsegwentement, il-ħsad jinduċi aktar varjabbiltà għall-istess sekwenza.

Barra minn hekk, nimmodifikaw il-pass tal-mixi billi nnaqqsu jew nħaffu l-mixja. Użajna modifikaturi tal-veloċità ta' {{{0}}.5, 0.75, 1, 1.25, 1.5, 1.75, 2.0}. Dan huwa adattat mix-xogħol ta 'Wang et al. [48] ​​għal tagħlim awto-superviż tar-rappreżentazzjonijiet tal-vidjo. Barra minn hekk, il-modifikazzjoni tal-pass intużat fl-analiżi tal-mixi fil-passat [33].

Aħna nużaw ukoll random flipping bi probabbiltà ta' {{0}}.5, treġġigħ lura ta' sekwenza b'probabbiltà ta' 0.5, ħoss Gaussian addittiv għal kull ġonta b'σ=0.005, u randomdropout ta '5% tal-ġonot bi probabbiltà ta' 0.01 biex jissimulaw ġonot nieqsa mill-mudell ta 'poseestimation.

3.5. Metodi ta' Inizjalizzazzjoni

Biex tkejjel l-impatt tal-prestazzjoni ta 'pretaħriġ awto-superviżjonat fuq l-arkitetturi proposti, nesploraw tliet metodi ta' inizjalizzazzjoni differenti. It-Tabella 2 turi d-diversi settijiet ta’ dejta użati fil-letteratura. Filwaqt li CASIA-B [6] u FVG[29] huma settijiet ta' dejta kkontrollati, l-aktar użati għall-evalwazzjoni, nużaw DenseGait [12] u GREW [7] għal taħriġ minn qabel issorveljat waħdu għall-ħames arkitetturi. DenseGait u GREW huma tnejn mill-akbar databases realistiċi tal-mixja, miġbura f'ambjenti ta 'barra, li preżumibbilment fihom il-maġġoranza tal-varjazzjonijiet tal-mixja, imgieba, u kumplessitajiet preżenti fil-ħajja ta' kuljum. Aħna nagħżlu dawn is-settijiet ta' dejta biex ikollhom rappreżentazzjonijiet tal-mixi aktar ġenerali, biex jippermettu xenarji ta' sorveljanza ġenerali tal-awtentikazzjoni tal-mixi.

DenseGait Pretraining DenseGait huwa sett ta' dejta tal-mixja fuq skala kbira "fis-selvaġġ" miġbur awtomatikament minn flussi ta' sorveljanza. Fiha 217 K sekwenzi ta' skeletru ssorveljati, estratti bl-użu ta' AlphaPose [22], f'diversi ambjenti u angoli tal-kamera minn postijiet ġeografiċi multipli. Peress li DenseGait jinġabar awtomatikament, l-annotazzjonijiet tiegħu f'termini tal-identifikatur tat-traċċar huma storbjużi, u s-sett tad-dejta jista 'jkun fih sekwenzi dwar l-istess suġġett, għalkemm din hija okkorrenza rari. Madankollu, dan huwa l-każ għall-biċċa l-kbira tas-settijiet tad-dejta mhux ittikkettati fuq skala kbira li fihom kampjuni li jappartjenu għall-istess klassi semantika, li titqies bħala mhux relatata waqt it-taħriġ. Aħna nħarrġu minn qabel kull arkitettura fuq DenseGait u nużaw il-parametri mħarrġa għal aktar evalwazzjoni tal-prestazzjoni downstream tas-settijiet ta 'dejta kkontrollati.

GREW Pretraining GREW huwa sett ta' dejta ieħor ta' barra "fis-selvaġġ" iżda huwa annotat bir-reqqa b'tali mod li jkun fih suġġetti tal-mixi f'diversi jiem u tipi differenti ta' ħwejjeġ. Madankollu, biex tikkonforma mar-rekwiżiti tar-reġim sorveljat minnha nfisha, inwarrbu l-annotazzjonijiet u nittrattaw kull sekwenza tal-mixi bħala persuna separata. GREW huwa 2× iżgħar minn DenseGait, li fih 128 K sekwenzi ta 'skeletru, filwaqt li għandu wkoll kull pedestrian tracked għal tul medju iżgħar [12]. Aħna nħarrġu wkoll kull arkitettura fuq GREW u nużaw il-parametri mħarrġa għall-evalwazzjoni tal-prestazzjoni downstream.

Inizjalizzazzjoni Random Dan il-metodu ta' inizjalizzazzjoni ma jikkorrispondi għall-ebda taħriġ minn qabel (jiġifieri, taħriġ mill-bidu). Kull arkitettura hija mħarrġa b'inizjalizzazzjoni każwali tal-piż fuq is-settijiet tad-dejta downstream. Dan il-metodu huwa linja bażi biex tqabbel il-kisbiet tal-prestazzjoni permezz tat-taħriġ minn qabel.

3.6. Evalwazzjoni

Il-prestazzjoni tal-kompitu downstream hija evalwata b'żewġ modi differenti għar-rikonoxximent tal-mixi. Aħna nittestjaw direttament il-kapaċitajiet ta 'rkupru ta' arkitetturi mħarrġa minn qabel, mingħajr irfinar għal kompitu speċifiku. Dan il-metodu jikkorrispondi għal trasferiment zero-shot. Barra minn hekk, wefine-tune kull arkitettura billi tuża rata ta 'tagħlim 10 × iżgħar milli matul it-taħriġ minn qabel, b'rata ta' tagħlim progressivament iżgħar fil-bidu tan-netwerk, li tikkorrispondi għal politika ta 'decayment tar-rata ta' tagħlim bis-saffi (LLRD) [50].

L-evalwazzjoni tal-prestazzjoni downstream titwettaq fuq żewġ settijiet ta' data ta' gaitrecognition popolari: CASIA-B [6] u FVG [29]. Iż-żewġ settijiet tad-dejta jinkludu numru żgħir ta 'suġġetti taħt protokolli stretti tal-mixi, li huma kkontrollati fuq diversi fatturi ta' konfużjoni: angolu tal-kamera, ħwejjeġ, aċċessorji, u veloċità tal-mixi.

CASIA-B huwa sett tad-dejta fuq ġewwa li fih 124 suġġett maqbudin minn 11-il kamera sinkronizzata. Kull individwu jimxi fi tliet kundizzjonijiet differenti: mixi normali, tibdil tal-ħwejjeġ, u ġarr tal-basktijiet. Sa mill-ħruġ tiegħu, kien staple għall-benchmarking ta 'mudelli ta' gaitanalysis, billi huwa wieħed mis-settijiet tad-dejta l-aktar użati f'dan il-qasam. Aħna nużaw l-ewwel 62 suġġett bħala s-sett tat-taħriġ u l-bqija tat-62 għall-evalwazzjoni tal-prestazzjoni. Għal gaitrecognition, nagħżlu li nevalwaw il-prestazzjoni fuq bażi ta 'kull angolu f'issettjar "leave-one-out", li fih is-sett tal-gallerija fih l-angoli kollha tal-mixi ħlief l-angolu tas-sonda.

Il-Mixi ta' Front-View huwa sett ta' dejta popolari ieħor għar-rikonoxximent tal-mixi, li għandu 226 suġġett mixi barra taħt diversi protokolli. Differenti minn CASIA-B, FVG fih fatturi addizzjonali li jfixklu: veloċità tal-mixi, sfond imbarazz, u l-mogħdija taż-żmien (jiġifieri, xi suġġetti rreġistraw mixjiet li jkopru sena). Barra minn hekk, is-suġġetti kollha jinqabdu b'angolu tal-kamera li jħares lejn quddiem, li huwa meqjus bħala l-aktar angolu diffiċli għar-rikonoxximent tal-mixi peress li fih l-iżgħar ammont ta 'varjazzjoni tal-moviment tal-ġogi perċepita. Użajna l-ewwel 136 suġġett għat-taħriġ u l-bqija għall-evalwazzjoni tal-prestazzjoni. L-evalwazzjoni tal-prestazzjoni għar-rikonoxximent tal-mixi taderixxi mal-protokolli deskritti mill-awturi, li fihom nużaw is-sekwenza tal-mixi normali fis-sett tal-gallerija u l-kundizzjonijiet l-oħra fis-sett tas-sonda.

Għax-xenarji kollha ta' evalwazzjoni, nużaw ħsad deterministiku fiċ-ċentru tas-sekwenza tal-mixi u ma nużaw l-ebda żidiet fil-ħin tat-test.

4. Esperimenti u Riżultati

4.1. Evalwazzjoni ta' CASIA-B

Aħna nħarrġu minn qabel kull arkitettura fuq DenseGait u GREW, rispettivament, u nevalwaw il-prestazzjoni fuq CASIA-B u FVG. Fl-ewwel sett ta 'esperimenti, aħna huma interessati li ma jevalwawx il-prestazzjoni ta' CASIA-B f'xenarju ta 'rfinar wara t-taħriġ minn qabel, b'kampjuni ta' taħriġ progressivament akbar. Aħna tħarreġna kull netwerk fuq l-ewwel 62 identità, bil-varjazzjonijiet kollha tal-mixi disponibbli, u żammejna l-bqija għall-ittestjar. L-evalwazzjoni tar-rikonoxximent saret bl-użu tal-ewwel 4 kampjuni tal-mixi normali bħala s-sett tal-gallerija, u s-sett ta 'sonda restas. Figura 4 turi l-eżattezza għal kull waħda mit-tliet varjazzjonijiet tal-mixi (normali—NM, ħwejjeġ—CLm u borża tal-ġarr—BG) għal CASIA-B. Għal dan ix-xenarju, K={1, 2, 3, 5, 7, 10} ħadet kampjuni b'mod każwali għal kull suġġett, għal kull angolu, u ħarrġu l-mudell. Filwaqt li l-prestazzjoni hija relattivament simili bejn l-arkitetturi, huwa ċar li it-taħriġ minn qabel joffri spinta sinifikanti fil-prestazzjoni meta mqabbel ma 'inizjalizzazzjoni każwali, irrispettivament mill-għażla tas-sett tad-dejta ta' qabel it-taħriġ.

Barra minn hekk, SimpleViT, CrossFormer, u Twins-SVT jidhru li għandhom prestazzjoni għolja simili, filwaqt li Token2Token għadu ftit lura. Dan jissuġġerixxi li l-metodu ta 'tokenizzazzjoni progressiva użat f'Token2Token, li kien iddisinjat speċifikament għal strutturi li jixbħu immaġni, ma jaqbadx b'mod effettiv il-karatteristiċi ta' sekwenzi tal-mixja. Hemm differenza notevoli bejn is-settijiet ta 'dejta ta' qabel it-taħriġ: DenseGait jidher li joffri żieda konsistenti fil-prestazzjoni fiż-żewġ varjazzjonijiet tal-mixi (CL u BG) meta mqabbla ma 'GREW. Dan huwa indikattiv tal-fatt li DenseGait jinkludi xenarji aktar ta 'sfida u realistiċi li jippreparaw aħjar il-mudell għal kundizzjonijiet fejn il-mudell tal-mixi huwa affettwat minn fatturi esterni.

L-arkitetturi huma mħarrġa biex jimmappaw is-sekwenzi tal-mixi għal spazju inkorporat, fejn il-prossimità bejn il-punti tirrifletti x-xebh tas-sekwenzi tal-mixi korrispondenti. Dan ifisser li l-inkorporazzjonijiet ta 'sekwenzi tal-mixja li ma jidhrux mill-istess identità għandhom ikunu qrib xulxin fl-ispazju tal-inkorporazzjoni u jiffurmaw gruppi, filwaqt li l-inkorporazzjonijiet ta' identitajiet differenti għandhom ikunu aktar 'il bogħod minn xulxin u jiffurmaw raggruppamenti distinti. Dan huwa importanti peress li jippermetti lill-mudell jiġġeneralizza għal sekwenzi tal-mixi li ma tidhirx u jidentifika b'mod preċiż l-individwu billi juża approċċ tal-eqreb ġar. Fil-Figura 5, nippreżentaw ir-raggruppament għall-inkorporazzjonijiet għal kull identità fis-sett tat-test tat-tnaqqis tad-dimensjonijiet CASIA-Bafter b't-SNE [51]. Aħna użajna l-256-dimensjonali embeddingvector u pproġettajna f'żewġ dimensjonijiet. SimpleViT u CrossFormer jidhru li għandhom l-aħjar separazzjoni tal-identitajiet, irrispettivament mill-perspettiva tal-kamera.

4.2. Evalwazzjoni tal-FVG

Bl-istess mod, aħna evalwajna l-prestazzjoni ta 'kull arkitettura fuq FVG, li hija kwalitattivament differenti minn CASIA-B, peress li fiha biss angolu wieħed tal-vista. Aħna nirfinaw netwerk imħarreġ minn qabel fuq frazzjoni f={0.1, 0.2, 0.3, {{10 }}.5, 0.7, 1.0} mit-12-il ġirja perperson fis-sett tat-taħriġ. Ir-riżultati ta 'l-irfinar huma ppreżentati fil-Figura 6. Ir-riżultati jsegwu xejra simili għal dawk għal CASIA-B: SimpleViT u CrossFormer għandhom prestazzjoni għolja b'mod konsistenti, u l-użu ta' dataset ta 'pretaħriġ huwa ta' benefiċċju għal prestazzjoni downstream. Barra minn hekk, it-taħriġ minn qabel fuq DenseGait jidher li jwettaq titjib kostanti tal-preċiżjoni. Kif innutat minn Cosma u Radoi [12], DenseGait fih suġġetti ssorveljati għal tul ta 'żmien itwal, u dan jipprovdi aktar varjazzjoni fl-objettiv ta' tagħlim kuntrastattiv, simili għal ħsad bl-addoċċ għal taħriġ minn qabel issorveljat minnu għal immaġini naturali. Simili għar-riżultati fuq CASIA-B, il-varjazzjoni tal-ħwejjeġ għadha lura ħafna wara x-xenarju normali tal-mixi.

Fit-Tabella 4, aħna nippreżentaw riżultati aktar fini fuq is-sett ta 'ttestjar ta' FVG bejn mudelli mħarrġa minn qabel, simili għax-xenarju CASIA-B. Ir-riżultati tat-taħriġ minn qabel huma konsistenti: it-taħriġ minn qabel fuq DenseGait jikkorrelata direttament mat-titjib fl-eżattezza downstream. Filwaqt li t-taħriġ minn qabel fuq iż-żewġ settijiet tad-dejta jtejjeb il-prestazzjoni fix-xenarji kollha, it-titjib huwa partikolarment sinifikanti fix-xenarju CBG (Cluttered Background) li normalment jikkonsisti li jkun hemm aktar nies fil-video, simili għal dak li jkun mistenni settings mhux realistiċi. Dan it-titjib x'aktarx ġej mill-fatt li DenseGait u GREW inġabru f'ambjenti naturali u mhux ikkontrollati, li jagħmluhom aktar realistiċi u ta 'sfida, u b'hekk il-mudell jipprepara aħjar għal kundizzjonijiet simili għal dawk fix-xenarju CBG. Il-klassifikazzjoni bejn il-mudelli hija simili għal CASIA-B: SimpleViT, CrossFormer, andTwins-SVT jaqbżu b'mod konsistenti lil CaiT u Token2Token. Kemm għal CASIA-B kif ukoll għal FVG, il-CaiT għadha ftit lura wara mudelli oħra.

4.3. Test tas-Sensittività Spazjotemporali

Partikolarità waħda tat-trasformaturi tal-viżjoni hija l-għażla arbitrarja tad-dimensjonijiet tal-garża, li tista 'tkun kruċjali fil-prestazzjoni finali. Fil-każ tal-ipproċessar tal-immaġni, id-dimensjonijiet tal-garża mhumiex speċjalment importanti, minħabba l-invarjanza tat-traduzzjoni tal-kontenut semantiku f'immaġni.

Għas-sekwenzi tal-iskeletru, madankollu, id-dimensjonijiet tal-garża jikkorrispondu għal karatteristiċi speċifiċi u interpretabbli tal-input: l-għoli tal-garża jirrappreżenta l-ammont ta’ informazzjoni ġeografika li tinsab f’garża (jiġifieri, numru ta’ ġonot skeletriċi inklużi), filwaqt li d-dimensjonijiet temporali jirrappreżentaw l-ammont ta’ informazzjoni temporali inkluża ( jiġifieri, numru ta' frejms). Il-bilanċ bejn it-tnejn għandu jiġi kkunsidrat bir-reqqa fl-użu ta 'trasformaturi tal-viżjoni adattati għall-analiżi tal-mixi. Fil-Figura 7, aħna nuru heatmap li fiha kull ċellula hija l-prestazzjoni ta 'mudell imħarreġ (inizjalizzat b'mod każwali) fuq CASIA-B għal mixi normali. Aħna nħarrġu kull mudell għal 50 epoka għal paragun ġust, u biex nilvalutaw il-veloċità ta 'konverġenza f'numru fiss ta' passi.
Bnejna żewġ mapep tas-sħana, waħda għal SimpleViT u waħda għal CaiT peress li għandhom sinsla sottostanti simili, u huwa faċli li timmodifika d-daqsijiet tal-garża. L-istess proċess jista' jitwettaq għall-arkitetturi ttestjati l-oħra. Aħna nikkonkludu li daqsijiet iżgħar tal-garża jikkorrispondu għal żieda pożittiva fil-prestazzjoni tal-immudellar għas-sekwenzi tal-iskeletru, filwaqt li l-kompromess bejn id-dimensjonijiet spazjali u temporali mhuwiex kruċjali, peress li l-prestazzjoni hija simili—il-matriċi tal-mappa tas-sħana hija pjuttost simmetrika mit-tieni djagonali. Għalhekk, daqsijiet iżgħar tal-garża kwadra bħal (2, 4) madwar id-dimensjonijiet spazjali u temporali jmorru l-aħjar għal dan il-kompitu, filwaqt li daqsijiet tal-garża akbar bħal (32, 32) fihom ftit wisq informazzjoni diskriminattiva. Madankollu, daqsijiet iżgħar tal-garża sempliċement iżidu n-numru ta 'garża, li ma teħtieġx aktar qawwa tal-kompjuter. Għas-setup tagħna ta 'żewġ GPUs NVIDIA RTX 3060, aħna rrappurtajna żbalji barra mill-memorja għal xi kombinazzjonijiet ta' daqsijiet iżgħar tal-garża.

Ir-raġuni l-aktar probabbli għall-prestazzjoni mtejba b'daqsijiet ta 'garża iżgħar hija li l-arkitettura tista' taqbad aħjar il-kumplessità tal-mudell tal-mixi billi tikkomputa interazzjonijiet aktar ikkomplikati bejn irqajja. Irqajja bl-akbar daqsijiet spazjali possibbli u l-iżgħar daqsijiet temporali possibbli jistgħu jitqiesu bħala rappreżentazzjonijiet sħaħ ta 'skeletri, filwaqt li l-irqajja bl-akbar daqsijiet temporali possibbli u l-iżgħar daqsijiet spazjali possibbli jaqbdu l-intier tal-movimenti ta' ġonta individwali. Kif jista 'jiġi osservat, l-ogħla preċiżjoni tinkiseb meta d-daqs tal-garża jinkorpora bilanċ kemm ta' informazzjoni spazjali kif ukoll temporali, li jikkorrispondu għal movimenti żgħar ta 'ġonot konnessi mill-qrib.

5. Diskussjoni u Konklużjonijiet

F'dan ix-xogħol, ipprovdejna evalwazzjoni komprensiva ta 'ħames varjanti popolari ta' thevision transformer adattati għall-ipproċessar tas-sekwenza tal-iskeletru. L-isforzi tagħna huma konformi mal-avvanzi reċenti fit-tagħlim profond biex essenzjalment ngħaqqdu l-modalitajiet differenti taħt l-arkitettura tat-transformer. Aħna pproponejna metodu ta 'upsampling spazjali għal skeletri (bicubicupsampling b'format ta' skeletru TSSI) biex iżżid artifiċjalment in-numru ta 'ġonot, tali li s-sekwenza tista' tiġi kkunsmata sew mill-kodifikaturi tat-transformer. Barra minn hekk, kull arkitettura ġiet imħarrġa taħt il-paradigma tat-taħriġ ta 'awtosuperviżjoni fuq żewġ settijiet ta' dejta tal-mixi ġenerali u fuq skala kbira (jiġifieri, DenseGait u GREW), u sussegwentement evalwati fuq żewġ settijiet ta 'dejta għar-rikonoxximent tal-mixi f'ambjenti kkontrollati (jiġifieri, CASIA-B u FVG). Aħna għażilna li nadottaw il-paradigma tat-tagħlim awto-superviżjonat biex niksbu karatteristiċi ġenerali tal-mixi, mhux kostretti għal varjazzjoni partikolari tal-mixi jew perspettiva tal-kamera.

Ir-riżultati tagħna jimplikaw il-ħtieġa għal settijiet ta 'dejta ta' kwantità għolja, ta 'kwalità għolja u diversi għal mudelli ta' analiżi tal-mixi qabel it-taħriġ. Aħna wrejna li t-taħriġ minn qabel fuq DenseGait joffri titjib konsistenti fil-preċiżjoni fuq GREW, minħabba ż-żieda fid-daqs, in-numru ta 'varjazzjonijiet, u t-tul medju tal-mixi [12]. L-aktar benefiċċju sinifikanti, madankollu, huwa f'sitwazzjonijiet b'ammonti baxxi ta 'dejta ta' taħriġ disponibbli. Ir-riżultati tagħna juru li t-taħriġ mill-bidu jwassal għal riżultati ferm agħar minn irfinar anki b'ammonti modesti ta 'dejta (jiġifieri, 10 sekwenzi għal kull persuna). Bħalissa, il-biċċa l-kbira tal-approċċi tal-mixi jitwettqu fuq ġewwa f'ambjenti kkontrollati b'mod strett, li ma jistgħux jiġu ġeneralizzati għall-kumplessitajiet tal-interazzjonijiet tad-dinja reali. Settijiet ta' dejta ta' taħriġ diversi huma kruċjali biex titwettaq analiżi tal-imġieba preċiża fis-selvaġġ, speċjalment peress li l-mixi hija karatteristika bijometrika faċilment influwenzata minn fatturi ambjentali esterni, kif ukoll minn komponenti interni u emozzjonali.

L-istudju tal-ablazzjoni tagħna juri li rqajja’ spazjali-temporali iżgħar huma ta’ benefiċċju għal riżultati downstream aħjar. Din l-għarfien tinforma l-iżviluppi futuri ta 'arkitetturi għal sekwenzi ta' skeletru, li qabel kienu jiddependu fuq l-ipproċessar ta 'skeletru individwali fuq garża waħda [12].

Flimkien ma' sforzi konkorrenti biex nġibu l-analiżi tal-mixi f'ambjenti realistiċi, ix-xogħol tagħna jippermetti ulterjorment it-tranżizzjoni tal-awtentikazzjoni tal-mixi u l-analiżi tal-imġieba minn ambjenti ta 'ġewwa kkontrollati għal settings ta' barra u tad-dinja reali. Ir-rikonoxximent tal-mixi fis-selvaġġ se jsir kullimkien bl-iżviluppi ta 'sensuri intelliġenti u arkitetturi newrali effiċjenti li jipproċessaw imġieba mmexxija mill-moviment f'ħin reali.

Referenzi

1. Kyeong, S.; Kim, SM; Jung, S.; Kim, DH Analiżi tal-mudell tal-mixja u identifikazzjoni ta 'sottogrupp kliniku: Studju ta' osservazzjoni retrospettiv. Mediċina 2020, 99, e19555. [CrossRef] [PubMed]

2. Michalak, J.; Troje, NF; Fischer, J.; Vollmar, P.; Heidenreich, T.; Schulte, D. Inkarnazzjoni ta 'Dwejjaq u Depressjoni-GaitPatterns Assoċjati Mal-burdata Dysphoric. Psikosoma. Med. 2009, 71, 580–587. [CrossRef] [PubMed]

3. Willems, TM; Witvrouw, E.; De Cock, A.; De Clercq, D. Fatturi ta 'riskju relatati mal-mixja għal uġigħ fil-parti t'isfel tar-riġlejn relatat mal-eżerċizzju waqt shodrunning. Med. Sci. Eżerċizzju Sports. 2007, 39, 330–339. [CrossRef] [PubMed]

4. Singh, JP; Jain, S.; Arora, S.; Singh, UP Rikonoxximent tal-mixi bbażat fuq il-viżjoni: Stħarriġ. Aċċess IEEE 2018, 6, 70497–70527. [CrossRef]

5. Makihara, Y.; Nixon, MS; Yagi, Y. Rikonoxximent tal-mixja: Databases, rappreżentazzjonijiet, u applikazzjonijiet.... Kompjuta. Vis. Ref. Gwida 2020,1–13.

6. Yu, S.; Tan, D.; Tan, T. Qafas għall-evalwazzjoni tal-effett tal-angolu tal-vista, l-ilbies u l-kundizzjoni tal-ġarr fuq ir-rikonoxximent tal-mixi.Fi Proceedings of the 18th International Conference on Pattern Recognition (ICPR'06), Ħong Kong, iċ-Ċina, 20–24 ta’ Awwissu 2006;Volum 4, pp. 441–444.

7. Zhu, Z.; Guo, X.; Yang, T.; Huang, J.; Deng, J.; Huang, G.; Du, D.; Lu, J.; Zhou, J. Rikonoxximent tal-Mixi fis-Selvaġġ: A Benchmark. InProceedings of the IEEE International Conference on Computer Vision (ICCV), Montreal, BC, Kanada, 11–17 ta’ Ottubru 2021.

8. Chao, H.; Hu, Y.; Zhang, J.; Feng, J. Gaitset: Rigward il-mixi bħala sett għar-rikonoxximent tal-mixi cross-view. Fil-Proċedimenti tal-Konferenza AAAI dwar l-Intelliġenza Artifiċjali, Honolulu, HI, l-Istati Uniti, 27 ta’ Jannar–1 ta’ Frar 2019; Volum 33, pp. 8126–8133. 

9. Fann, C.; Peng, Y.; Cao, C.; Liu, X.; Hou, S.; Chi, J.; Huang, Y.; Li, Q.; He, Z. Gaitpart: Mudell ibbażat fuq il-parti temporali għall-gaitrecognition. Fil-Proċedimenti tal-Konferenza IEEE/CVF dwar il-Viżjoni tal-Kompjuter u r-Rikonoxximent tal-Disinn, Seattle, WA, l-Istati Uniti, 13–19 ta’ Ġunju 2020; pp. 14225–14233.

10. Cosma, A.; Radoi, IE WildGait: It-Tagħlim tar-Rappreżentazzjonijiet tal-Mexi minn Flussi ta' Sorveljanza mhux maħduma. Sensors 2021, 21, 8387. [CrossRef][PubMed]

For more information:1950477648nn@gmail.com