Methodoleg
Er mwyn mesur yn deg, rhaid cyflwyno canlyniadau clir ac egluro'r dull fel y gall eraill ailadrodd y profion. Dyma sut rydym yn gwneud hynny.
Tair lefel o werthuso
Lefel 1 — meincnodau safonol y gymuned
Rydym yn defnyddio'r setiau profion academaidd sydd eisoes ar gael, yn union fel y'u cyhoeddwyd: BritEval (arc_welsh, piqa_welsh, truthfulqa_welsh ac xnli_brit — UCL); mgsm_cy a COPA-cy (techiaith, Bangor); a phecyn llm-evals-cy techiaith, sy'n cynnwys deg prawf ar eirfa, gramadeg, treigladau enwau lleoedd, cofrestrau, cyfieithu deddfwriaeth a rhagor. Ceir manylion pob set yn y catalog.
Lefel 2 — protocol profi cynghanedd Bangor AI
Dyma gyfraniad gwreiddiol Bangor AI, a ddatblygwyd dros flwyddyn o weld sut mae modelau'n dod o hyd i lwybrau byr yn y profion. Storfa'r gwiriwr yw BangorAI/cynghanedd:
- Y dasg: cyfansoddi llinell saith sillaf sy'n cynnwys cynghanedd ac yn ymateb i destun penodol.
- Y protocol: 40 o destunau cudd, nad ydynt yn debyg i'r deunydd hyfforddi; pum cynnig ar bob testun; ac un tro yn unig, heb adborth nac awgrymiadau odli. Defnyddir hedyn sefydlog.
- Y beirniad: peiriant sy'n dilyn rheolau — nid model arall — sy'n gwirio a oes ym mhob llinell gynghanedd groes, draws, sain neu lusg, ac sy'n enwi'r gwallau (twyll gynghanedd, cytseiniaid trwm ac ysgafn, gormod o odl, ac ati). Sut mae'n gweithio →
- Y meini prawf, pob un yn fwy caeth na'r un o'i flaen:
- dilys, 7 sillaf: llinell ddilys sy'n cynnwys saith sillaf yn union;
- newydd: llinell nad yw'n ymddangos air am air yn y data hyfforddi hysbys (caiff ei chymharu â chiplun o'r data pan hyfforddwyd y model, gan fod y data hyfforddi'n newid dros amser);
- glân a newydd: llinell newydd lle mae pob gair yn air Cymraeg dilys, yn hytrach na ffug-air y gall y system ffonolegol ei ynganu ond na cheir mewn geiriadur;
- addas: llinell y mae beirniad annibynnol — nid y gwiriwr — yn barnu ei bod yn ymwneud yn wirioneddol â'r testun. Llinell ddilys nad yw'n berthnasol i'r thema yw'r ffordd fwyaf cyffredin o sgorio heb ateb y dasg.
Lefel 3 — y cystadlaethau blynyddol
Dyma'r prawf eithaf: gwaith cyfan — awdl, pryddest, cyfrol neu ddrama — dan reolau tryloywder llawn. Caiff ei wirio'n awtomatig yn gyntaf, ac yna ei ddarllen gan dri beirniad. Dyma'r man lle mae «gallu yn y Gymraeg» yn cael ei brofi drwy waith creadigol cyflawn.
Profi technoleg llais
Mae adnabod Cymraeg llafar a chynhyrchu llais Cymraeg yn galw am brotocolau gwahanol i'r rhai a ddefnyddir ar gyfer testun. Ar gyfer adnabod lleferydd, byddwn yn cofnodi cyfradd gwallau geiriau ac yn profi enwau lleoedd, acenion a chyfnewid cod. Ar gyfer testun-i-leferydd, bydd gwrandawyr yn asesu pa mor eglur, naturiol a chywir yw'r llais. Ceir y cynllun llawn a'r offer ar y dudalen Llais.
Sut rydym yn atal modelau rhag osgoi'r dasg
Daeth pob un o'r patrymau hyn i'r amlwg yn ystod arbrofion Bangor AI:
| Y ffordd o osgoi'r dasg | Enghraifft go iawn | Sut rydym yn ei hatal |
|---|---|---|
| Odli gair â'i ffurf dreigledig | teulu ~ deulu (chwe gwaith mewn un gerdd «ddilys») | Cymharu ffurfiau treigledig â'r gair sylfaenol, ac enwi'r gwall |
| Bathu ffug-eiriau y gellir eu hynganu | gwinoth, rhyhwyt, hudod, llonells | Gwirio'r eirfa: rhaid i bob gair fod mewn geiriadur |
| Ailadrodd llinellau wedi'u cofio | 89.5% «dilys» — a thair llinell unigryw | Gwirio a yw'r llinellau'n newydd drwy eu cymharu â chiplun o'r data hyfforddi |
| Llinellau dilys nad ydynt yn berthnasol i'r thema | Yr un «hedd yr heddiw» ar gyfer pob testun | Mesur addasrwydd gan feirniad annibynnol |
Egwyddorion adrodd
- Nodi ffynhonnell pob rhif. Os nad yw rhywbeth wedi'i fesur, «heb ei fesur eto» yw'r cofnod. Yn y dogfennau rydym wedi'u hadolygu, mae llawer o labordai mawr heb gyhoeddi mesur Cymraeg.
- Cyhoeddi'r methiannau. Gall arbrawf sy'n methu ddweud mwy wrthym nag un sy'n llwyddo; caiff y ddau eu cofnodi.
- Ailadroddadwyedd. Cyhoeddir y protocolau'n llawn er mwyn i unrhyw un allu ailadrodd y profion — a'n cywiro.