Y tu ôl i'r sgôr: pum model newydd, pum proffil gwahanol

Mae pum rhediad newydd ar CymraegBench wedi newid trefn y sgorfwrdd. Mae GPT-6.1 Sol bellach yn ail, ond mae prawf ategol yn dangos nad yw sgôr gyffredinol uchel yn gwarantu dilyn cyfarwyddiadau'n gyson.

Pum peiriant haniaethol yn mesur yr un rhuban Cymraeg, a llwybr ochr yn dechrau rhaflo — Gall sgôr gyffredinol uchel guddio gwendid penodol, megis methiant i gadw at y ffynonellau a ganiateir.

Pum rhediad, yr un prawf

Ar 14 a 15 Hydref, cwblhaodd pum model newydd yr un sampl graidd yng NghymraegBench: hyd at 100 o achosion ym mhob un o 19 o setiau, gan roi 2,053 o ymatebion gan bob model. Ni wrthodwyd unrhyw achos ac ni chafwyd unrhyw allbwn annilys yn y pum rhediad.

Dyma'r canlyniadau yn nhrefn y sgorfwrdd byw ar adeg y sgan:

Safle	Model	Sgôr	Rhesymu	Cymraeg ymarferol	BLEU
2	GPT-6.1 Sol	89.05	88.11	90.00	72.16
4	Gemini 4 Argon	87.41	90.15	84.67	73.66
5	Muse Wonder	86.23	86.68	85.78	71.41
9	Grok 4.7	82.34	84.90	79.78	69.71
24	Mistral Large 4	59.93	66.08	53.78	59.28

Dim ond 1.08 pwynt sydd rhwng GPT-6.1 Sol a GPT-6 Astra ar y brig. Mae Gemini 4 Argon yn arbennig o gryf yn y prawf rhesymu, ac ef sydd â'r sgôr BLEU uchaf am gyfieithu o blith y pump. Mae Muse Wonder a Grok 4.7 hefyd yn gystadleuol; mae'r bwlch rhyngddynt a Mistral Large 4 yn llawer mwy.

Mae hynny'n ddefnyddiol, ond nid dyna'r stori gyfan.

Pan nad yw safle uchel yn golygu dilyn cyfarwyddiadau'n gyson

Mae Archwiliad Iaith CCC yn mesur tasgau mwy penodol: cywiro ac esbonio, priod-ddulliau, termau, crynhoi a dyfynnu, cyfeiriadau, a dilyn cyfarwyddiadau ynghylch ffynonellau yn Gymraeg ac yn Saesneg.

Mae proffil GPT-6.1 Sol yn anwastad yma. Ei sgôr gyfartalog ar draws y saith is-set yw 84.20. Cafodd 96.88 am gywiro, ond 57.81 am esbonio; yn y ddau brawf ar ddefnyddio ffynonellau, cafodd 64.17 pan oedd y cyfarwyddyd yn Gymraeg a 56.67 pan oedd yn Saesneg. Nid diffyg deall Cymraeg syml sydd wrth wraidd hyn, gan fod ei ganlyniadau eraill yn gryf. Yn hytrach, mae'n fethiant penodol i gadw at y ffiniau tystiolaeth a osodwyd.

Mae Gemini 4 Argon yn newid y darlun. Er ei fod 1.64 pwynt y tu ôl i GPT-6.1 Sol yn y brif sgôr, ei sgôr gyfartalog yn archwiliad CCC yw 96.45, gyda 100 yn y ddau brawf dilyn cyfarwyddiadau. Mae Grok 4.7 hefyd yn cyrraedd 90.17 yn archwiliad CCC, er ei fod yn nawfed ar y brif restr.

Mae'r gwrthwyneb yn wir am Muse Wonder: 100 am dermau a 90.16 am gyfeiriadau, ond 65.00 a 73.33 am ddilyn cyfarwyddiadau ynghylch ffynonellau. Mae Mistral Large 4 yn cyrraedd 96.07 am grynhoi a dyfynnu, ond dim ond 53.13 am dermau.

Felly nid oes un “model gorau” ar gyfer pob defnydd. Mae'r drefn yn dibynnu ar y dasg, a gall cyfartaledd guddio'r union wendid sy'n bwysig mewn penderfyniad go iawn.

A fyddai arfarniad gyda chymorth AI yn fwy niwtral?

Gallai fod yn fwy cyson mewn ystyr gul. Pe bai pob cais yn cael ei asesu yn ôl yr un rwbric, gan ddefnyddio'r un dystiolaeth a'r un camau gwirio, gallai system helpu i gofnodi pam y rhoddwyd pob sgôr. Gallai hefyd dynnu sylw at anghysondeb rhwng dau arfarnwr dynol.

Ond nid yw cysondeb yn gyfystyr â niwtraliaeth. Gall model ailadrodd yr un rhagfarn yn gyson; gall fethu â dilyn cyfarwyddyd ynghylch ffynonellau; a gall esboniad perswadiol guddio dehongliad gwael. Nid yw'r profion hyn yn mesur tegwch rhwng grwpiau o ymgeiswyr, nac yn profi bod unrhyw un o'r modelau'n niwtral.

Y dull mwy diogel yw defnyddio AI mewn ffordd gyfyngedig i gynorthwyo: tynnu tystiolaeth o'r deunydd a ganiateir, cysylltu'r dystiolaeth â rwbric cyhoeddus, dangos unrhyw ansicrwydd, a chadw cofnod er mwyn i berson allu gwirio a herio'r canlyniad. Ni ddylai'r model osod meini prawf cudd na gwneud y penderfyniad terfynol ar ei ben ei hun.

Mae hyn yn cyd-fynd â'r terfyn a osododd Cyngor Celfyddydau Cymru yn y polisi a drafodwyd gennym yr wythnos diwethaf: ni ddefnyddir AI i benderfynu ar geisiadau ariannu nac i'w gwerthuso. Gall AI lleol leihau rhai pryderon am drosglwyddo data i gwmni allanol, ond nid yw'n dileu'r angen am rwbric, profion Cymraeg, cofnod archwilio, goruchwyliaeth ddynol nac hawl i apelio.

Gall iaith y prawf newid penderfyniad y system ddiogelu

Mae dau ragargraff a gyhoeddwyd yn hwyr ar 15 Hydref yn ychwanegu rhybudd pwysig. Yn LinguaGuardBench, cadwodd yr ymchwilwyr y galwadau ar offer, yr arsylwadau a'r labeli ar gyfer 1,220 o gamau yn union yr un fath, gan gyfieithu cais y defnyddiwr yn unig i Almaeneg, Ffrangeg, Tyrceg, Swahili ac Amhareg. Ar draws 19 o systemau diogelu, roedd llawer o'r modelau llai yn newid eu dyfarniad yn amlach po brinnach oedd yr iaith yn y data. Ymhlith naw system o dan 13 biliwn o baramedrau, cododd y gyfradd newid wedi'i haddasu o 1.5 pwynt canran yn Ffrangeg i 4.4 yn Amhareg.

Mae astudiaeth arall mewn pum iaith Indiaidd yn dangos bod y ffordd y caiff y prawf ei gyflwyno yn bwysig hefyd. Pan ddywedwyd yn benodol wrth bedwar model eu bod mewn gwerthusiad diogelwch, cododd y gyfradd gwrthod ceisiadau niweidiol 14.4 pwynt canran ar gyfartaledd yn yr ieithoedd Indiaidd. Ond cododd y gyfradd gwrthod ceisiadau diniwed hefyd, o 6.9% i 11.3%.

Nid profion ar y Gymraeg yw'r rhain. Ond maent yn awgrymu dau arbrawf clir i Gymru: newid iaith y cais yn unig wrth brofi'r system ddiogelu, a chymharu defnydd arferol â chyfarwyddyd sy'n dweud wrth y model ei fod mewn prawf. Ni ddylid cymryd bod mesur diogelwch Saesneg yn trosglwyddo'n daclus i'r Gymraeg.

Gwers debyg o Fafaria: profi'r fersiwn sy'n rhedeg mewn gwirionedd

Mae rhagargraff newydd am Fafareg, Almaeneg safonol a Saesneg, a gyflwynwyd ar 13 Hydref, yn cynnig rhybudd ymarferol arall. Cymharodd yr ymchwilwyr 14 model pwysau agored mewn BF16, GPTQ wyth did a dau fformat pedwar did, gan ddefnyddio'r un set o 206 cwestiwn wedi'u halinio.

Ar gyfartaledd roedd GPTQ wyth did bron yn union yr un fath â BF16: gwahaniaeth o +0.03 pwynt. Collodd y ddau fformat pedwar did tua 1.4–1.5 pwynt, ond newidiodd 11.9–16.0% o'r penderfyniadau. Nid Fafareg oedd yr iaith a ddioddefodd fwyaf bob tro. Roedd y canlyniad yn dibynnu ar y model, y dull meintioli, yr iaith a ddefnyddiwyd i raddnodi, a'r math o brawf.

Mae hynny'n ddatblygiad gwirioneddol ers ein herthygl gynharach am y meincnod BAVGROUND. Y wers i'r Gymraeg yw profi'r arteffact terfynol—y fersiwn pedwar neu wyth did ar y ddyfais—yn hytrach na dyfynnu sgôr y model rhiant llawn. Dylai'r prawf gynnwys data graddnodi Cymraeg, Saesneg a chymysg.

Tonffurfiau o gymunedau iaith yn mynd drwy gatiau acwstig i offeryn gwrando modiwlaidd — Mae'r biblinell lais gyfan yn rhan o'r prawf: y sain, y trawsgrifiad, y cyfarwyddyd a'r ateb terfynol.

Pan fo'r llais yn ychwanegu bwlch arall

Mae SEA-HELM Audio, rhagargraff a gyflwynwyd ar 14 Hydref, yn cymharu perfformiad ar yr un tasgau mewn testun ac mewn lleferydd wedi'i syntheseiddio. Ar ôl prosesu'r lleferydd drwy system adnabod lleferydd cyn ei drosglwyddo i fodel iaith, gostyngodd cywirdeb ar gwestiynau amlddewis 9.00–18.50 pwynt. Ar dasgau dilyn cyfarwyddiadau roedd y golled yn 20.00–42.86 pwynt; collodd Tamil 40 pwynt yn y ddwy biblinell a brofwyd.

Nid yw'r papur yn profi'r Gymraeg, ac mae defnyddio llais synthetig yn gyfyngiad. Eto i gyd, mae'r dull yn uniongyrchol berthnasol. Ni all sgôr testun ragweld dibynadwyedd cynorthwyydd llais Cymraeg. Mae angen tri rhif: perfformiad ar y testun gwreiddiol, cywirdeb y trawsgrifiad, a pherfformiad o'r dechrau i'r diwedd.

Mae Nufo, meincnod Ewe newydd, yn dangos sut i adeiladu'r prawf llais yn fwy gofalus. Cyfunodd yr awduron adnoddau presennol i greu corpws 174.82 awr o hyd, gan ddefnyddio hashiau o'r sain a thestun wedi'i normaleiddio i ddileu gorgyffwrdd rhwng y data hyfforddi a'r data profi. Cafodd Whisper-medium gyfradd gwall geiriau o 37.98%; gostyngodd hynny i 30.95% ar ôl tynnu atalnodi a marciau cyfunol. Mae'r gwahaniaeth yn ein hatgoffa bod orgraff a'r dull sgorio yn rhan o'r canlyniad, nid manylion dibwys i'w trin ar ôl y prawf.

Peidio â chreu iaith nad yw neb yn ei siarad

Mae prosiect cyfieithu Masewalkopa, amrywogaeth o Nawatl a siaredir yn Santa Ana Tlacotenco, yn cynnig gwers fwy sylfaenol am ddata. Mae'r awduron yn rhybuddio bod cyfuno testun o amrywogaethau brodorol perthynol er mwyn cynyddu maint corpws yn gallu creu cywair artiffisial nad yw'n perthyn i unrhyw gymuned benodol.

Gan ddechrau gyda 70,000 o barau aml-amrywogaeth, defnyddiwyd 2,665 o barau Masewalkopa a 192 o dargedau wedi'u trawsgrifio gan henuriaid i arbenigo model mT5-large ar gyfer yr amrywogaeth. Drwy ddefnyddio dadansoddwr morffolegol, gostyngwyd cyfran y ffurfiau anhysbys o 82.0% i 19.9%, a chyrhaeddodd y model 58.20 a 57.90 chrF++ yn y ddau gyfeiriad prawf. Ar ôl meintioli int8, disgynnodd yr amser prosesu ar CPU o 137.5 eiliad i 1.8–2.6 eiliad fesul cais.

I'r Gymraeg, nid dadl yn erbyn rhannu data yw hon. Mae'n ddadl o blaid enwi'r amrywogaeth, cadw tarddiad y testun, cynnwys y gymuned darged, a phrofi a yw'r allbwn yn swnio fel iaith pobl go iawn—nid cyfartaledd cyfleus o bob corpws sydd wrth law.

Adnodd mawr, ond cwestiynau hawliau mawr hefyd

Mae ELARSpeech yn hawlio 30,202 awr o recordiadau llais mewn 675 o ieithoedd llai eu hadnoddau, wedi'u curadu o'r Endangered Languages Archive. Mae'r awduron yn dweud eu bod yn rhyddhau'r data, modelau ASR a TTS, a'r biblinell adeiladu.

Gallai hynny fod yn ddatblygiad sylweddol iawn. Ond ar adeg y sgan nid oedd modd cadarnhau trwydded gyffredinol y set, telerau pob recordiad, na faint—os o gwbl—o Gymraeg sydd ynddi. Nid yw “ar gael i ymchwil” o reidrwydd yn golygu bod pob cymuned wedi awdurdodi hyfforddi model cynhyrchiol. Cyn hyrwyddo ELARSpeech fel patrwm i Gymru, mae angen archwilio caniatâd, mynediad, priodoli a llywodraethu fesul casgliad.

Y casgliad

Mae'r pum rhediad Cymraeg yn rhoi mwy o fodelau i'w cymharu, ond maent hefyd yn dangos bod y dewis yn dibynnu ar y dasg. GPT-6.1 Sol sydd â'r sgôr gyffredinol uchaf o'r pump. Gemini 4 Argon sydd â'r proffil CCC mwyaf cyson. Mae Grok 4.7 yn dangos y gall model sy'n is ar y brif restr berfformio'n well wrth ddilyn rhai cyfarwyddiadau ynghylch tystiolaeth. Mae Muse Wonder a Mistral Large 4 yn dangos y gall cryfder mewn un maes gyd-fynd â gwendid mewn un arall.

Mae'r ymchwil gymharol yn atgyfnerthu'r un egwyddor: profwch yr union fersiwn, y biblinell gyflawn a'r union ymddygiad sydd dan sylw. Os defnyddir AI i helpu gydag arfarniad, dylai'r gwaith fod yn ailadroddadwy, yn weladwy ac yn agored i her. Nid yw safle uchel—na'r ffaith bod y model yn rhedeg yn lleol—yn gwneud penderfyniad yn niwtral.

Nodyn amser: cwblhawyd y sgan terfynol am 09:01 BST ar 16 Hydref. Bydd unrhyw ddeunydd a gyhoeddir yn ddiweddarach ar 16 Hydref yn cael ei gynnwys yn y sgan nesaf.