Pan alwodd y beirniaid ddysgwr yn AI

Honiad, gwadiad a chwestiwn heb ei ateb yn yr Eisteddfod — a gwersi o ymchwil i Iddew-Almaeneg a Hindi am ddata, tystiolaeth a phrofi AI mewn ieithoedd llai.

Darlun papur o awdures yn dal llawysgrif ac yn wynebu ffurf beiriant geometrig — Mae'r ddadl am *Y Dderwen* bellach yn cynnwys honiad clir, gwadiad clir — a dim prawf cyhoeddus sy'n setlo'r mater.

Mewn tridiau, newidiodd stori AI fwyaf yr wythnos yn y Gymraeg yn llwyr. Dechreuodd gyda beirniaid yn dweud eu bod yn amau mai peiriant oedd wedi creu nofel. Yna daeth yr awdures ymlaen: dysgwr Cymraeg, awdur cyhoeddedig yn Saesneg, a dynes a ddywedodd yn blaen nad oedd hi wedi defnyddio unrhyw AI.

Romy Wood yw'r awdures. Y Dderwen yw'r nofel. Lithodora oedd y ffugenw ar y gwaith yng nghystadleuaeth Gwobr Goffa Daniel Owen. “Nes i jesd sgwennu nofel,” meddai Wood wrth Newyddion S4C ar 6 Awst. “Dwi ddim wedi defnyddio unrhyw AI.”

Roedd Wood wedi dechrau dysgu Cymraeg bedair blynedd ynghynt. Dywedodd ei bod wedi disgwyl i'w hiaith swnio'n od, yn ddarniog neu'n llai rhugl i siaradwyr mamiaith. Nid oedd wedi disgwyl cael ei chyhuddo o fod yn AI ar lwyfan y Pafiliwn.

Ni newidiodd y beirniaid eu barn. Dywedodd Meinir Wyn Edwards, Lleucu Roberts a Llwyd Owen eu bod yn ddrwg eu calon am beri gofid, ond eu bod yn unfarn mai “rhyw fath o ddeallusrwydd artiffisial” oedd wedi creu'r gwaith. Dywedodd yr Eisteddfod fod y beirniaid yn annibynnol, ond y dylai adborth fod yn barchus ac adeiladol. Y diwrnod wedyn, dywedodd Llywydd Llys yr Eisteddfod, Nic Parry, fod y beirniaid wedi “cael cam”.

Felly dyma'r sefyllfa: mae gennym honiad difrifol, gwadiad uniongyrchol, barn unfrydol tri beirniad ac ymateb sefydliadol. Yr hyn nad oes gennym yw prawf cyhoeddus sy'n gallu dweud pwy sy'n iawn.

Yr hyn sy'n hysbys — a'r hyn nad yw

Mae rhai ffeithiau'n glir. Cafodd naw nofel eu cyflwyno. Daeth Y Dderwen yn olaf. Enillodd Rebecca Thomas gyda Ynys Gwales. Mae rheolau'r Eisteddfod yn gwahardd defnyddio AI i greu cyfansoddiad oni bai bod cystadleuaeth yn dweud fel arall. Dywedodd y beirniaid fod mynegiant Y Dderwen yn garbwl ac yn wallus, ac fe wnaethant amau mai AI oedd yn gyfrifol, yn ôl adroddiad cyntaf Newyddion S4C ar 4 Awst.

Ond ni chyhoeddwyd enw model, cofnod o gyfarwyddiadau, hanes golygu'r ddogfen, sgôr synhwyrydd, dull fforensig na chyfaddefiad. Ni chyhoeddwyd y llawysgrif i eraill ei harchwilio. Nid yw gwadiad Wood, ar ei ben ei hun, yn brawf technegol nad oedd unrhyw offeryn AI yn rhan o'r broses. Nid yw barn y beirniaid, er mor bendant, yn brawf technegol mai AI oedd.

Mae'r gwahaniaeth hwnnw'n ganolog. Dylid galw'r honiad yn honiad a'r gwadiad yn wadiad. Ni ddylid troi'r naill na'r llall yn ffaith gadarn am nad oes ateb mwy cyfleus.

Pryd y gall ysgrifennu dysgwr edrych fel gwaith peiriant?

Mae'r achos yn codi cwestiwn anghysurus i ddiwylliant Cymraeg. Beth sy'n digwydd pan fo ysgrifennu rhywun sy'n dysgu'r iaith yn edrych, i ddarllenydd profiadol, fel cyfieithiad peirianyddol neu destun wedi'i gynhyrchu?

Gall dysgwr drosglwyddo trefn geiriau, idiom neu rythm o iaith arall. Gall dreigladau fod yn anghyson. Gall brawddeg fod yn ddealladwy ond yn annaturiol. Mae modelau hefyd yn gwneud y pethau hyn — ond nid modelau yn unig sy'n eu gwneud.

Cododd Rhys Llwyd yr union amheuaeth ar X. Roedd yn gwrthwynebu defnyddio AI ar gyfer rhyddiaith greadigol, ond yn dadlau bod AI modern yn gallu cynhyrchu Cymraeg cywir a darllenadwy. Os oedd y testun dan sylw mor garbwl, nid oedd hynny ynddo'i hun yn profi mai AI — neu AI yn unig — oedd yn gyfrifol.

Gall testun gwael fod yn waith person. Gall testun rhugl fod yn waith peiriant. Gall y ddau fod yn gymysgedd o waith dynol, cyfieithu, golygu, gwirio sillafu, dictadu ac ailysgrifennu. Mae ansawdd arwynebol yn dystiolaeth am deilyngdod llenyddol; nid yw'n llofnod digidol dibynadwy o awduraeth.

Nid yw rhuglder yn feistrolaeth

Mae ymchwil newydd yr wythnos hon yn dangos pam. Cyhoeddwyd M-GATE ar arXiv ar 4 Awst: meincnod gramadeg, cyfieithu ac effeithlonrwydd tocynydd ar draws 30 o ieithoedd. Profodd dros 50 o fodelau mewn mwy nag 80 o gyfluniadau.

Ar y prawf gramadeg anodd, dim ond 0.36 oedd MCC y model gorau. Nid oedd 29 o'r 53 model yn gwneud yn well na dyfalu ar hap, a'r tuedd oedd derbyn brawddegau anramadegol. Eto roedd yr un teuluoedd o fodelau'n gallu cyfieithu'n llawer mwy argyhoeddiadol.

Nid yw hynny'n dweud dim penodol am awdur Y Dderwen. Mae'n dweud rhywbeth cyffredinol sy'n bwysig: gall model greu testun rhugl heb feistroli strwythur yr iaith. Ac i'r gwrthwyneb, gall person sy'n dysgu feddu ar syniad creadigol go iawn cyn meistroli pob patrwm gramadegol.

Y gymhariaeth agosaf: Iddew-Almaeneg

Daeth cymhariaeth fwy uniongyrchol ar 6 Awst. Cyhoeddodd tîm ymchwil MameLoshnLM, y model cynhyrchiol cyntaf ag 8 biliwn o baramedrau a adeiladwyd yn benodol ar gyfer Yiddish. Mae Yiddish, fel y Gymraeg, yn iaith â thraddodiad llenyddol cyfoethog ond presenoldeb digidol cymharol gyfyngedig.

Ni wnaeth y tîm gymryd yn ganiataol fod popeth oedd â label Yiddish mewn cronfa we yn Yiddish da. Archwiliwyd adran Yiddish mC4. Dim ond 42.2% o'r dogfennau a ddosbarthwyd ganddynt fel Yiddish dilys o ffynonellau brodorol hysbys. Roedd o leiaf 29.8% yn ymddangos fel cyfieithu peirianyddol, a 21.9% yn Hebraeg a oedd wedi'i gamadnabod.

Yna adeiladwyd Oytser: 915 miliwn o eiriau, neu 5.28 biliwn o docynnau, o lyfrau, fforymau, newyddion, Wikipedia a ffynonellau eraill. Mae'r cymysgedd yn bwysig. Nid iaith we safonol yn unig sydd yno, ond llenyddiaeth, trafodaeth gyfoes a sawl cywair.

Adeiladwyd Kashes hefyd, meincnod naw tasg sy'n profi cyfieithu, tagio rhannau ymadrodd, lemmateiddio, dosrannu, trawslythrennu, adnabod endidau a dealltwriaeth. Ar draws 14 o ganlyniadau gwerthuso, cafodd MameLoshnLM gyfartaledd o 62.6, o'i gymharu â 56.8 ar gyfer ei fodel sylfaen Llama 3.1 8B. Ar gyfieithu Saesneg i Yiddish roedd fwy nag 11 pwynt COMET o flaen y cystadleuydd agosaf.

Mae'r pwysau'r model ar gael dan CC BY-NC 4.0. Nid yw hynny'n golygu bod pob darn o'r data hyfforddi ar gael yn rhydd: defnyddiwyd cymysgedd o ddeunydd parth cyhoeddus, trwyddedig, ymchwil-anfasnachol a chytundebau penodol. Roedd y meincnod yn dal wedi'i nodi fel rhywbeth oedd ar ddod yn y storfa pan wnaed y gwiriad.

Dyma'r wers i'r Gymraeg: cyn adeiladu model, archwiliwch y data sy'n honni ei fod yn Gymraeg. Faint sy'n Gymraeg frodorol? Faint sy'n gyfieithu? Faint sy'n iaith arall? Pa gyweiriau, tafodieithoedd a lleisiau sydd ar goll? Ac wrth fesur y model, profwch yr hyn sy'n gwneud y Gymraeg yn Gymraeg — nid cyfieithiad o brawf Saesneg yn unig.

Darlun papur o ymchwilwyr cymunedol yn gwrando ar donnau llais ac yn trefnu darnau data tuag at rwydwaith agored — Nid maint y gronfa na maint y model yw'r unig gwestiwn: pwy sydd yn y data, beth sy'n cael ei brofi, a sut mae'r system gyfan yn gweithio?

O ddata i wasanaeth: y prawf Hindi

Mae FormBharo, a gyhoeddwyd hefyd ar 6 Awst, yn dangos ochr arall y broblem. Asiant llais Hindi yw hwn sy'n llenwi ffurflen dros alwad ffôn ar gyfer gwasanaethau iechyd mamau a phlant. Mae'n cyfuno modelau iaith â rheolau pendant i wirio gwybodaeth a rheoli llif y sgwrs.

Crëwyd 3,760 o brofion aml-dro ar draws 960 o alwadau efelychiadol gan ddefnyddio sain Hindi wedi'i recordio gan bobl. Pan gafodd y modelau drawsgrifiadau cywir, roedd rhai rhannau o'r system yn gweithio'n rhagorol: cyrhaeddodd GPT-5.5 gywirdeb o 99.8% ar echdynnu gwybodaeth fesul tro. Ond nid hwnnw oedd y model gorau ar lenwi'r ffurflen gyfan.

Pan ddisodlwyd y trawsgrifiadau cywir â thrawsgrifiadau gwallus o leferydd go iawn, disgynnodd y gyfradd llwyddo wrth lenwi'r ffurflen hyd at tua 41 pwynt canran. Gall gwall clywed droi'n wall echdynnu, wedyn yn gwestiwn anghywir, wedyn yn ddata anghywir. Neu gall rheol dda ddal y gwall cyn iddo ledaenu.

Mae hyn yn uniongyrchol berthnasol i wasanaethau llais Cymraeg. Nid yw sgôr adnabod lleferydd ar ei phen ei hun yn dweud a all system gwblhau tasg. Mae angen profi sŵn ffôn, enwau lleoedd, acenion a thafodieithoedd, newid rhwng Cymraeg a Saesneg, gofyn am eglurhad a throsglwyddo at berson.

Miliynau o gofnodion, ychydig o leisiau

Roedd trydedd gymhariaeth yn ymwneud â data llais. Cyhoeddodd Hypa Intelligence ddadansoddiad o Hypa-Voices ar 3 Awst: 2,979,073 o gofnodion sain-testun mewn 22 o ieithoedd, gan gynnwys Ibibio, Tiv, Efik, Yoruba, Hausa ac Igbo.

Mae'r rhif mawr yn drawiadol. Ond dywedodd yr archwiliad fod 71.8% o'r gronfa'n gyfieithu. Roedd y 10% uchaf o'r siaradwyr a adnabyddwyd yn cyfrif am 59.6% o'r oriau sain, a'r 25% uchaf am 89.9%. Mewn geiriau eraill, nid yw miliynau o resi o reidrwydd yn golygu miliynau o leisiau amrywiol.

Ni chyhoeddodd yr archwiliad sgôr ASR neu TTS. Nid yw maint y data'n profi bod model yn deall y bobl sydd â llai o gynrychiolaeth yn y data. Dylai cerdyn data Cymraeg ddangos tafodiaith, oedran, caniatâd, tarddiad, ailadrodd, faint o'r data sy'n dod gan bob siaradwr a sut y gwahanwyd y data hyfforddi a'r data prawf fel nad yw'r un llais yn y ddau.

Beth ddylai'r Eisteddfod ei wneud?

Mae'r ddadl am Y Dderwen yn dangos nad yw gwaharddiad un llinell yn ddigon. Mae angen i gystadleuaeth greadigol ddweud beth mae “defnyddio AI” yn ei olygu.

A yw gwirio sillafu yn ganiataol? Beth am gywiro gramadeg? Cyfieithu? Dictadu llais-i-destun? Gofyn am awgrymiadau plot? Ailysgrifennu paragraff? Cynhyrchu'r gwaith cyfan? Offer hygyrchedd?

Mae angen proses hefyd. Os oes amheuaeth, dylid dweud yn union beth yw'r amheuaeth, gofyn i'r cystadleuydd ymateb, ystyried tystiolaeth o'r broses ysgrifennu, osgoi dibynnu ar un synhwyrydd anhysbys, a chynnig apêl. Dylid beirniadu safon y gwaith yn onest, ond peidio â chyflwyno tarddiad y gwaith fel ffaith heb sail ddigonol.

Nid yw hynny'n golygu bod yn rhaid derbyn pob gwadiad. Nid yw chwaith yn golygu y dylid anwybyddu barn broffesiynol tri beirniad. Mae'n golygu bod awduraeth, ansawdd llenyddol a pharch at gystadleuydd yn dri chwestiwn gwahanol.

Diwedd yr wythnos

Ar ddiwedd yr wythnos, nid ydym yn gwybod o'r dystiolaeth gyhoeddus a ddefnyddiwyd AI i greu Y Dderwen. Gwyddom fod Romy Wood yn gwadu hynny. Gwyddom fod y tri beirniad yn cynnal eu barn. Gwyddom fod yr Eisteddfod yn amddiffyn annibyniaeth y beirniaid ac yn gofyn am adborth parchus. Ac gwyddom fod Llywydd y Llys wedi amddiffyn y panel.

Mae'r ymchwil ryngwladol yn rhoi ffordd well o feddwl am y mater. Mae model Yiddish yn dweud: archwiliwch darddiad a dilysrwydd y data. Mae'r prawf Hindi yn dweud: profwch y system gyfan, nid y cydrannau unigol mewn amodau delfrydol yn unig. Mae M-GATE yn dweud: peidiwch â chamgymryd rhuglder am feistrolaeth. Mae Hypa-Voices yn dweud: peidiwch â chamgymryd maint am amrywiaeth.

Ac mae stori'r Eisteddfod yn ychwanegu'r wers fwyaf dynol: peidiwch â chamgymryd amheuaeth am brawf — yn enwedig pan fo llais dysgwr yn y fantol.