Mwy na siarad Cymraeg: data, cyfraith a phrawf go iawn

Mae rhaglen newydd ar gyfer cyfraith ddwyieithog a gwaith ar ieithoedd llai eu hadnoddau yn dangos bod parodrwydd AI yn golygu data awdurdodol, llywodraethu a phrofion go iawn.

Ni ryddhawyd model Cymraeg newydd yr wythnos hon. Ond cyhoeddwyd rhywbeth a allai fod yr un mor bwysig yn y tymor hir: mae ail raglen Llywodraeth Cymru i wella hygyrchedd cyfraith Cymru yn rhoi AI yn rhan o'r gwaith o wneud cyfraith ddwyieithog yn haws ei defnyddio.

Mae'r rhaglen yn addo archwilio sut y gall technoleg ac AI helpu pobl i ddefnyddio testun Cymraeg deddfwriaeth, paratoi deunydd esboniadol a chynorthwyo'r gwaith o ddrafftio deddfau. Bydd y Llywodraeth hefyd yn parhau i ehangu TermCymru a BydTermCymru fel ffynonellau awdurdodol o dermau a geirfaoedd cyfreithiol.

Nid cynnyrch byw yw hwn. Nid oes model, cyflenwr, cyllideb na chanlyniad prawf wedi'u henwi. Nid yw'r ddogfen yn dweud y bydd testun y gyfraith yn cael ei ddefnyddio i hyfforddi model. Ymrwymiad i archwilio yw hwn, ac mae'n rhaid cadw'r gwahaniaeth hwnnw'n glir.

Dwy ffrwd o dudalennau cyfreithiol yn mynd drwy beiriant dadansoddi tryloyw dan law dyn — Mae testun dwyieithog awdurdodol yn adnodd defnyddiol, ond rhaid i'r system ddangos ei ffynhonnell a'i hansicrwydd.

Pam mae'r gyfraith yn brawf arbennig o galed

Mae cyfraith ddwyieithog yn adnodd deniadol i AI. Mae ganddi destun Cymraeg a Saesneg cyfatebol, termau wedi'u rheoli, tarddiad clir a strwythur y gellir ei ddilyn. Ond mae'r un nodweddion yn codi'r safon.

Nid yw crynodeb rhugl yn ddigon. Byddai angen profi a yw system yn dod o hyd i'r ddarpariaeth gywir, yn paru'r fersiynau Cymraeg a Saesneg, yn defnyddio'r fersiwn ddiweddaraf, yn cadw at dermau cyfreithiol, yn dyfynnu ei ffynhonnell ac yn cyfaddef pan nad yw'n sicr. Mewn maes risg uchel, rhaid i'r defnyddiwr allu gweld y dystiolaeth a chyrraedd y testun awdurdodol ei hun.

Mae hyn yn berthnasol y tu hwnt i'r gyfraith. Mae gwasanaeth Cymraeg da yn fwy na blwch sgwrsio sy'n gallu llunio brawddegau Cymraeg. Mae angen iddo roi atebion cywir, cynnal safon y gwasanaeth Saesneg, a pheidio â chuddio llwybr at berson pan fo barn neu ofal dynol yn bwysig.

Tair haen o barodrwydd

Mae erthygl newydd gan Cynog Prys o Brifysgol Bangor, a gyhoeddwyd gan Eurac/MIDAS ar 19 Hydref, yn cynnig ffordd ddefnyddiol o drefnu'r broblem. Yn ôl ei ddadansoddiad, mae tair haen i barodrwydd AI iaith leiafrifedig.

Y gyntaf yw parodrwydd yr iaith: a oes data, termau, technoleg llais ac adnoddau eraill ar gael? Mae'r Gymraeg mewn sefyllfa gymharol gryf oherwydd degawdau o addysg, darlledu, deddfwriaeth, safonau a gwaith technoleg iaith.

Yr ail yw parodrwydd y sefydliad: a all corff ddefnyddio'r dechnoleg heb wanhau'r gwasanaeth Cymraeg, heb golli rheolaeth dros ei ddata, a heb ddisodli cyswllt dynol lle mae ei angen?

Y drydedd yw parodrwydd y defnyddiwr: a yw pobl eisiau defnyddio'r gwasanaeth yn Gymraeg, a ydyn nhw'n ymddiried ynddo, ac a ydyn nhw'n newid i'r Saesneg am fod yr ateb yn well yno?

Dadansoddiad arbenigol yw'r erthygl, nid astudiaeth newydd o ymddygiad defnyddwyr. Ond mae'n gosod cwestiwn y dylai pob peilot ei fesur. Nid “a all y model siarad Cymraeg?” yw'r unig brawf. Y cwestiwn yw a yw'r dechnoleg yn gwneud hi'n haws i bobl fyw a gweithio drwy'r Gymraeg.

Gwers o Dwi: cadw rheolaeth dros y term

Mae GLOSS-MT, rhagargraff newydd ar gyfieithu o'r Saesneg i Dwi Asante, yn dangos un ffordd ymarferol o gadw rheolaeth. Mae'r system yn chwilio am ymadroddion mewn geiriadur all-lein, yn rhoi'r termau Twi i'r model, ac yna'n cyfieithu'r frawddeg gymysg.

Ar feincnod o 84 o ddogfennau mewn pedwar maes, sgoriodd pob model wedi'i fireinio 2.85–5.48 pwynt chrF2 yn uwch na'i fodel sylfaen. Ar brawf rheolaeth uniongyrchol, defnyddiodd y modelau 79%–97% o'r termau gofynnol. Pan newidiwyd pob cofnod yn y geiriadur, ymddangosodd 70%–97% o'r termau newydd heb ailhyfforddi'r model.

Mae'r dull yn cynnig syniad clir i Gymru: dylai corff allu newid term awdurdodedig yn TermCymru neu eirfa fewnol heb aros am fersiwn newydd o'r model. Nid yw hynny'n dileu'r angen am gyfieithydd na golygydd. Ond mae'n gwneud y rheol yn weladwy ac yn hawdd ei newid.

Mae'r papur a'r cod ar gael yn gyhoeddus, ond mae cerdyn y model 8B yn defnyddio trwydded CC BY-NC 4.0. Mae hynny'n rhybudd arall: nid yw “ar gael” bob amser yn golygu bod pob defnydd masnachol yn rhydd.

Profi'r llanastr go iawn, nid y sampl lân

Mewn astudiaeth newydd o OCR ar gyfer archifau Lakota, gostyngodd mireinio modelau gweledol bach ar 35 o dudalennau wedi'u trawsgrifio gyfradd gwall nodau o 17.1% i 3.9%. Roedd defnyddio dim ond naw tudalen yn cynyddu'r gwall 1.1 pwynt canran yn unig o'i gymharu â'r set lawn.

Ond pan ddefnyddiwyd segmentu tudalen awtomatig realistig yn lle darnau glân, bu bron i wall y modelau gorau ddyblu. Dyna'r canlyniad pwysicaf i brosiectau archif Cymru. Nid y llinell sydd eisoes wedi'i thorri'n berffaith yw'r prawf go iawn. Y dudalen wedi pylu, y golofn anghyson, yr hen orgraff a'r gwaith o ganfod ymylon y testun yw rhan o'r system.

Mae'r awduron yn gosod y gwaith yng nghyd-destun adfer iaith a sgyrsiau â'r gymuned. Nid yw hynny'n fanylyn moesegol ar wahân i'r dechnoleg; mae'n penderfynu pa ddogfennau, sillafiadau a chamgymeriadau sy'n bwysig.

Ffrydiau llais, cardiau geiriadur ac archifau'n pasio drwy bwyntiau rheoli dynol gwahanol — Mae pob modd—llais, testun neu ddelwedd—yn dod â'i wallau ei hun, ac mae angen profi'r biblinell gyfan.

Un model llais, 51 iaith—ond 51 canlyniad gwahanol

Mae papur newydd SunflowerASR yn disgrifio sut y defnyddiwyd mireinio dan oruchwyliaeth ac yna GRPO i addasu Whisper-large-v3 ar gyfer 51 o ieithoedd Affrica. Mae'r model Apache 2.0 ar gael ar Hugging Face.

Mae'r awduron yn adrodd y gyfradd wall geiriau gyfartalog orau a gyhoeddwyd ganddynt ar ddau feincnod annibynnol: 0.227 ar AfriVox-v2 a 0.372 ar SimbaBench. Ond mae'r cerdyn model yn gwneud yr amrywiad yn glir hefyd: ar feincnod mewnol Sunbird mae'r gyfradd wall fesul iaith yn amrywio o 0.08 i 0.67. Mae'r cerdyn hefyd yn rhybuddio bod y meincnod mewnol yn yr un parth â data hyfforddi Sunflower, ond nid â'r modelau cymharol.

Y wers i'r Gymraeg yw peidio â chyhoeddi un rhif llais yn unig. Mae angen rhannu'r canlyniadau yn ôl tafodiaith, oedran, acen, ansawdd y meicroffon, sŵn, sgwrs naturiol a newid iaith. A dylai o leiaf un set brawf fod ar wahân i ffynonellau'r data hyfforddi.

Mae meincnod podlediadau Nepali–Saesneg yn ychwanegu manylyn defnyddiol. Ar 13,044 o ymadroddion sgwrsio, gostyngodd mireinio ar lai nag awr o lais synthetig gyfradd gwall gymysg o 23.40% i 21.52% a gwallau wrth bwynt newid iaith o 35.89% i 28.77%. Ychwanegodd GRPO welliant llawer llai: 21.49% a 28.70%.

Felly, yn yr arbrawf hwn, y cam symlach dan oruchwyliaeth wnaeth bron yr holl waith. Dylai prosiect Cymraeg–Saesneg fesur gwallau'n benodol wrth y man lle mae'r siaradwr yn newid iaith, a phrofi a yw dull cymhleth newydd yn ychwanegu rhywbeth ystyrlon ar ôl mireinio arferol.

Peidiwch â gadael i feirniad model guddio'r gwahaniaeth

Mae DeepSEA, meincnod Apache 2.0 mewn 12 o ieithoedd De-ddwyrain Asia, yn canfod bod modelau llai yn dirywio'n sylweddol ar yr ieithoedd â llai o adnoddau. Ar dasgau rhesymu a chrynhoi, roedd modelau'n gwneud yn well pan oeddent yn troi drwy'r Saesneg nag wrth weithio'n uniongyrchol yn yr iaith darged.

Mae hynny'n awgrymu prawf syml i'r Gymraeg: gofynnwch yr un cwestiwn yn uniongyrchol yn Gymraeg, ac yna gofynnwch i'r system gyfieithu drwy'r Saesneg. Os yw'r ail lwybr yn well o lawer, nid yw'r gallu Cymraeg mor annibynnol ag y mae'r rhyngwyneb yn ei awgrymu.

Mae astudiaeth arall mewn 27 o ieithoedd yn rhybuddio am ddefnyddio model iaith i farcio'r atebion. Ar draws naw ffordd o lunio'r cyfarwyddyd a phedwar beirniad pwysau agored, roedd dewis y beirniad yn bwysicach na dewis y cyfarwyddyd; roedd effaith rhai strategaethau'n troi i'r cyfeiriad arall gyda beirniad gwahanol; ac roedd sefydlogrwydd yn gwaethygu yn yr ieithoedd llai eu hadnoddau.

Nid oes Cymraeg yn y dystiolaeth a grynhoir yn y papurau hyn. Dyna pam na ddylid cymryd bod y canlyniad yn trosglwyddo. Ond maent yn cynnig profion pendant: Cymraeg uniongyrchol yn erbyn llwybr drwy'r Saesneg, sawl beirniad a sawl cyfarwyddyd, a sampl wedi'i marcio gan siaradwyr Cymraeg.

Cloi'r wythnos

Nid lansio model yw stori'r wythnos. Mae'n symud y cwestiwn o “a all AI gynhyrchu Cymraeg?” i “a all Cymru reoli, profi a defnyddio'r system yn gyfrifol?”

Mae'r rhaglen gyfraith yn cynnig maes pendant: testun dwyieithog awdurdodol, termau y gellir eu rheoli a gwasanaeth cyhoeddus y gellir ei fesur. Mae'r gwaith cymharol yn dangos beth ddylai'r mesur hwnnw gynnwys: rheolaeth dros dermau, tarddiad a hawliau data, llanastr y ddogfen neu'r recordiad go iawn, canlyniadau fesul iaith a dilysu dynol.

Mae AI sy'n siarad Cymraeg yn ddechrau. Parodrwydd yw'r gallu i wybod pryd mae'n gywir, pwy sy'n rheoli'r termau, beth sy'n digwydd pan fo'n methu, ac a yw pobl yn dewis parhau i ddefnyddio'r Gymraeg.

Nodyn amser: cwblhawyd y sgan terfynol am 09:07 BST ar 23 Hydref. Bydd unrhyw ddeunydd a gyhoeddir yn ddiweddarach ar 23 Hydref yn cael ei gynnwys yn y sgan nesaf.