O gyfarfod i dystiolaeth: map cliriach i AI Cymraeg

Ni chafwyd model Cymraeg newydd yr wythnos hon, ond mae defnydd ymarferol yn y Senedd a gwaith ar ieithoedd llai eu hadnoddau yn dangos sut i symud o ddata at brawf y gellir ymddiried ynddo.

Darlun papur o lais yn teithio drwy haenau prosesu at glust a gwiriad dynol — Nid un dasg yw nodyn cyfarfod: mae adnabod llais, siaradwyr, iaith, ystyr a ffeithiau i gyd yn haenau gwahanol.

Cyfarfod Cymraeg mewn munudau

Mewn tystiolaeth i bwyllgor y Senedd ar 14 Medi, dywedodd Dafydd Trystan Davies fod modd cynnal cyfarfod yn Gymraeg yn Teams, ei drawsgrifio, a chreu nodyn dwyieithog “yn eithaf da” o fewn munudau.

Mae hynny'n arwydd ymarferol o werth. Nid arbrawf labordy yn unig mohono, ond tasg gyfarwydd mewn gweinyddiaeth gyhoeddus: gwrando, cofnodi a chrynhoi cyfarfod Cymraeg.

Ond nid meincnod yw'r disgrifiad. Nid yw'r cofnod yn dweud pa nodwedd neu fersiwn o Teams a ddefnyddiwyd, faint o'r sgwrs oedd yn Gymraeg, faint o gywiro oedd ei angen, nac a gadwyd enwau, dyddiadau, symiau a phenderfyniadau yn gywir. Dyna'r bwlch pwysig: mae gennym arwydd bod y dull yn ddefnyddiol, ond nid y dystiolaeth i ddweud pryd y gellir ymddiried ynddo.

Byddai prawf bach, gofalus yn llawer mwy gwerthfawr na honiad eang. Gellid cadw'r sain, y trawsgrifiad crai, y nodyn a gynhyrchwyd a'r fersiwn a gywirwyd gan berson. Yna gellid mesur gwallau geiriau, adnabod siaradwyr, newid rhwng Cymraeg a Saesneg, amser cywiro, a'r camgymeriadau sy'n newid ystyr.

Yr haen gudd: y tocynnydd

Daeth y wers dechnegol gryfaf o Nemotron-SEA-LION v4.8, teulu newydd o bedwar model 30B a 120B ar gyfer ieithoedd De-ddwyrain Asia. Mae'r pwysau ar gael i'w lawrlwytho, ac mae'r modelau wedi gwella ar SEA-HELM, meincnod a luniwyd gyda chyfraniad siaradwyr brodorol.

Cododd sgôr y model 30B o 46.89 i 51.57 o'i gymharu â'i sylfaen Nemotron gyfatebol. Ar raddfa 120B, cododd y sgôr o 49.30 i 63.44. Roedd y cynnydd yn arbennig o fawr i Fyrmaneg a Thamil.

Ond y cyfyngiad yw'r rhan fwyaf defnyddiol i Gymru. Cadwodd y tîm docynnydd gwreiddiol Nemotron. Ar gyfer Khmer, Lao a Thamil, mae hwnnw'n defnyddio tua phum gwaith cymaint o docynnau â thocynnydd blaenorol SEA-LION i gynrychioli'r un testun.

Mae tocynnydd yn torri testun yn ddarnau y gall y model eu prosesu. Os yw'r Gymraeg yn cael ei thorri'n ormod o ddarnau, gall yr un paragraff ddefnyddio rhagor o'r ffenestr gyd-destun, gostio mwy a rhoi llai o wybodaeth ym mhob cam hyfforddi. Gall ychwanegu llawer o ddata helpu, ond ni all ddileu pob anfantais o'r gynrychiolaeth sylfaenol.

Felly dylai pob cerdyn model Cymraeg ateb cwestiwn syml: faint o docynnau sydd eu hangen ar y testun hwn o'i gymharu â'r Saesneg? Nid manylyn mewn atodiad mo hwnnw. Mae'n fesur o gost, cyflymder a chapasiti.

Nid oes rhaid ailadeiladu popeth

Ar 15 Medi, diweddarwyd model Whisper-small ar gyfer Cebuano. Mae'r cerdyn yn cofnodi cyfradd gwall geiriau o 5.10% ar y set ddilysu, o'i gymharu ag 11.14% yn y rhediad cynharach. Gostyngodd y gyfradd gwall nodau o 4.51% i 2.59%.

Mae'r pwysau 241.7 miliwn paramedr ar gael dan drwydded Apache-2.0. Ond canlyniad y tîm ei hun ar ddata o'r un maes yw hwn, nid prawf annibynnol ar leferydd Cebuano o bob math. Y wers yw bod parhau i hyfforddi model bach arbenigol yn gallu talu ar ei ganfed; nid bod Cebuano wedi'i “ddatrys”.

Yn Sequential Adapter Stacking, rhoddodd yr ymchwilwyr addasydd o iaith gysylltiedig o dan addasydd newydd yr iaith darged. Ar Astwreg, Asameg a Xhosa—tair iaith nad oedd Whisper yn eu cefnogi—roedd y dull 5–8% yn well na mireinio llawn yn ôl y gostyngiad cymharol mewn gwallau geiriau.

Gyda dim ond awr o ddata targed, gostyngodd y gwall 12% ar Asameg a 26% ar Xhosa o'i gymharu â mireinio llawn. Nid oes model Cymraeg wedi'i ryddhau o'r gwaith hwn, ac ni ddylid tybio ymlaen llaw pa iaith fyddai'r ffynhonnell orau i'r Gymraeg. Ond mae'n rhoi arbrawf clir: cymharu mireinio llawn, addasydd arferol a throsglwyddo o sawl iaith bosibl ar yr un gyllideb ddata.

Darlun papur o ddarnau iaith yn symud drwy fodiwlau at gardiau prawf sy'n cael eu gwirio gan bobl — Mae data'n troi'n dystiolaeth drwy gynrychiolaeth effeithlon, profion penodol a gwiriad dynol.

O sain at ateb cywir

Mae VākQA yn dangos sut i brofi mwy na thrawsgrifiad. Mae'r set newydd yn cynnwys 2,001 o barau cwestiwn–ateb Telugu, 2.53 awr o sain, trawsgrifiadau dwyieithog a chwe maes pwnc. Mae'r data ar gael yn gyhoeddus, ac mae pobl wedi gwirio'r cwestiynau a'r atebion.

Pan roddwyd testun Telugu cywir i Gemini, y sgôr gyfartalog oedd 3.63 allan o 5. Wrth ateb yn uniongyrchol o'r sain, 3.28 oedd y sgôr. O'i gymharu â'r testun Telugu cywir, gwaethygodd 21.2% o'r cwestiynau, gwellodd 13.1%, ac arhosodd 65.7% heb newid.

Mae hynny'n gwahanu tri chwestiwn sy'n aml yn cael eu cymysgu:

a glywodd y system y geiriau'n iawn?
a gadwodd cyfieithiad yr ystyr a'r cyd-destun lleol?
a allodd y model resymu i'r ateb cywir?

Mae'r un gwahaniaeth yn hanfodol i nodyn cyfarfod Cymraeg. Gall trawsgrifiad gynnwys sawl gwall bach ond cadw'r penderfyniad; neu edrych yn llyfn tra bod enw, swm neu ymrwymiad pwysig wedi newid.

Mae TeochewBench yn ychwanegu rhybudd diwylliannol. Ar 300 o ymadroddion wedi'u gwirio gan bobl, disgynnodd sgôr gyfartalog y prif fodelau o 69.25 ar yr eitemau lleiaf penodol i 27.52 ar y rhai mwyaf penodol i ddiwylliant Teochew. Gall gorgyffwrdd arwynebol â'r testun wneud model yn edrych yn well nag ydyw, felly defnyddiodd yr ymchwilwyr reolydd copïo hefyd.

I'r Gymraeg, dylai prawf gynnwys haenau ar wahân ar gyfer brawddegau llythrennol, priod-ddulliau, enwau lleol, cyfeiriadau diwylliannol a gwybodaeth fro. Dylai hefyd gynnwys llinell sylfaen syml er mwyn dangos a yw'r model yn deall neu'n copïo.

Cyd-destun sydd ar y rhestr wylio

Ar 11 Medi—ddiwrnod cyn ffenestr yr adroddiad hwn—cyhoeddodd Llywodraeth Cymru bartneriaeth â Cosine. Y bwriad yw rhoi data, adnoddau ac arbenigedd Cymraeg i biblinell hyfforddi Lumen Sovereign.

Mae'n ddatblygiad addawol, ond nid oedd diweddariad newydd yr wythnos hon. Nid yw'r cyhoeddiad eto'n enwi'r corpora, faint o ddata, y trwyddedau, y prawf Cymraeg na'r amserlen ryddhau. Dylid croesawu'r buddsoddiad a gofyn am y manylion ar yr un pryd. Bydd y prosiect ar ein rhestr wylio nes bod arteffact neu ganlyniad y gellir ei archwilio.

Y cam nesaf i Gymru

Mae'r darnau bellach yn ffitio gyda'i gilydd. Mae tystiolaeth y Senedd yn rhoi'r dasg go iawn: cyfarfod Cymraeg a nodyn dwyieithog. Mae SEA-LION yn dangos bod y tocynnydd yn effeithio ar gost a chyd-destun. Mae VākQA yn gwahanu gwrando, cyfieithu a rhesymu. Mae Cebuano a'r addaswyr wedi'u pentyrru yn dangos y gall arbrofion bach, penodol wella system sydd eisoes yn bodoli.

Y cyfraniad mwyaf defnyddiol yn awr fyddai prawf cyhoeddus y gellir ei ailadrodd:

samplau cyfarfod â chaniatâd, gan gynnwys newid iaith ac amrywiaeth o acenion;
sgoriau ar wahân ar gyfer siaradwyr, iaith, geiriau, crynodeb a ffeithiau critigol;
cymhariaeth o gost a hyd tocynnau Cymraeg;
fersiynau sefydlog o'r modelau a rheolau normaleiddio cyhoeddedig;
a gwiriad dynol o'r ystyr terfynol.

Nid wythnos wag oedd hon i AI Cymraeg. Wythnos oedd hi heb lansiad Cymraeg newydd, ond gyda map cliriach o'r hyn sydd angen ei adeiladu a'i fesur nesaf.