Luth-2: model bach sy'n dangos ffordd ymlaen i'r Gymraeg

Mae Luth-2 yn dangos sut y gall ôl-hyfforddi model bach ar gyfer un iaith greu cynnydd mawr — ond mae ymchwil newydd yn rhybuddio bod angen profion a luniwyd yn yr iaith dan sylw, sy'n adlewyrchu bywyd lleol ac yn cynnwys barn pobl.

Darlun papur o fodel bach yn cysylltu cymunedau iaith drwy rubanau lliw — Nid maint y model yn unig sy'n bwysig. Mae Luth-2 yn cysylltu data, hyfforddiant arbenigol a phrofion Ffrangeg mewn un broses agored.

Ni chyhoeddwyd model Cymraeg newydd yr wythnos hon. Ni ddaeth tystiolaeth gyhoeddus newydd i setlo dadl Y Dderwen chwaith. Ond daeth enghraifft ddefnyddiol iawn o Ffrainc: dau fodel bach sy'n dangos faint y gellir ei ennill drwy ganolbwyntio ar un iaith, un gyfres o dasgau ac un broses werthuso dryloyw.

Enw'r prosiect yw Luth-2. Cyhoeddwyd dau fodel ar 11 Awst, un â thua 0.8 biliwn o baramedrau ac un â 1.88 biliwn. Maent wedi'u seilio ar Qwen3.5, ond wedi'u hôl-hyfforddi'n benodol ar gyfer Ffrangeg. Mae'r modelau, y data hyfforddi, y cod, y rysáit a'r meincnodau wedi'u rhyddhau gyda'i gilydd; mae'r model 2B ar gael dan drwydded Apache-2.0.

Mae'r maint yn rhan o'r stori. Gellir rhedeg model o'r fath yn lleol yn hytrach na dibynnu bob tro ar wasanaeth cwmwl anferth. Ond y wers fwy yw'r dull: nid model Ffrangeg cyffredinol yn unig a adeiladwyd. Crëwyd cymysgedd o fathemateg, gwybodaeth, cod, dilyn cyfarwyddiadau a defnyddio offer; hyfforddwyd arbenigwyr ar dasgau gwahanol; yna hyfforddwyd un model i efelychu'r hyn a ddysgodd yr arbenigwyr.

Y canlyniadau — a'r cyfyngiadau

Ar brofion y tîm ei hun, mae Luth-2-2B ymhell ar y blaen i'w fodel sylfaen mewn sawl maes. Ar MGSM-rev2, prawf mathemateg amlieithog, cododd y sgôr o 64.60 i 86.52. Ar IFEval, cododd o 61.91 i 75.06. Ar HumanEval+, prawf codio, cododd o 37.56 i 66.00. Mae'r tîm yn dweud bod y model ar y brig ymhlith modelau o faint tebyg ar ddeg o'r deuddeg prawf a ddewiswyd.

Mae hynny'n drawiadol, ond dylid cadw dau beth mewn cof. Yn gyntaf, canlyniadau'r awduron eu hunain yw'r rhain; nid ydynt wedi'u hailadrodd yn annibynnol eto. Yn ail, cyfieithwyd llawer o'r cyfarwyddiadau gwreiddiol o Saesneg i Ffrangeg cyn ail-greu'r atebion. Mae hynny'n ffordd ymarferol o gynyddu data, ond gall hefyd drosglwyddo patrymau meddwl, cwestiynu a mesur y Saesneg i'r iaith newydd.

Dyma'r cwestiwn allweddol i'r Gymraeg. Pe baem yn cyfieithu miloedd o brofion Saesneg, gallem wella model ar y profion hynny. Ond a fyddai'n deall cywair cyfarfod cyngor, treiglad ar ôl rhif, enw lle lleol, tafodiaith y gogledd neu'r de, sgwrs ddwyieithog, neu'r gwahaniaeth rhwng Cymraeg naturiol a Chymraeg sy'n gywir ar bapur yn unig?

Nid gwrthod cyfieithu yw'r ateb. Yr ateb yw ei labelu, ei gydbwyso â data a ysgrifennwyd yn Gymraeg, a phrofi'r hyn na ellir ei fenthyca o'r Saesneg.

Y cylch ymchwil ar waith

Mae Luth-2 yn enghraifft ymarferol o'r syniad sydd ar hafan AIsteddfod: creu, profi, archwilio, gwella, ac yna profi eto.

Dechreuodd y tîm gyda model sylfaen nad oedd yn fawr iawn. Casglwyd a hidlwyd tasgau. Gwahanwyd meysydd fel mathemateg, cod a dilyn cyfarwyddiadau. Defnyddiwyd modelau arbenigol i wella pob maes. Mesurwyd y canlyniadau sawl gwaith, a chyhoeddwyd y rysáit fel y gall eraill ei harchwilio.

Gallai prosiect Cymraeg ddilyn yr un cylch heb efelychu pob dewis. Byddai'n dechrau gyda'r pethau rydym am i'r model eu gwneud: ateb cwestiynau gwasanaeth cyhoeddus, golygu heb ddileu llais yr awdur, defnyddio terminoleg gywir, ymdrin â thafodiaith, cyfieithu cyd-destunol a newid iaith yn naturiol. Wedyn byddai pob methiant yn troi'n brawf newydd neu'n enghraifft hyfforddi newydd.

Y nod fyddai dangos yn union beth y gall y model ei wneud yn Gymraeg, ble mae'n methu, a beth sydd wedi newid ar ôl pob cylch o brofi a hyfforddi.

Nid un sgôr sydd ei angen ar wasanaeth cyhoeddus

Mae papur newydd o'r Iseldiroedd yn ategu'r wers. Datblygodd ymchwilwyr a staff llywodraeth leol fframwaith o'r enw Grip on LLMs ar gyfer asesu mwy na 30 o fodelau amlieithog ac Iseldireg. Mesurwyd ffeithioldeb, gonestrwydd, tuedd gymdeithasol, ynni, cost a thryloywder data hyfforddi.

Ni enillodd un model ym mhob maes. Roedd ansawdd uwch yn tueddu i gostio mwy o arian ac ynni. Nid oedd model ffeithiol o reidrwydd yn onest pan nad oedd yn gwybod yr ateb. Ac nid oedd cysylltiad cyson rhwng graddau’r duedd gymdeithasol a'r sgôr ansawdd.

Mae hynny'n arbennig o berthnasol i gyrff cyhoeddus yng Nghymru. Nid yw “pa fodel gafodd y sgôr uchaf?” yn ddigon. Rhaid gofyn hefyd: a yw'n cwblhau'r dasg yn Gymraeg cystal ag yn Saesneg? A yw'n cyfaddef ansicrwydd? A yw'n trin grwpiau'n deg? Beth yw'r gost, y defnydd o ynni a'r dystiolaeth am y data?

Mae lle a llais yn rhan o'r iaith

Mae Cultivar yn dangos gwendid arall mewn profion amlieithog. Addasodd y tîm is-set o FLORES i gyd-destunau lleol a phrofodd 32 o fodelau pwysau agored. Yn ôl yr awduron, cyfieithwyd cynnwys wedi'i leoli yn yr Unol Daleithiau yn well na chynnwys o leoliadau eraill, ni waeth beth oedd yr iaith.

Mewn geiriau eraill, gall cyfieithu prawf newid yr iaith heb newid ei gyd-destun diwylliannol. I fesur Cymraeg yn iawn, mae angen sefyllfaoedd Cymreig: ysgol, meddygfa, cyngor, trên, eisteddfod, maes chwarae, fferm, stiwdio a sgwrs deuluol. Mae lle, sefydliad a chywair yn rhan o'r ystyr.

Mae'r un peth yn wir am lais. Mewn astudiaeth newydd o werthuso lleferydd synthetig, barnwyd 860 o enghreifftiau gan ieithyddion ar ddeg agwedd wahanol. Canfu'r awduron fod offer traddodiadol i ragfynegi sgôr naturioldeb yn canolbwyntio'n bennaf ar ansawdd acwstig. Roedd modelau iaith sain yn gallu sylwi ar fwy o bethau, ond roeddent yn anghyson ac yn sensitif i'r cyfarwyddyd.

Felly nid yw un sgôr “naturioldeb” yn ddigon ar gyfer llais Cymraeg. Mae angen gwrando ar ynganiad, pwyslais, rhythm, eglurder, cysondeb, enwau pobl a lleoedd, a newid rhwng Cymraeg a Saesneg. Ac mae angen pobl sy'n adnabod yr iaith i wneud y gwaith gwrando.

Darlun papur o dri ymchwilydd yn dal cardiau prawf llais a diogelwch yn gywir wrth fwrdd taclus — Mae profion da yn gwahanu'r cwestiynau: a yw'r sain yn glir, yr iaith yn gywir, y cyd-destun yn lleol, a'r ymddygiad yn ddiogel?

Gall model adnabod niwed heb ymateb yn ddiogel

Mae dau bapur newydd am ieithoedd India yn codi cwestiwn diogelwch. Mae SurakshaEval yn cynnwys cyfarwyddiadau diogelwch a ysgrifennwyd gan bobl mewn deg iaith Indiaidd ac yn Saesneg. Canfu'r awduron fod modelau amlieithog cryf yn dal i or-wrthod ceisiadau diniwed, methu â sylwi ar duedd ymhlyg, neu golli cyd-destun rhanbarthol — yn enwedig mewn sgriptiau brodorol.

Mae papur arall, a dderbyniwyd i weithdy dehongliadwyedd COLM 2026, yn ceisio dod o hyd i'r mecanwaith. Yn y model a astudiwyd, roedd y rhwydwaith yn cynrychioli niwed mewn ffordd debyg yn ei haenau canol, boed y cais yn Saesneg neu mewn iaith Indiaidd. Ond ymddangosai'r weithred o ysgrifennu'r gwrthodiad yn ddiweddarach ac mewn rhan fwy penodol o'r rhwydwaith. Esboniodd un o'r awduron y canlyniad mewn cyfres o negeseuon ar X.

Ni ddylid cymryd bod yr un gylched yn bodoli ym mhob model. Ond mae'r gwahaniaeth yn ddefnyddiol: gall system adnabod bod cais yn niweidiol ac eto fethu cynhyrchu'r ymateb diogel yn yr iaith dan sylw. Wrth brofi Cymraeg, dylid mesur dealltwriaeth y model a'i ymddygiad terfynol ar wahân.

Beth na wnaethom ei ailadrodd

Gwiriwyd Nation.Cymru, ffynonellau newyddion Cymraeg, X a'r we am ddatblygiadau ar ôl erthygl wythnos 32. Ni ddaethpwyd o hyd i dystiolaeth ffurfiol newydd yn achos Y Dderwen, felly nid ydym yn ailadrodd yr honiad a'r gwadiad. Mae'r erthygl flaenorol yn parhau'n gofnod o'r hyn oedd yn hysbys ar 7 Awst.

Y cam Cymraeg nesaf

Diweddariad: mae ail adroddiad wythnos 33, 14 Awst yn parhau'r stori gyda gwaith newydd ar iaith y fro, tafodiaith a data llais byw, heb ailadrodd y canlyniadau uchod.

Mae Luth-2 yn gwneud un peth yn glir: nid oes rhaid aros am fodel sylfaen anferth newydd cyn gwneud cynnydd mewn iaith benodol. Gellir dechrau gyda model bach, data pwrpasol, tasgau clir a phrofion gonest.

Ond rhaid i'r profion fynd ymhellach na chyfieithu meincnod Saesneg. Mae angen Cymraeg a ysgrifennwyd gan bobl ar gyfer cyd-destunau Cymreig; lleisiau a thafodieithoedd go iawn; mesurau ar wahân ar gyfer cywirdeb, defnyddioldeb, diogelwch, cost a thegwch; a chyhoeddi digon o'r broses i bobl eraill allu ailadrodd y gwaith.

Model bach oedd newyddion yr wythnos. Y broses o'i gwmpas — data, hyfforddiant, profi, archwilio a gwella — yw'r wers fawr i'r Gymraeg.