6 Tachwedd 2026

Llais bach, data mawr: wythnos adeiladu AI Cymraeg

Mae model llais 106 MB, pum rhyddhad data BangorAI, pedwar gwerthusiad CymraegBench a menter gymunedol UK LLM yn ehangu'r offer ar gyfer adeiladu a phrofi AI Cymraeg.

Mae'n demtasiwn mesur cynnydd AI Cymraeg yn ôl maint y model. Yr wythnos hon, mae'r dystiolaeth yn cynnig ffordd well: mesur beth sy'n gweithio, ble mae'n methu, a beth yn union y gellir ei ailadrodd.

Rhyddhaodd Robert Breda dri model adnabod lleferydd Cymraeg bach ar sail Moonshine. Mae'r mwyaf diddorol, moonshine-base-welsh-compact, yn 53.2 miliwn o baramedrau ac yn ffeil 106 MB. Cyhoeddodd BangorAI bedair set ddata newydd ac un fersiwn fawr newydd ar 4–5 Tachwedd. Ac ar yr un pryd, cyhoeddodd AIsteddfod bedwar rhediad CymraegBench newydd: model sylfaen BritLLM, ei ddisgynnydd cyfarwyddiadol Machynlleth, a dau fodel Gemma wedi'u haddasu i'r Gymraeg.

Mae menter gymunedol arall yn dechrau hefyd. Mae Ash Hart, crëwr TensorFold, yn cydlynu gwaith “UK LLM” gyda phrawf cyffredin, peilot cyngor a chanlyniadau cynnar; mae nifer o gyfranwyr yn gweithio ar fodel Cymraeg bach. Nid oes pwynt gwirio Cymraeg cyhoeddus eto, felly gwaith ar y gweill yw hwn, nid lansiad model.

Nid oes un “enillydd” syml yma. Mae'r model llais bach yn drawiadol ar un set podlediadau ond yn wan ar sgwrs ddigymell. Mae'r data newydd yn fawr ond yn cynnwys baneri ansawdd y mae'n rhaid eu defnyddio. Mae'r model testun mwyaf yn arwain yn gyffredinol, ond nid ym mhob tasg Gymraeg ymarferol. Dyna'r stori: mae arteffact agored, ei drwydded a'i broffil prawf yn bwysicach na rhif mawr ar gerdyn model.

106 MB o adnabod lleferydd Cymraeg

Mae'r prosiect Welsh ASR yn dechrau gyda thua 175 awr o sain: Common Voice, Lleisiau Arfor, FLEURS Saesneg, podlediadau Banc Trawsgrifiadau Bangor a chyfarfodydd cynghorau CLlLC. Cyhoeddwyd modelau Moonshine sylfaenol a bach ar 2 Tachwedd, cyn y fersiwn gryno ar 3 Tachwedd.

Crëwyd y model cryno drwy gyfartaleddu'r deg pwynt gwirio olaf, torri'r eirfa docynnau o 32,768 i 12,735, a diffodd pum pen sylw yn y datgodiwr a oedd yn gysylltiedig ag ailadrodd. Yn ôl y dudalen prosiect, effeithiodd y newid olaf ar tua 0.18% o'r pwysau ac nid oedd angen ei ailhyfforddi. Mae'r pwysau o dan MIT, ac mae'r pecyn hyfforddi a defnyddio Listenr ar gael o dan MPL-2.0.

O'i gymharu â model Bangor Whisper 1.5 biliwn yr awdur, mae Moonshine Compact 29 gwaith yn llai yn ôl nifer y paramedrau, tua 58 gwaith yn llai ar ddisg, ac amcangyfrifir bod angen 4.3 yn hytrach na 217 GFLOP ar gyfer pob eiliad o sain. Nid prawf cyflymder ar ffôn penodol yw hynny, ond mae'n ddigon i wneud defnydd lleol yn gwestiwn realistig.

Ar brawf podlediadau Bangor, mae cerdyn y model yn adrodd cyfradd gwall geiriau o 32.7%, o'i gymharu â 34.7% ar gyfer y model Whisper. Ond ar Common Voice, 25.8% oedd sgôr y model cryno a 10.3% oedd sgôr y cymharydd. Mae'r awdur yn rhybuddio y gallai rhywfaint o set prawf Common Voice fod wedi ymddangos yn hyfforddiant Whisper, felly nid yw'r ail gymhariaeth yn hollol lân.

Y rhif pwysicaf yw 76.8%: dyna'r gyfradd gwall ar ran a ddaliwyd yn ôl o sgyrsiau digymell Siarad. Llwyddodd y newid i'r pennau sylw i ostwng methiant ailadrodd—o tua 87% i tua 77% ar y prawf hwn—ond mae'r canlyniad yn dal yn rhy uchel ar gyfer arddweud cyffredinol dibynadwy.

Mae'r model hefyd yn dangos pris cywasgu. Gwaethygodd FLEURS Saesneg o 16.6% ar y model sylfaenol i 21.0% ar y fersiwn gryno ar ôl tocio'r eirfa. Mewn sgwrs Gymraeg sy'n newid i'r Saesneg, gallai hynny fod yn bwysig.

Felly dyma ryddhad gwirioneddol ddefnyddiol: pwysau agored, offer agored, sawl set brawf, a chywiriad gonest pan oedd brawddegau prawf Lleisiau Arfor yn gorgyffwrdd â phromtiau hyfforddi. Ond hunanwerthusiad gan yr awdur ydyw o hyd. Y cam nesaf yw prawf annibynnol ar ddyfeisiau go iawn, gyda sgwrs ddigymell, acenion a newid iaith.

BangorAI: pum haen newydd o ddata

Nid un pentwr testun dienw yw rhyddhad BangorAI. Mae'r pum set yn llenwi bylchau gwahanol, ac mae pob un yn cadw'r tarddiad a baneri ansawdd:

Mae'r manylion ansawdd yr un mor bwysig â'r meintiau. Mae'r cof cyfieithu'n nodi 16,361 o barau sydd mewn o leiaf un cof heb ei brawfddarllen, yn ogystal â pharau unfath a chyfieithiadau un-i-lawer. Mae'r tudalennau llywodraeth yn rhoi sgôr aliniad, yn nodi Saesneg heb ei gyfieithu ac yn cadw URL, dyddiad a chorff cyhoeddus pob ffynhonnell. Mae fersiwn 2 yr hysbysiadau'n cynnig 177,167 o resi sy'n pasio'r hidlydd glân a argymhellir ar y cerdyn.

Mae'r deunydd hanesyddol yn fwy arbrofol. Cynhyrchwyd yr OCR llyfrau gan fodelau gweledol a'i wirio drwy ail fodel a samplau, nid drwy gywiro pob tudalen â llaw. Mae 160 o dudalennau Drych a 36 o dudalennau Enwogion wedi'u marcio i'w hadolygu. Yn y set diarhebion, mae angen gwirio 165 o barau lle nad oedd rhifau'r tudalennau cyferbyn yn cyd-fynd yn union.

Dyma'r math iawn o agoredrwydd: nid cuddio'r rhesi anodd, ond rhoi'r wybodaeth i adeiladwr eu hidlo neu eu defnyddio fel prawf. Mae'r setiau'n cynnig iaith lywodraethol ffurfiol, cyfieithu proffesiynol, print hanesyddol ac idiomau diwylliannol. Nid ydynt yn disodli sgwrs naturiol, tafodieithoedd na llenyddiaeth gyfoes.

O sylfaen amrwd i fodel Cymraeg

Mae'r pedwar rhediad CymraegBench newydd yn dangos math gwahanol o daith.

Nid yw sgôr sero BritLLM 3B yn golygu nad oes Cymraeg yn y model. Model sylfaen yw hwn, nid model sydd wedi'i diwnio i ddilyn cyfarwyddiadau. Parhaodd â'r promt neu aeth i ddolen yn aml, gan roi 1,167 o atebion annilys allan o 2,053. Mae prawf tebygolrwydd dewis lluosog yn ateb cwestiwn arall; mae'r rhediad hwn yn mesur pa mor ddefnyddiadwy yw'r arteffact amrwd yn y rhyngwyneb cyfarwyddiadol.

Mae Machynlleth 3B Instruct yn disgyn o'r un teulu, ar ôl rhagor o destun Celtaidd ac Albanaidd a 41,025 o sgyrsiau cyfarwyddiadol. Gostyngodd y gyfradd annilys i 1.8% a chododd BLEU cyfieithu o 14.94 i 41.03. Ond 16.44 yw'r sgôr gyffredinol, gyda sero ar sawl is-brawf. Mae'r drwydded CC BY-NC 4.0 hefyd yn cyfyngu defnydd masnachol.

Mae'r ddau fodel EryriLabs yn gryfach o lawer ar yr un harnais. Cafodd Gemma 4 E4B Cymraeg v4 49.70, a Gemma 4 12B Cymraeg v6 52.70. Ni chafwyd ateb annilys na gwrthodiad gan yr un ohonynt.

Ond nid maint yn unig sy'n esbonio'r gwahaniaeth. Cafodd y model E4B gymedr o 70.36 ar gyfres tasgau Cymraeg ymarferol CCC, ychydig yn uwch na 69.70 y model 12B. Roedd y proffiliau'n wahanol: roedd y 12B yn gryfach ar gyfarwyddiadau Cymraeg, idiomau a thermau; roedd yr E4B yn gryfach ar grynhoi, cyfarwyddiadau Saesneg a chynnwys cyfeiriadol.

Peidio â chymysgu tri chwestiwn

Mae'r llun cyfan yn gwahanu tri pheth sy'n cael eu cymysgu'n aml:

1. Gallu'r model sylfaen. Gall fod gwybodaeth Gymraeg ynddo heb iddo wybod sut i ateb y prawf.
2. Tiwnio cyfarwyddiadau. Mae hyn yn gallu troi testun parhaus yn ateb defnyddiol, ond nid yw'n gwarantu rhesymu neu Gymraeg gywir.
3. Arbenigo Cymraeg. Gall hyfforddiant parhaus a data cyfarwyddiadol Cymraeg wella'r proffil, ond rhaid profi tasgau unigol a chadw arteffactau'r hyfforddiant.

Mae'r trydydd pwynt yn bwysig i atgynhyrchu. Mae EryriLabs yn cyhoeddi pwysau meintiol ac addasyddion, ond mae cerdyn y model 12B yn dweud nad yw'r model BF16 wedi'i uno na'r ddau addasydd rhaghyfforddi parhaus ar gael. Mae'r cerdyn hefyd yn rhybuddio am ddolenni ac am Saesneg yn gollwng i atebion hir. Mae'r canlyniadau CymraegBench yn dystiolaeth annibynnol ddefnyddiol; nid ydynt yn ailadeiladu'r biblinell hyfforddi lawn.

UK LLM: adeiladu model fel cymuned

Mae angen gwahanu dau enw tebyg. Prosiect ymchwil dan arweiniad UCL yw BritLLM, a greodd fodel sylfaen Caernarfon 3B a meincnod BritEval. Menter gymunedol newydd dan yr enw “UK LLM” yw'r gwaith y mae Ash Hart—crëwr yr injan gasgliad agored TensorFold—yn ei gydlynu.

Mewn neges gyhoeddus ar 1 Tachwedd, dywedodd Hart fod pobl yn rhoi eu hamser i adeiladu LLM gyda'i gilydd, a bod peilot cyngor, set brawf gyffredin a chanlyniadau cyntaf eisoes ar waith. Mae neges arall yn cyfeirio cyfranwyr at restr prosiectau a gwaith yn adran UK LLM cymuned TensorFold. Mae rhoi cerdyn graffeg i gyfrannwr sy'n fyfyriwr yn enghraifft ymarferol o'r cyfranogi gwirfoddol.

O fewn y gwaith ehangach hwn, mae nifer o bobl yn gweithio ar fodel Cymraeg bach. Mae hynny'n addawol, yn enwedig gan fod data BangorAI a meincnodau Cymraeg bellach ar gael. Ond ni chafwyd pwynt gwirio, cerdyn model, ystorfa, rysáit data, trwydded na sgôr Gymraeg gyhoeddus i'w gwirio. Ni ddylid galw'r gwaith yn fodel newydd eto.

Mae'r cam cyhoeddus nesaf yn syml: cerdyn prosiect byr sy'n enwi'r model sylfaen a'r cyfranwyr, yn nodi pa ddata sy'n cael ei ddefnyddio, ac yn cyhoeddi prawf Cymraeg clo cyn ac ar ôl hyfforddi. Byddai hynny'n troi egni cymunedol yn arbrawf y gall eraill ei archwilio a'i ailadrodd.

Dwy wers o ieithoedd eraill

Mae dau bapur newydd yn rhoi prawf defnyddiol ar y dehongliad Cymraeg.

Yn gyntaf, mae adroddiad Tajiceg ar Qwen3 yn dangos na throdd colled testun is yn well dealltwriaeth bob tro. Gostyngodd rhediadau LoRA bach y golled Tajiceg, ond ni wellodd darllen a deall ar 1.7B nac 8B, a gostyngodd y sgôr ar 4B. Dim ond y rysáit 8B trymach—tua 375 miliwn o docynnau hyfforddi parhaus ac yna diwnio cyfarwyddiadau—roddodd gynnydd clir o 11.4 pwynt. I'r Gymraeg, mae hynny'n rhybudd: nid yw rhuglder nac ystadegyn colled yn ddigon; rhaid mesur dealltwriaeth.

Yn ail, mae NaijaFacts yn croesi iaith y cwestiwn â gwlad y ffaith. Ar gyfartaledd, atebodd y modelau tua hanner y cwestiynau Saesneg am yr Unol Daleithiau neu'r Deyrnas Unedig, ond dim ond 20% o'r cwestiynau am ystadegau Nigeria. Gostyngodd defnyddio Yoruba ar y cwestiynau Nigeria'r sgôr naw pwynt arall. Mae hynny'n gwahanu dau fethiant: peidio â deall yr iaith a pheidio â gwybod y lle.

Dylai Cymru wneud yr un peth. Gall model ysgrifennu Cymraeg llyfn heb wybod ffeithiau cyfredol am sefydliadau, cyfraith neu ddemograffeg Cymru. Byddai meincnod lleol, dwyieithog o ffynonellau awdurdodol yn profi'r ddau beth ar wahân.

Mae gwaith newydd ar gyfieithu tafodieithoedd Igala, ASR meddygol Hausa a chwestiynau meddygol Tetun yn ychwanegu'r un neges: rhannwch y cyfartaledd yn ôl tafodiaith, cymharwch addasu maes â llinell sylfaen gyffredinol, a defnyddiwch arbenigwyr dynol i wirio data wedi'i gyfieithu.

Beth ddylai ddigwydd nesaf?

Mae pum cam bach bellach yn werth mwy na lansiad mawr:

1. rhedeg Moonshine Compact ar set glo o sgwrs Gymraeg naturiol ac ar ffôn neu liniadur penodol, gan gyhoeddi oedi, cof, batri a mathau o wall;
2. samplu'r setiau BangorAI yn annibynnol, mesur gorgyffwrdd, a rhannu yn ôl dogfen a dyddiad cyn hyfforddi;
3. cyhoeddi cerdyn prosiect a llinell sylfaen i'r model Cymraeg bach yn UK LLM;
4. ailbrofi modelau sylfaen gyda dull tebygolrwydd, ochr yn ochr â'r prawf cyfarwyddiadol, fel nad yw gwybodaeth ac ufudd-dod yn cael eu cymysgu;
5. adeiladu NaijaFacts Cymreig: ffeithiau lleol, dyddiedig o ffynonellau cyhoeddus, gyda'r un cwestiynau yn Gymraeg ac yn Saesneg.

Mae'r wythnos hon yn dangos cynnydd go iawn. Gall model llais Cymraeg ffitio mewn 106 MB. Mae haen newydd o ddata olrheiniadwy ar gael i adeiladu arni. Mae cymuned newydd yn cynnig pobl, offer a chyfrifiadura. Gall tiwnio cyfarwyddiadau ac arbenigo Cymraeg wella model yn sylweddol. Ond rhaid i'r pedwar beth ddod at ei gilydd: data â thrwydded, rysáit gyhoeddus, pwynt gwirio agored a phrawf sy'n dangos y methiant hefyd.

Nodyn amser: cwblhawyd a diwygiwyd y sgan am 10:51 GMT ar 6 Tachwedd 2026. Bydd deunydd a gyhoeddwyd yn ddiweddarach y diwrnod hwnnw'n cael ei ystyried yn y sgan nesaf.

Ffynonellau a darllen pellach

• Welsh ASR: Moonshine models, cerdyn y model cryno a Listenr
• Cof Cyfieithu Llywodraeth Cymru 1, Tudalennau Llyw.Cymru 1 a Hysbysiadau Llywodraeth Cymru 2
• Llyfrau LlGC OCR 1 a Diarhebion Cymru
• BritLLM Caernarfon 3B a Machynlleth 3B Instruct
• Gemma 4 E4B Cymraeg v4 a Gemma 4 12B Cymraeg v6
• Diweddariad UK LLM Ash Hart, rhestr gwaith y gymuned a TensorFold
• Tajik Language Modeling with Qwen3 a NaijaFacts
• Dialect Matters: English–Igala MT, Hausa medical ASR a Labadain-MedQA