13 Tachwedd 2026

Modelau bach, data'n tyfu: momentwm newydd i AI Cymraeg

Mae Techiaith, menter gymunedol Ash Hart, Llandudno, modelau Gemma 4 EryriLabs ac wyth set ddata newydd BangorAI yn dangos sut mae ecosystem modelau Cymraeg bach yn ffurfio.

Nid un model yw stori'r wythnos hon. Mae sawl darn o ecosystem modelau Cymraeg bach yn symud ar yr un pryd: pobl yn trefnu, modelau agored yn ymddangos mewn mwy nag un teulu, profion cyffredin yn eu cymharu, a data cyhoeddus Cymraeg a Cheltaidd yn tyfu'n gyflym.

Mae Techiaith yn rhan graidd o'r darlun hwn. Nid lansiad newydd yn ystod wythnos 46 mohono, ond y seilwaith hirdymor sy'n cysylltu corpora lleferydd, modelau bach, offer datblygwyr a defnydd lleol. Mae'r momentwm newydd yn fwy credadwy am ei fod yn adeiladu wrth ymyl gwaith ymarferol sydd eisoes yn rhoi technoleg Gymraeg ar liniaduron ac mewn llifoedd gwaith go iawn.

Mae stori'r wythnos hon yn dechrau gydag adnodd cyffredin: un cyfrifiadur â cherdyn graffeg RTX 4090. Arno, adeiladodd Jonathan Poole ddau fodel sgwrsio Cymraeg newydd, Llandudno-4B a Llandudno-9B. Mae'r pwysau ar gael yn gyhoeddus o dan Apache-2.0, mae'r rysáit yn weddol fanwl, ac mae'r canlyniadau wedi'u profi eto ar AIsteddfod.

Nid dyma'r modelau Cymraeg cyntaf, nac ychwaith y modelau gorau ar bob prawf. Mae Gemma 4 E4B Cymraeg v4 a Gemma 4 12B Cymraeg v6 EryriLabs eisoes yn cynnig llwybr agored gwahanol: sylfeini Gemma 4, arbenigo Cymraeg, fformatau lleol a thystiolaeth werthuso fanwl. Cawsant eu trafod yn erthygl yr wythnos flaenorol; nid lansiadau newydd yr wythnos hon mohonynt.

Y datblygiad newydd yw bod Llandudno bellach yn rhoi cymhariaeth deg o bedwar model Cymraeg agored ar yr un teulu o brofion. Mae hynny'n fwy defnyddiol na chyhoeddi un “enillydd”: mae un model ar y blaen mewn rhesymu, un arall mewn cyfieithu, ac mae'r ddau fodel bach yn cyfnewid safle yn ôl pa fath o Gymraeg ymarferol sy'n cael ei fesur.

Ar 7 Tachwedd cyhoeddwyd Grasmere-E4B, arbrawf cynharach o'r un gyfres. Erbyn 10 Tachwedd roedd Llandudno wedi'i ryddhau; diweddarwyd y ddau y diwrnod wedyn. Yn hytrach na chyfrif y tri fel tri lansiad ar wahân, mae'n fwy gonest gweld Grasmere fel y cam cyhoeddus a arweiniodd at y pâr Llandudno.

Nid un prosiect, ond momentwm

Yr arwydd cynnar oedd menter gymunedol “UK LLM” Ash Hart. Mewn neges ar 1 Tachwedd, disgrifiodd wirfoddolwyr yn adeiladu gyda'i gilydd, set brawf gyffredin, peilot cyngor a chanlyniadau cyntaf. Roedd neges ddilynol yn cyfeirio cyfranwyr at restr waith y gymuned, ac roedd sawl person yn gweithio ar fodel Cymraeg bach.

Nid oes pwynt gwirio Cymraeg cyhoeddus o'r fenter honno i'w brofi eto. Ac nid oes tystiolaeth mai cynnyrch swyddogol y fenter yw Llandudno neu fodelau EryriLabs. Ei phwysigrwydd yw ei bod yn arwydd blaenllaw: roedd pobl yn dechrau cydlynu cyfrifiadura, data a phrofion ar yr un pryd ag yr oedd arteffactau annibynnol yn dod yn gyhoeddus.

Dyma'r darlun erbyn hyn:

• mae Techiaith yn darparu corpora, modelau lleferydd a chyfieithu, offer datblygwyr a llwybrau defnyddio lleol;
• mae Llandudno yn cynnig dau fodel Qwen3.5 Cymraeg-yn-gyntaf a hyfforddwyd ar un cyfrifiadur;
• mae EryriLabs yn cynnig dau lwybr Gemma 4, gan gynnwys fersiynau GGUF ar gyfer defnydd lleol;
• mae AIsteddfod yn rhoi'r pedwar ar yr un teulu o brofion;
• mae BangorAI wedi ychwanegu wyth set ddata arall ar draws Cymraeg, Gwyddeleg, Gaeleg a Sgoteg.

Nid rhaglen ganolog yw hyn. Ond mae'n dechrau edrych fel ecosystem.

Techiaith: y seilwaith sy'n gwneud y momentwm yn ddefnyddiol

Mae blog Techiaith, porth technolegau iaith cenedlaethol Cymru, yn dangos pam nad yw stori modelau bach yn dechrau gyda'r rhyddhad diweddaraf. Mae'n cysylltu cynnyrch, adnoddau datblygwyr, cofau cyfieithu agored, adnabod a syntheseiddio lleferydd, data ac APIau. Mae hynny'n seilwaith ecosystem, nid un pwynt gwirio.

Ar 6 Hydref, cyhoeddodd Techiaith ganllaw i redeg modelau iaith bach yn lleol gydag LM Studio. Dangosodd sut y gallai gliniadur â thua 16 GB o RAM redeg Mistral-7B-Cymraeg-Welsh-v2 yn lleol, gan ddefnyddio fersiwn GGUF Q4_K_M o tua 4.4 GB. Nododd hefyd fod fersiwn GGUF o fodel Cymraeg 1B yr Uned Technolegau Iaith yn yr arfaeth. Nid model newydd wythnos 46 yw hyn; ei werth yw'r llwybr defnydd: pwysau agored, fformat ymarferol, rhyngwyneb lleol a phreifatrwydd heb API cwmwl.

Ar 29 Hydref, aeth Techiaith ymhellach gyda Trawsgrifiwr Byw, ap am ddim ar gyfer Windows, Mac a Linux sy'n gallu rhedeg oddi ar-lein heb anfon sain oddi ar y peiriant. Mae'n cyfuno model adnabod lleferydd Kaldi 120 MB, a hyfforddwyd ar tua 159 awr o Gymraeg lafar, â model cyfieithu Marian 21 MB a hyfforddwyd ar 11.8 miliwn o barau brawddegau Cymraeg–Saesneg. Ar set o 500 o frawddegau llafar, dywedodd Techiaith fod normaleiddiwr ieithyddol rhwng y ddau fodel wedi codi BLEU cyfieithu o 32.6 i 44.7. Canlyniad y datblygwr yw hwn, nid prawf annibynnol.

Mae'r un post yn gosod terfynau clir: cyfieithu fesul brawddeg ydyw, nid dehongli ar y pryd; mae Cymraeg llafar, tafodiaith a newid cod yn datgelu bylchau rhwng data lleferydd naturiol a data ysgrifenedig ffurfiol; ac ni ddylai'r offeryn ddisodli dehonglydd mewn sefyllfaoedd meddygol, cyfreithiol neu benderfyniadau sy'n effeithio ar hawliau. Mae'r tryloywder hwnnw'n rhan o'r momentwm hefyd: model bach defnyddiol, data penodol, cyfyngiadau wedi'u datgan, a phobl gymwys yn dal yn y ddolen.

Mae erthygl Techiaith ar sofraniaeth AI yn cynnig y ffrâm ehangach: nid yw sofraniaeth yn golygu adeiladu popeth ar ein pennau ein hunain, ond gallu llywodraethu cyfrifiadura, data a goruchwyliaeth wrth gydweithio a lleolweddu. Dyna'r cysylltiad rhwng gwaith hirdymor Techiaith a'r modelau, y data a'r profion newydd.

Mae'r tri phost hyn y tu allan i ffenestr 7–13 Tachwedd ac ni chânt eu cyflwyno fel lansiadau newydd. Maent yma fel cyd-destun hanfodol: mae Llandudno ac EryriLabs yn ehangu'r dewis o bwyntiau gwirio, mae BangorAI yn ehangu'r deunydd crai, ac mae Techiaith yn dangos sut mae modelau bach yn troi'n offer defnyddiol.

Wyth set ddata newydd: y deunydd crai

Cyhoeddodd BangorAI bum set Gymraeg yn hwyr ar 6 Tachwedd, ar ôl i adroddiad ac erthygl yr wythnos flaenorol gau. Ar 11 Tachwedd ychwanegwyd tair arall ar gyfer Gwyddeleg, Gaeleg yr Alban a Sgoteg. Mae hynny'n ddatblygiad newydd, nid ailadrodd y pum rhyddhad BangorAI o 4–5 Tachwedd a drafodwyd yr wythnos diwethaf.

Y set fwyaf yw Dogfennau Llyw.Cymru: 12,578 o barau PDF neu Word ac ychydig dros dair miliwn o barau brawddegau sy'n pasio'r hidlydd. Tynnodd y broses tua 7,400 o barau lle nad oedd iaith y ddogfen yn cyfateb, a 230 o ddogfennau â hawlfraint trydydd parti. Yn Neddfwriaeth Cymru, defnyddiwyd IDau XML swyddogol i baru darpariaethau yn hytrach na dibynnu ar debygrwydd ystadegol yn unig.

Mae'r tair set Geltaidd yn llai ond yn bwysig am reswm gwahanol. Maent yn defnyddio strwythurau tarddiad, sgoriau alinio a hidlyddion tebyg i'r setiau Cymraeg. Mae hynny'n gwneud arbrawf un model Celtaidd bach—neu addasyddion sy'n rhannu'r un biblinell—yn llawer haws ei archwilio. Eto data wedi'i alinio gan beiriant yw llawer ohono: rhaid defnyddio'r baneri ansawdd, nid tywallt pob rhes i'r hyfforddiant.

Beth sydd wedi'i adeiladu?

Yn ôl cerdyn Llandudno-9B, dechreuodd y gwaith gyda Qwen3.5 9B a 4B. Defnyddiwyd 68.4 miliwn o docynnau ar gyfer rhaghyfforddi parhaus, wedyn 43,402 o sgyrsiau i ddysgu'r modelau i ddilyn cyfarwyddiadau. Roedd y cymysgedd yn cynnwys testun Cymraeg, Gwyddeleg, Gaeleg, Sgoteg a Saesneg, deunydd dwyieithog y Senedd a Llywodraeth Cymru, Wikipedia, enghreifftiau gramadeg a mathemateg, a data synthetig ar gofrestr, bratiaith a thafodiaith.

Mae'r cerdyn yn dweud bod y rhyddhad Llandudno wedi cymryd tua deuddydd ar yr un 4090. Mae hefyd yn cofnodi bod Claude Code wedi'i ddefnyddio i helpu gyda pheirianneg data, hyfforddi a gwerthuso. Mae hynny'n rhan o'r dull, nid yn rhyw fanylyn i'w guddio: os yw offer AI yn llunio data neu god prawf, dylai'r cofnod ei ddweud.

Mae'r pwysau o dan Apache-2.0, ond nid yw hynny'n gwneud pob darn o'r data hyfforddi'n “agored” yn yr un ffordd. Mae'r cerdyn yn rhestru sawl math o drwydded ac yn rhybuddio bod rhai targedau cyfarwyddiadol o ddeunydd BBC Cymru Fyw, Golwg ac S4C yn dal dan hawlfraint, er iddynt ddod drwy gasgliad cropian. Mae'r tryloywder yn ddefnyddiol; mae hefyd yn gosod terfyn ar beth y gellir ei ail-ddosbarthu'n ddiogel.

Pedwar model, pedwar proffil

Mae'r ffigurau Llandudno annibynnol yn agos iawn at sgoriau'r datblygwr: 55.64 yn lle 55.36 i'r 4B, a 58.31 yn lle 58.07 i'r 9B. Mae hynny'n dystiolaeth dda bod y darlun cyffredinol yn dal mewn amgylchedd rhedeg arall. Nid atgynhyrchiad union mohono: ni ailhyfforddwyd y modelau, felly mae'r prawf yn cadarnhau ymddygiad y pwysau cyhoeddedig, nid tarddiad pob enghraifft na'r biblinell lawn.

Mae'r proffil yn fwy diddorol na'r safle. Mae 9B ar y blaen yn gyffredinol ac yn glir ar resymu. Ond ar y grŵp penodol “Cymraeg ymarferol”, roedd 4B ychydig yn uwch ar gerdyn y datblygwr. Ar gyfres CCC ehangach AIsteddfod, roedd 9B yn gryfach: cymedr 77.14 yn erbyn 67.36. Mae'r enwau'n debyg, ond nid yr un casgliad o dasgau ydynt.

Mae EryriLabs yn newid y dehongliad. Mae'r model 12B yn dal ar y blaen ar gyfieithu, gyda BLEU o 52.30 yn erbyn 49.67 i Llandudno-9B. Ac er bod Llandudno-4B yn uwch ar y sgôr gyffredinol a'r grŵp Cymraeg ymarferol, mae EryriLabs E4B yn uwch ar archwiliad CCC: 70.36 yn erbyn 67.36. Nid yw “pedwar biliwn” na “deuddeg biliwn” yn broffil gallu.

Mae'r arteffactau'n wahanol hefyd. Mae EryriLabs E4B yn darparu pwysau BF16 cyfun, yr addasyddion hyfforddi a fersiynau GGUF ar gyfer defnydd lleol mewn tua 5–9 GB. Mae'r ystorfa 12B yn darparu pwysau cyfun a'r addasydd SFT, ond yn pwyntio at yr addasydd rhaghyfforddi parhaus yn hytrach na'i ailgyhoeddi. Mae Llandudno'n cynnig rysáit un-GPU gryno a phwysau trwyddedig yn ganiataol, ond mae ei gerdyn yn datgelu rhai targedau cropian sy'n dal dan hawlfraint. Mae pa mor agored yw model yn cynnwys mwy na thrwydded y pwysau.

Mae'r prawf tafodiaith gan y datblygwr yn gosod terfyn pwysig. Dim ond 8% o atebion 4B a 12% o atebion 9B a adlewyrchodd dafodiaith y defnyddiwr. Gall y model adnabod Gog neu Hwntw ac wedyn ateb mewn Cymraeg safonol. Nid methiant i “siarad Cymraeg” yn unig yw hwn; mae'n wahaniaeth rhwng deall amrywiaeth a pharchu dewis iaith y siaradwr.

Model caeedig ar frig y prawf—gyda seren fethodolegol

Rhyddhaodd Anthropic Claude Fable 5.2 ar 9 Tachwedd. Cafodd 89.45 ym mhrawf Cymraeg AIsteddfod: 88.34 ar resymu, 90.56 ar Gymraeg ymarferol a BLEU o 74.64.

Ond newidiodd y sgôr wrth gywiro'r echdynnwr atebion deuaidd. Roedd 85 o atebion eisoes yn rhoi Y neu N yn glir ar ddechrau neu ddiwedd yr ymateb; nid oedd yr hen reol bob amser yn eu derbyn. Ar ôl eu hail-sgorio, cododd y cyfanswm o 84.73 i 89.45.

Mae'r cywiriad yn rhesymol ac wedi'i gofnodi. Eto i gyd, nid yw pob rhediad hŷn wedi'i ail-sgorio â'r un rheol. Felly mae'r prawf yn dangos bod Fable 5.2 yn gryf iawn yn Gymraeg, ond ni ddylid trin bwlch manwl y tabl fel petai pob model wedi wynebu fersiwn union yr un fath o'r harnais. A model drwy API ydyw: ni ellir lawrlwytho'r pwysau, archwilio'r hyfforddiant na'i addasu fel Llandudno.

Gwers ehangach: mae tocyn yn gost iaith

Mae dau ragargraffiad newydd am docynnu yn rhoi ffordd ymarferol o edrych ar gost a chydraddoldeb. Profodd The Indic Token Tax naw tocyneiddiwr ar 25 o ieithoedd India. Ar gyfer yr un cynnwys, defnyddiodd GPT-4o 1.57 gwaith cymaint o docynnau ar Hindi ag ar Saesneg, 5.01 gwaith ar Odia, a 13.7 gwaith ar Santali yn sgript Ol Chiki. Nid oedd yr un tocyneiddiwr yn gosod mwy na 35% o'i ffiniau ar ffiniau morffemau.

Mae hynny'n golygu y gall defnyddiwr dalu mwy, llenwi'r ffenestr gyd-destun yn gynt, a rhoi mwy o gamau i'r model am yr un ystyr. Ni fesurwyd Cymraeg yn y papur, felly ni allwn drosglwyddo'r rhifau. Gallwn drosglwyddo'r prawf: rhedeg yr un corpws yn Gymraeg ac yn Saesneg, cyhoeddi'r gymhareb docynnau, ac ychwanegu pris ac oedi go iawn.

Mae Havon yn cynnig tocyneiddiwr aml-air. Ar yr un maint geirfa, roedd fersiwn 4 yn defnyddio llai o docynnau na GPT-4o mewn 161 o 204 o ieithoedd, ac roedd y gymhareb ganolrifol ar y 25 iaith India yn 0.74. Ond prawf cywasgu yw hwn: ni hyfforddwyd model cyflawn arno. Gall llwybr byrrach fod yn rhatach heb wneud y model yn fwy cywir.

Peidio â gwella un iaith drwy golli un arall

Mae Capability Drift in Multilingual Post-Training yn dangos perygl arall. Enillodd un gangen ôl-hyfforddedig 36.07 pwynt ar MATH, ond collodd 19.32 pwynt F1 ar XQuAD-Indic. Llwyddodd rysáit a oedd yn fwy ymwybodol o iaith i adfer tasgau Indiaidd, ond nid pob prawf sgript, a chollodd rywfaint o god a mathemateg gystadleuol.

I'r Gymraeg, mae'r wers yn uniongyrchol: rhaid rhedeg set atchweliad Gymraeg ar ôl pob cam ôl-hyfforddi cyffredinol. Nid yw “mae'r sgôr fawr wedi codi” yn ateb os yw dilyn cyfarwyddyd Cymraeg, defnyddio'r wyddor yn gywir neu ddeall sefydliadau Cymru wedi gwaethygu.

Mae model mewnosod Canol Asia yn dangos yr un cyfaddawd ar dasg wahanol. Ar ôl addasu EmbeddingGemma 300M gyda 279,904 o barau cwestiwn–darn wedi'u cynhyrchu, cododd recall@1 i 75.2–77.7 ar Dasiceg, Casacheg, Wsbeceg a Chirgis. Ond disgynnodd Saesneg 4.2 pwynt a Rwseg 3.0. Gallai un model bach ar gyfer y teulu Celtaidd fod yn arbrawf da; byddai angen cadw enghreifftiau Saesneg a mesur y golled.

Yn olaf, mae Fikiria, model rhesymu Swahili, yn adrodd 79.2 ar AfriMGSM o'i gymharu â 68 i GPT-4o o dan yr un promt caeth. Eto mewn astudiaeth ffafriaeth fach gan y cyd-awduron, roedd atebion GPT-4o yn cael eu ffafrio. Mae sgôr awtomatig, Cymraeg llyfn a hoffter siaradwr yn dri chwestiwn gwahanol.

Mae'r papurau hyn yn rhagargraffiadau, nid dyfarniadau terfynol. Eu gwerth yma yw cynnig profion y gellir eu dwyn i Gymru: treth docynnau, atchweliad ar ôl ôl-hyfforddi, a barn siaradwyr ochr yn ochr â metrigau.

Dau beth arall i'w cofnodi'n gywir

Ar 10 Tachwedd, adroddodd Nation.Cymru ar becyn pum gwers dwyieithog am AI. Mae'r dudalen wreiddiol yn ei ddisgrifio fel deunydd am ragfarn, rhithweledigaethau, diogelwch, gwybodaeth anghywir a meddwl beirniadol ar gyfer cam cynnydd 3. Adnodd addysg drwy'r Gymraeg yw hwn, nid model na set ddata newydd.

Mae angen cywiro'r cofnod o wythnos gynharach hefyd. Cyhoeddodd Golwg 360 gyfweliad â Gruffudd Prys ar 28 Hydref, “'Ddylai'r Gymraeg ddim gorfod dibynnu ar gardod cwmnïau fel Apple'”. Methodd y sgan awtomatig â'i gyrraedd bryd hynny; agorwyd y dudalen yn uniongyrchol wedyn. Nid newyddion yr wythnos hon mohono.

Dadl Prys yw y dylai cyrff cyhoeddus ac ysgolion ddefnyddio eu grym prynu a'u dyletswyddau iaith i ofyn am gefnogaeth Gymraeg, yn hytrach nag aros am ewyllys da cwmnïau mawr. Priodolir y cymariaethau cynnyrch a'r rhifau data yn yr erthygl iddo; ni chawsant eu hailarchwilio yma. Ond mae'r egwyddor gaffael yn un y gellir ei phrofi: pennu gofyniad Cymraeg, set brawf, tystiolaeth o breifatrwydd a'r hawl i archwilio canlyniadau cyn llofnodi contract.

Beth ddylai ddigwydd nesaf?

Mae Llandudno ac EryriLabs gyda'i gilydd yn gwneud pum arbrawf yn realistig:

1. prawf dynol dan glo ar ruglder, ffeithioldeb, Gog, Hwntw a newid iaith;
2. tabl treth docynnau Cymraeg–Saesneg ar draws modelau agored a masnachol;
3. ablad sy'n gwahanu data trwyddedig yn glir oddi wrth dargedau cropian dan hawlfraint;
4. set atchweliad Gymraeg a redir ar ôl pob cam hyfforddi;
5. addasydd maes bach—iechyd, cyfraith neu wasanaeth cyhoeddus—gyda'r model cyffredinol yn cael ei ailbrofi hefyd.

Mae'r momentwm bellach yn weladwy mewn pum haen: seilwaith lleferydd, data a defnyddio lleol Techiaith; menter gymunedol Ash Hart; modelau Llandudno ac EryriLabs; profion cymharol; a data BangorAI sy'n ymestyn o enwau lleoedd Cymru i ddeddfwriaeth Wyddelig a Gaeleg yr Alban. Nid yw'r rhain yn un rhaglen, ac nid yw'r un ohonynt ar ei ben ei hun yn datrys AI Cymraeg. Ond gyda'i gilydd maent yn lleihau cost yr arbrawf nesaf—ac yn gwneud ei ganlyniad yn haws i'w wirio.

Nodyn amser: cwblhawyd y sgan yn ystod bore 13 Tachwedd 2026. Bydd deunydd a gyhoeddir yn ddiweddarach y diwrnod hwnnw'n cael ei ystyried yn y sgan nesaf.

Ffynonellau a darllen pellach

• Llandudno-4B, Llandudno-9B a Grasmere-E4B
• EryriLabs Gemma 4 E4B Cymraeg v4, Gemma 4 12B Cymraeg v6 a'r gymhariaeth Week 45
• Gwerthusiad Llandudno-4B, Llandudno-9B a Claude Fable 5.2
• Gwerthusiad EryriLabs E4B a 12B
• Diweddariad UK LLM Ash Hart a'r rhestr waith gymunedol
• Blog Techiaith, y canllaw LM Studio, Trawsgrifiwr Byw a'r erthygl ar sofraniaeth AI
• Enwau a Thermau Data Cymru, GOV.UK Cymraeg, Deddfwriaeth Cymru, Sector Cyhoeddus Cymru a Dogfennau Llyw.Cymru
• Achtanna an Oireachtais, Riaghaltas na h-Alba – Gàidhlig a Scots Government – Scots
• The Indic Token Tax, Havon a Capability Drift
• Central Asian EmbeddingGemma, Fikiria ac ASR Nepaleg–Saesneg
• Nation.Cymru a'r pecyn addysg AI dwyieithog
• Cyfweliad Golwg 360 â Gruffudd Prys, 28 Hydref
• Erthygl Kolibri a'r gymhariaeth sofran flaenorol