3 Hydref 2026
O Kolibri i Gymru: faint fyddai model AI sofran i'r Gymraeg yn ei gostio?
Mae Kolibri-1 yn rhoi rhifau pendant ar hyfforddi model sofran. Byddai model Cymraeg o'r un faint a'r un uchelgais yn costio tua £2.5m–£3.5m am y cyfrifiadura hyfforddi, a thua £10m am raglen ymarferol sy'n cynnwys data, pobl, profi a defnyddio'r model.
Model sofran, gyda'r dystiolaeth yn agored
Rhyddhaodd Aleph Alpha Kolibri-1 ar 3 Hydref, Diwrnod Undod yr Almaen. Model mixture of experts yw hwn: mae ganddo 78.1 biliwn o baramedrau i gyd, ond dim ond 3.46 biliwn sy'n weithredol ar gyfer pob tocyn. Mae 384 o arbenigwyr, gyda chwech ohonynt ac un arbenigwr cyffredin yn weithredol. Mae'r model yn canolbwyntio ar Almaeneg a Saesneg, yn cynnig hyd at filiwn o docynnau o gyd-destun, ac mae'r pwysau ar Hugging Face dan Apache 2.0.
Defnyddiodd y prif rediad 768 B200 am 21 diwrnod i brosesu 20 triliwn o docynnau. Dilynwyd hynny gan 3.44 triliwn o docynnau o hyfforddiant canol a 200 biliwn ar gyfer cyd-destun hir. Mae'r adroddiad technegol yn rhoi cyfanswm net o 377,000 awr-GPU ar gyfer y prif rediad, ac yn cofnodi 38 o ymyriadau a adferwyd yn awtomatig.
Beth fyddai model Cymraeg cyfatebol?
Y gymhariaeth decaf yw model MoE Cymraeg–Saesneg sy'n cyfateb i Kolibri mewn maint a chyllideb gyfrifiadurol:
| Nodwedd | Kolibri-1 | Cyfeirnod Cymraeg |
|---|---|---|
| Pensaernïaeth | MoE tenau | MoE tenau cyfatebol |
| Cyfanswm paramedrau | 78.1B | tua 78B |
| Paramedrau gweithredol fesul tocyn | 3.46B | tua 3.5B |
| Arbenigwyr | 384; chwech ac un cyffredin yn weithredol | yr un drefn maint |
| Hyfforddiant model sylfaen | 23.64T tocyn | tua 20T–24T tocyn |
| Cyd-destun y prif rediad | 16k | 16k |
| Addasu cyd-destun hir | 256k | hyd at 256k |
| Prif ieithoedd | Almaeneg–Saesneg | Cymraeg–Saesneg |
Mae “cyfatebol” yma'n golygu'r un drefn maint, cyfrifiadura ac uchelgais. Nid yw'n addewid o'r un ansawdd: byddai cyfansoddiad y data, penderfyniadau hyfforddi a gwerthuso Cymraeg yn hollbwysig.
Mwy o Gymraeg ym mhob tocyn
Un o fanteision mwyaf diddorol Kolibri yw'r tocynnydd. Datblygodd Aleph Alpha ddull UniBPE ar gyfer strwythur geiriau Almaeneg, yn enwedig geiriau cyfansawdd. Ar brawf gwe Almaeneg y cwmni, mae Kolibri'n amgodio 4.90 beit ym mhob tocyn, o'i gymharu â 4.35 ar gyfer GPT-5; po fwyaf yw'r rhif, gorau yw'r cywasgu. Mae hynny'n cyfateb i tua 11% yn llai o docynnau ar gyfer yr un faint o destun ar y prawf hwnnw. Mae'r tabl cymharu gwreiddiol hefyd yn dangos bod Kolibri'n cynnal effeithlonrwydd Saesneg.
Mae gan y Gymraeg ei hanghenion ei hun. Mae ch, dd, ff, ng, ll, ph, rh a th yn llythrennau unigol yn yr wyddor Gymraeg er eu bod yn cynnwys dau nod. Gallai tocynnydd Cymraeg–Saesneg penodol ddysgu unedau effeithlon ar gyfer y deugraffau hyn, treigladau, ffurfiau geiriau a phatrymau Cymraeg cyffredin, yn lle etifeddu blaenoriaethau geirfa a luniwyd yn bennaf ar gyfer Saesneg neu gannoedd o ieithoedd.
Ni ddylid cymryd y fantais yn ganiataol: gall tocynnydd cyffredinol eisoes gyfuno llawer o'r patrymau hynny. Dylai'r rhaglen gyhoeddi prawf Cymraeg cynrychioliadol—testun ffurfiol, llafar, tafodieithol, dwyieithog a gwasanaethau cyhoeddus—a chymharu beitiau a geiriau fesul tocyn, hyd dilyniannau, cyflymder ac ansawdd. Pe bai'r fantais yn debyg i Kolibri, byddai pob ffenestr gyd-destun yn dal mwy o Gymraeg a byddai hyfforddi ac inferu yn rhatach.
Tua £2.5m–£3.5m o gyfrifiadura
Ni chyhoeddodd Aleph Alpha bris. Gan gymhwyso prisiau rhentu B200 cyhoeddus i'r 377,000 awr, mae'r prif rediad yn cyfateb yn fras i $2.52m–$3.34m, neu tua £1.90m–£2.53m. Daw'r ystod o brisiau cyhoeddus Lambda, Nebius, CoreWeave a chlystyrau Lambda, gyda chyfradd gyfnewid 2 Hydref.
Mae'r camau model sylfaen diweddarach yn ychwanegu 18.2% at nifer y tocynnau, ar gyd-destunau hirach a all leihau trwybwn. Cofnodir 16,900 awr-B300 cyfatebol arall ar gyfer y rhediad dysgu atgyfnerthol terfynol—tua £121,000 ar bris B300 cyhoeddus Nebius—ond nid oes cyfanswm cyfunol ar gyfer pob rhediad mireinio dan oruchwyliaeth.
O dalgrynnu'r dystiolaeth hon, mae £2.5m–£3.5m yn amlen resymol ar gyfer rhentu'r prosesyddion i hyfforddi model Cymraeg ar raddfa Kolibri. Amcangyfrif o werth rhentu yw hwn, nid bil Aleph Alpha na dyfynbris i Gymru.
Cymerodd y prif rediad 21 diwrnod. Nid yw'r amser ar gyfer pob cam arall wedi'i gyhoeddi; felly mae pedair i chwe wythnos ar gyfer y brif ymgyrch gyfrifiadurol yn gasgliad cynllunio, nid ffaith a adroddwyd. Byddai'r gwaith data, ymchwil a chyflwyno o'i chwmpas yn cymryd llawer hirach.
Pam mae rhaglen ymarferol yn nes at £10m
Nid yw un prif rediad glân yn rhaglen sofran. Mae angen digon o adnoddau i ddysgu, ailadrodd a methu'n ddiogel. Gallai amlen gynllunio enghreifftiol edrych fel hyn:
| Ffrwd waith | Lwfans enghreifftiol |
|---|---|
| Hyfforddiant cynhyrchu, arbrofion, methiannau ac ôl-hyfforddi | £4.00m |
| Hawliau, casglu, glanhau a churadu data Cymraeg, a gwaith tocynnydd | £1.75m |
| Tîm amlddisgyblaethol o beirianwyr, ymchwilwyr ac arbenigwyr Cymraeg | £2.00m |
| Gwerthuso annibynnol, diogelwch, aliniad diwylliannol a llywodraethu | £0.75m |
| Storio, defnyddio'r model, inferu, rhedeg y rhaglen a chronfa wrth gefn | £1.50m |
| Cyfanswm | £10.00m |
Nid dyfynbris na chynnig Llywodraeth yw hwn. Mae'n ffordd o ddangos pam y byddai gallu cenedlaethol cynaliadwy'n costio'n sylweddol fwy na'r GPUau ar gyfer un rhediad.
Nid cyfrifiadura yw'r prinder mwyaf
Roedd gan Aleph Alpha gronfa unigryw o 2.4 triliwn o docynnau Almaeneg, a chyflwynodd tua 4.3 triliwn ohonynt yn ystod cyn-hyfforddi. Prosesodd y biblinell fwy na 200 triliwn o docynnau crai er mwyn dewis y 20 triliwn terfynol. Nid oes cronfa Gymraeg agored, ddilys a thrwyddedig o'r maint hwnnw.
Byddai'n rhaid i raglen Gymreig benderfynu'n agored ar y gymysgedd: Cymraeg dilys, Saesneg ac efallai ieithoedd eraill; faint o ailadrodd; testun cyhoeddus a diwylliannol gyda hawliau clir; data synthetig neu wedi'i aralleirio; cod; a data rhesymu a defnyddio offer. Byddai angen tocynnydd sy'n parchu morffoleg y Gymraeg, data tafodieithol a newid iaith, a phrofion a luniwyd gan siaradwyr Cymraeg.
Felly, mae'r caledwedd o fewn cyrraedd. Y cwestiwn sofraniaeth go iawn yw a fydd Cymru'n rheoli'r data, y penderfyniadau, y gwerthuso, y seilwaith a'r gallu i gynnal y model ar ôl i'r rhediad ddod i ben.