BuzzASR: model llais Cymraeg newydd i'w brofi

Mae model adnabod lleferydd Cymraeg arbenigol ar gael i'w lawrlwytho, gyda gostyngiad mawr mewn gwallau ar ddwy set brawf gyhoeddus—ond mae'r prawf ar iaith fyw eto i ddod.

Darlun papur o feicroffon, tonnau llais a haid o fodelau arbenigol dros dirwedd Gymreig — Un model arbenigol i bob iaith: mae BuzzASR yn troi Whisper yn deulu o 102 o adnoddau llais.

Un model ar gyfer pob iaith

Cyflwynwyd papur BuzzASR ar 9 Medi, ac mae wedi'i dderbyn i Findings of EMNLP 2026. Yn hytrach na dibynnu ar un model amlieithog i wneud popeth, mae'r prosiect yn creu model arbenigol ar gyfer pob un o 102 o ieithoedd FLEURS.

Mae'r model Cymraeg wedi'i fireinio o Whisper-large-v3 ac ar gael dan drwydded MIT. Mae'r cerdyn yn nodi ei fod wedi defnyddio FLEURS a Common Voice 25, ynghyd â data testun Goldfish. Gellir lawrlwytho'r pwysau a rhedeg y model yn lleol.

Ar brawf FLEURS, cofnododd y cerdyn gyfradd gwall nodau o 7.31% a chyfradd gwall geiriau o 17.45%. Ar Common Voice, y ffigurau oedd 2.25% a 5.98%. Ar y cyfuniad, roedd y gyfradd gwall nodau yn 5.24%—tua 2.5 gwaith yn llai na 12.88% Whisper-large-v3 heb ei addasu.

Ar draws y prosiect cyfan, mae'r tîm yn dweud bod y model BuzzASR gorau wedi curo Whisper ar 77 o'r 102 iaith yn y prawf cyfun. Mae'r canolrif gwall nodau yn y papur yn gostwng o 15.5% i 7.6%. Mae hynny'n dystiolaeth galonogol dros arbenigo model mawr ar gyfer un iaith.

Canlyniad cryf, ond cwestiwn heb ei ddatrys

Mae gwahaniaeth bach ond pwysig rhwng y ffynonellau. Mae cerdyn y model Cymraeg yn disgrifio'r model fel un sydd wedi'i fireinio'n llawn gyda thocynnydd brodorol, ac yn rhoi 5.24% o wallau nodau a 12.57% o wallau geiriau ar y prawf cyfun.

Yn nhabl fersiwn gyntaf y papur, fodd bynnag, mae'n ymddangos mai'r rysáit fireinio syml sy'n rhoi'r canlyniad Cymraeg gorau: 5.27% o wallau nodau a 15.15% o wallau geiriau. Mae'r ffigurau ar gyfer y rysáit lawn yn uwch yno.

Gallai hyn olygu bod y pwynt gwirio wedi'i ailhyfforddi neu ei gwblhau ar ôl rhewi tabl y papur. Nid oedd esboniad cyhoeddus i gysoni'r ddau erbyn diwedd y chwiliad. Felly, wrth brofi'r model, dylid cofnodi union fersiwn y pwysau, y gosodiadau datgodio a dyddiad y cerdyn—nid enw'r model yn unig.

Yn bwysicach fyth, dim ond FLEURS a Common Voice sydd yn y prawf cyhoeddedig. Nid yw hynny'n dweud eto pa mor dda y mae'r model yn trin sgwrs naturiol, cyfarfodydd dwyieithog, tafodieithoedd, enwau lleoedd, rhifau na sain swnllyd. Mae'r cerdyn ei hun yn rhybuddio y gall perfformiad mewn meysydd eraill amrywio.

Dau fodel testun newydd ar y mesurydd

Bu symudiad mawr ym meincnod testun AIsteddfod hefyd. Ar 9 Medi, cwblhaodd GPT-6 Astra bob un o 2,053 o achosion CymraegBench a sgorio 90.13 yn gyffredinol. Mae hynny 4.97 pwynt o flaen Claude Opus 5, gyda 89.49 ar resymu Cymraeg, 90.78 ar Gymraeg ymarferol a 74.10 BLEU ar gyfieithu deddfwriaethol.

Nid yw'r cyfartaledd yn berffaith. Dim ond 39% gafodd y model ar ddosbarthu lefelau CEFR. Yn Archwiliad Iaith y Coleg Cymraeg, cywirodd 96.88% o'r targedau ond dim ond 55.47% a gafodd ar esbonio'r cywiriadau. Mae hynny'n enghraifft dda o pam y dylid edrych o dan un sgôr fawr.

Ar 10 Medi, rhyddhaodd DeepSeek V4.1 Flash, model pwysau agored. Yn ein prawf lleol, sgoriodd 69.45 yn gyffredinol—7.82 pwynt yn uwch na V4-Flash-0731. Cododd y sgôr rhesymu 13.09 pwynt, ond dim ond 2.56 pwynt oedd y cynnydd mewn Cymraeg ymarferol.

Darlun papur o ddau fodel yn dringo grisiau sgôr, gyda chwyddwydr yn archwilio swigod llais — Mae'r safle cyffredinol yn symud, ond mae'r manylion yn datgelu cryfderau a bylchau gwahanol.

Mae'r manylion yn dangos patrwm cymysg. Cafodd DeepSeek V4.1 69.03 BLEU ar gyfieithu deddfwriaethol a 93.75% ar briod-ddulliau, ond 30% ar eirfa, 33% ar CEFR a 42% ar enwau lleoedd dwyieithog. Mae'n well model na'i ragflaenydd yn ôl y prawf hwn, ond nid yw'r cynnydd wedi'i rannu'n gyfartal ar draws y Gymraeg.

Nid yw'r tri chanlyniad yn cystadlu'n uniongyrchol. Model lleferydd yw BuzzASR; modelau testun cyffredinol yw GPT-6 Astra a DeepSeek V4.1 Flash. Gyda'i gilydd, maent yn dangos gwerth mesur y gallu penodol sydd ei angen, yn hytrach na dibynnu ar label “amlieithog”.

Gwers bwysig o newid iaith

Daeth rhybudd defnyddiol iawn o astudiaeth newydd o leferydd Saesneg–Iorwba. Profodd yr ymchwilwyr un ar ddeg o systemau ar 2,000 o ymadroddion. Roedd y system orau yn ôl cyfradd gwall geiriau gyffredinol yn edrych yn debyg i fodel sain blaenllaw.

Ond wrth fesur y geiriau o amgylch y newid rhwng ieithoedd, ymddangosodd darlun gwahanol. Roedd y gwall ar docynnau Iorwba tua 0.97 i bron bob system ffyddlon, ac roedd y methiannau'n cronni wrth newid i'r Iorwba. Roedd rhai modelau sain yn well ar y ffin, ond gallent gyfieithu yn lle trawsgrifio, ychwanegu geiriau neu ollwng darnau o'r cyfarwyddyd.

Mae hynny'n berthnasol iawn i'r Gymraeg. Gall trawsgrifiad cyfarfod edrych yn dda ar gyfartaledd gan fod llawer o'r geiriau Saesneg yn gywir, tra bod y system yn methu'n union pan fydd rhywun yn troi at y Gymraeg. Dylai prawf Cymreig fesur y newid i'r Gymraeg ar wahân.

Mae datblygiadau eraill yr wythnos yn ategu'r un wers. Mae CantoneseLLM v2 yn defnyddio rheolau iaith a sgript yn ystod dysgu atgyfnerthu er mwyn atal atebion rhag llithro i Fandarin safonol. Mae archwiliad o straeon Wrdw yn canfod gwallau gramadegol, ailadrodd a diffyg dyfnder diwylliannol na chafodd eu datrys drwy roi ychydig enghreifftiau i'r model. Ac mae archwiliad o adnodd lleferydd Cwrdeg Canol yn dangos sut y gall metadata, trwyddedau a phrofion sy'n gorgyffwrdd â hyfforddiant danseilio adnodd sydd fel arall yn edrych yn agored.

Y prawf sydd ei angen yng Nghymru

Y cam nesaf rhesymol yw gosod BuzzASR yn erbyn Whisper a gwasanaethau Cymraeg presennol ar set brawf annibynnol. Dylai gynnwys:

lleferydd clir a sgwrs naturiol, cyfarfodydd, darlledu a recordiadau ffôn swnllyd;
amrywiaethau gogleddol a deheuol, oedrannau a chyflymderau siarad gwahanol;
newid rhwng Cymraeg a Saesneg, gyda'r ffin i mewn i'r Gymraeg yn cael ei sgorio ar wahân;
enwau pobl a lleoedd, treigladau, rhifau, acronymau a thermau benthyg;
mesur o ystyr y trawsgrifiad, nid gwallau nodau a geiriau yn unig;
fersiynau sefydlog o'r modelau, rheolau normaleiddio cyhoeddedig a set brawf heb ei gweld wrth hyfforddi.

Nid oes rhaid aros am gorffws enfawr i ddechrau. Mae angen sampl gytbwys, trawsgrifiadau wedi'u gwirio gan bobl a phrotocol y gall eraill ei ailadrodd.

Cloi'r wythnos

Mae BuzzASR yn gam pendant: model Cymraeg arbenigol, pwysau y gellir eu lawrlwytho, trwydded glir a chanlyniadau fesul set brawf. Mae GPT-6 Astra yn gosod nenfwd newydd i fodelau testun ar CymraegBench, ac mae DeepSeek V4.1 Flash yn dangos cynnydd gwirioneddol mewn model pwysau agored.

Ond y prawf gorau yw'r un sy'n adlewyrchu'r defnydd. I lais Cymraeg, mae hynny'n golygu tafodiaith, sŵn, enwau a newid iaith. Mae'r model newydd yn rhoi ymgeisydd cryf inni. Y cyfraniad nesaf i Gymru yw adeiladu'r prawf annibynnol sy'n dweud wrthym ble y gallwn ymddiried ynddo.