Profi, mesur a meithrin AI Cymraeg
Gwerthusiadau → Claude Fable 5

Claude Fable 5 masnachol wedi'i fesur

Yn wythfed yn y sgorfwrdd estynedig, ond â chyfradd gwrthod anarferol ar gwestiynau bioleg.

Pedwar gwerthuswr yn astudio modelau haniaethol mewn arena brofi dryloyw

Y ffeithiau

DatblygwrAnthropic
Rhyddhawyd9 Mehefin 2026
DosbarthModel yn nosbarth «Mythos», y mae Anthropic yn ei osod uwchlaw Opus. Fable 5 yw'r fersiwn sydd ar gael yn gyffredinol; Mythos 5 yw'r fersiwn â mynediad cyfyngedig a llai o fesurau diogelwch.
Pris$10 / $50 y filiwn tocyn (mewnbwn/allbwn)
TrwyddedPerchnogol (API)

Y Gymraeg: dim data gan Anthropic

Y canlyniad amlieithog a ddyfynnir yn y cyhoeddiad yw tua 96% ar MGSM, meincnod mathemateg sy'n cynnwys deg iaith, ond nid y Gymraeg. Nid yw cyhoeddiad Anthropic yn crybwyll y Gymraeg, ac nid yw tabl 15 iaith y ddogfennaeth ar gyfer teulu Claude yn ei chynnwys chwaith. Fel yn achos y modelau eraill ar y sgorfwrdd, nid tystiolaeth o ddiffyg gallu yw hyn; mae'n dystiolaeth o ddiffyg mesur.

Mae'r cwestiwn yn berthnasol yn achos Fable oherwydd bod ei ragflaenydd eisoes wedi'i fesur. Cyrhaeddodd Opus 4.8 20.0% ar ddilys-am-7 a 13.5% ar addas+dilys+newydd ym mhrotocol cynghanedd Bangor AI. Gall ailadrodd y prawf gyda Fable helpu i fesur a oes newid yn ei allu yn y Gymraeg.

Canlyniad CymraegBench v0.1

Sgôr gyffredinolRhesymu CymraegCymraeg ymarferolCyfieithu BLEU
78.6483.7373.5669.46

Fable sydd yn wythfed ar ôl ychwanegu'r canlyniadau diweddaraf, ond gwrthododd 79 o 1,821 o geisiadau (4.34%). Roedd llawer yn gwestiynau bioleg ysgol a gafodd eu dosbarthu'n geisiadau «bio» gan system ddiogelwch Anthropic; sgoriodd pob gwrthodiad sero. Gweler y sgorfwrdd llawn a'r canlyniadau agored.

Beth sydd nesaf

Protocol y gynghanedd a phrofion ansoddol adroddiad y Coleg Cymraeg fydd y camau nesaf.