Profi, mesur a meithrin AI Cymraeg
Gwerthusiadau → Muse Glimmer 30B

Muse Glimmer 30B pwysau agored wedi'i fesur

Yn bymthegfed yn sgorfwrdd estynedig CymraegBench â sgôr gyffredinol o 70.64.

Pedwar gwerthuswr yn astudio modelau haniaethol mewn arena brofi dryloyw

Y ffeithiau

DatblygwrMeta
ID OpenRoutermeta/muse-glimmer-30b
Maint30 biliwn o baramedrau
Pris y prawf$0.30 / $1.20 y filiwn tocyn (mewnbwn/allbwn)
Cyd-destun131,072 o docynnau; hyd at 16,384 o docynnau allbwn
Cost y rhediad llawn$0.62

Ffynhonnell y model: cerdyn Muse Glimmer 30B ar Hugging Face.

Canlyniad CymraegBench

Sgôr gyffredinolRhesymu CymraegCymraeg ymarferolCyfieithu BLEU
70.6477.5063.7860.71

Defnyddiwyd yr un sampl ag yn y profion ar y modelau blaenllaw eraill: hyd at 100 o achosion o bob un o'r 19 o setiau craidd, ag reasoning_effort=low a therfyn allbwn o 8,192 o docynnau. Nid yw'r 232 o achosion CCC yn cyfrannu at y sgôr gyffredinol.

Glimmer sydd yn bymthegfed yn y sgorfwrdd estynedig: 2.74 pwynt y tu ôl i GLM-5.3 a 0.17 pwynt o flaen Qwen3.8 27B. Cwblhaodd bob un o'r 2,053 o achosion heb wrthodiad nac allbwn annilys.

Archwiliad Iaith CCC

Is-setSgôr
Cywiro ac esbonio61.72
Priod-ddull96.88
Termau87.50
Crynhoi a dyfynnu91.07
Cyfeiriadau90.63
Cyfarwyddyd Cymraeg100.00
Cyfarwyddyd Saesneg85.83
Cymedr y saith is-set87.66

Cafodd Glimmer 65.63 am gywiro a 35.94 am esbonio. Ar y prawf cyfeiriadau cafodd 100 am ddewis cyfeiriadau, 68.75 am gynnwys yr ateb, a 100 am beidio â dyfeisio ffynhonnell.

Gweler y sgorfwrdd llawn, Archwiliad Iaith CCC, neu lawrlwythwch y crynodeb, sgoriau fesul set, dimensiynau CCC a'r metadata.