Muse Spark 1.2 pwysau agored wedi'i fesur
Yn drydydd yn sgorfwrdd estynedig CymraegBench â sgôr gyffredinol o 83.01.
Y ffeithiau
| Datblygwr | Meta |
|---|---|
| Gwasanaeth a ddefnyddiwyd ar gyfer y prawf | OpenRouter |
| ID yr API | meta/muse-spark-1.2 |
| Cyd-destun | 1,048,576 o docynnau |
| Dosbarthiad | Pwysau agored |
Ffynhonnell y model a'r gwasanaeth API: catalog OpenRouter.
Canlyniad CymraegBench
| Sgôr gyffredinol | Rhesymu Cymraeg | Cymraeg ymarferol | Cyfieithu BLEU |
|---|---|---|---|
| 83.01 | 85.68 | 80.33 | 71.46 |
Defnyddiwyd yr un sampl ag yn y profion ar y modelau blaenllaw eraill, wedi'i dewis drwy ddull sy'n rhoi'r un achosion bob tro: hyd at 100 o achosion o bob un o'r 19 o setiau craidd. Gosodwyd effort=low yn benodol. Nid yw API Meta yn cynnal paramedr seed, felly hepgorwyd ef a chofnodwyd hynny yn y metadata. Defnyddiwyd terfyn allbwn o hyd at 8,192 o docynnau fel bod y rhesymu cudd yn gallu gorffen heb dorri'r ateb. Nid yw'r 232 o achosion CCC yn cyfrannu at y sgôr gyffredinol.
Muse Spark 1.2 sydd yn drydydd yn y sgorfwrdd estynedig: 0.07 pwynt o flaen GPT-5.6 Sol, 2.15 pwynt y tu ôl i Claude Opus 5, a 7.12 y tu ôl i GPT-6 Astra. Cwblhaodd bob un o'r 2,053 o achosion heb wrthodiad nac allbwn annilys.
Archwiliad Iaith CCC
| Is-set | Sgôr |
|---|---|
| Cywiro ac esbonio | 84.22 |
| Priod-ddull | 100.00 |
| Termau | 96.88 |
| Crynhoi a dyfynnu | 90.83 |
| Cyfeiriadau | 87.34 |
| Cyfarwyddyd Cymraeg | 73.33 |
| Cyfarwyddyd Saesneg | 77.50 |
| Cymedr y saith is-set | 87.16 |
Roedd y cywiriadau'n gryf (85.94), ond y sgôr esbonio oedd 63.28. Cafodd Muse 100 am beidio â dyfeisio ID ffynhonnell, a 70.31 am gynnwys yr ateb. Roedd y sgôr gyda'r cyfarwyddyd Saesneg 4.17 pwynt yn uwch na'r sgôr gyda'r cyfarwyddyd Cymraeg yn y prawf hwn.
Gweler y sgorfwrdd llawn, Archwiliad Iaith CCC a'r canlyniadau agored.