Claude Fable 5.1 masnachol wedi'i fesur
Yn nawfed yn sgorfwrdd estynedig CymraegBench â sgôr gyffredinol o 80.53.
Y ffeithiau
| Datblygwr | Anthropic |
|---|---|
| ID OpenRouter | anthropic/claude-fable-5.1 |
| Pris y prawf | $10 / $50 y filiwn tocyn (mewnbwn/allbwn) |
| Cyd-destun | 1 miliwn o docynnau; hyd at 128,000 o docynnau allbwn |
| Cost y rhediad llawn | $7.31 |
Canlyniad CymraegBench
| Sgôr gyffredinol | Rhesymu Cymraeg | Cymraeg ymarferol | Cyfieithu BLEU |
|---|---|---|---|
| 80.53 | 86.05 | 75.00 | 71.07 |
Defnyddiwyd yr un sampl ag yn y profion ar y modelau blaenllaw eraill: hyd at 100 o achosion o bob un o'r 19 o setiau craidd, ag reasoning_effort=low. Nid yw'r 232 o achosion CCC yn cyfrannu at y sgôr gyffredinol.
Fable 5.1 sydd yn nawfed yn y sgorfwrdd estynedig: 0.20 pwynt y tu ôl i MiMo V2.6 Pro a 0.72 pwynt o flaen Qwen3.8 Flash. Cwblhaodd 2,052 o'r 2,053 o achosion.
Nodyn am yr allbwn annilys: dychwelodd un achos PIQA ateb gwag. Parhaodd yn wag ar ôl ailgeisio â therfynau o 2,048, 8,192 ac 16,384 o docynnau, felly cafodd sgôr o sero. Ni chafwyd gwall seilwaith heb ei ddatrys.
Archwiliad Iaith CCC
| Is-set | Sgôr |
|---|---|
| Cywiro ac esbonio | 93.91 |
| Priod-ddull | 100.00 |
| Termau | 93.75 |
| Crynhoi a dyfynnu | 92.92 |
| Cyfeiriadau | 76.56 |
| Cyfarwyddyd Cymraeg | 100.00 |
| Cyfarwyddyd Saesneg | 100.00 |
| Cymedr y saith is-set | 93.88 |
Cafodd Fable 5.1 96.88 am gywiro a 63.28 am esbonio. Ar y prawf cyfeiriadau cafodd 78.13 am ddewis cyfeiriadau, 65.63 am gynnwys yr ateb, a 100 am beidio â dyfeisio ffynhonnell.
Gweler y sgorfwrdd llawn, Archwiliad Iaith CCC, neu lawrlwythwch y crynodeb, sgoriau fesul set, dimensiynau CCC a'r metadata.