Qwen3.8 Flash wedi'i fesur
Model rhesymu amlfoddol Qwen wedi'i brofi drwy OpenRouter ar y set graidd ac Archwiliad Iaith CCC.
Canlyniad CymraegBench v0.1
| Mesur | Sgôr |
|---|---|
| Sgôr gyffredinol | 79.81 |
| Rhesymu Cymraeg | 84.06 |
| Cymraeg ymarferol | 75.56 |
| Cyfieithu deddfwriaeth | 58.79 BLEU |
Daeth Qwen3.8 Flash yn seithfed yn y sgorfwrdd estynedig, rhwng Qwen3.8 2.4T-A95B a Claude Fable 5. Cafodd sgôr ar bob un o'r 2,053 achos: 2,052 ateb cyflawn ac un allbwn annilys a sgoriodd sero. Ni chafwyd gwrthodiad na gwall seilwaith heb ei ddatrys.
Beth mae'r proffil yn ei ddangos?
Rhesymu cryf
ARC-Easy a COPA Cymraeg 98, MGSM Cymraeg 97, ARC-Challenge ac ARC-Easy mini 94, a MMLU-lite Cymraeg 90.
Cymraeg ymarferol
ToxiGen Cymraeg 94, cofrestrau 87, gramadeg 78, geirfa 75 ac ie–na 70; sgôr y categori oedd 75.56.
Bylchau penodol
Enwau lleoedd dwyieithog a lefelau CEFR, y ddau ar 33, oedd y profion craidd gwannaf.
Archwiliad Iaith CCC
Cafodd y model gymedr beta o 91.92 ar draws y saith is-set, y pedwerydd canlyniad uchaf. Cafodd 100 ar ddilyn cyfarwyddyd Cymraeg a Saesneg, 95.18 ar grynhoi a dyfynnu, 93.75 ar briod-ddull ac 89.22 ar gyfeiriadau. Ar gywiro ac esbonio, cafodd 89.06 am y cywiriad a 58.59 am yr esboniad.
Sut cafodd y model ei brofi?
Profwyd y model qwen/qwen3.8-flash drwy OpenRouter, â thymheredd 0, hedyn hap 1 a hyd at 100 o achosion ym mhob set graidd. Roedd modd rhesymu'r model ymlaen yn ddiofyn; cadwyd y rhesymu ar wahân a sgoriwyd cynnwys yr ateb terfynol yn unig. Defnyddiwyd terfyn o 32,768 o docynnau i bob ymateb yn gyffredinol. Cyrhaeddodd un ymateb i achos CCC y terfyn hwnnw, ac yna'r uchafswm 131,072 o docynnau heb gynhyrchu ateb terfynol; cofnodwyd ef yn annilys â sgôr sero, yn unol â'r protocol.
Lawrlwytho'r canlyniadau
- Crynodeb y sgôr (CSV)
- Sgoriau pob set (CSV)
- Dimensiynau Archwiliad Iaith CCC (CSV)
- Manylion y prawf (JSON)
Model: Qwen/Qwen3.8-Flash-Next (y model pwysau agored sy'n sail i wasanaeth Flash) · gwasanaeth API: OpenRouter · prawf cymraegbench-qwen3-8-flash-openrouter-v0.1 · 27 Awst 2026.