Qwen3.8 27B pwysau agored wedi'i fesur
Model 27B Qwen wedi'i brofi drwy OpenRouter: rhesymu Cymraeg cryf ac ymateb cyflawn i bob achos, ond bylchau amlwg mewn rhai profion iaith ymarferol.
Canlyniad CymraegBench v0.1
| Mesur | Sgôr |
|---|---|
| Sgôr gyffredinol | 70.47 |
| Rhesymu Cymraeg | 79.83 |
| Cymraeg ymarferol | 61.11 |
| Cyfieithu deddfwriaeth | 46.03 BLEU |
Daeth Qwen3.8 27B yn ddeuddegfed yn y sgorfwrdd estynedig, rhwng GLM-5.3 a GLM-5.2. Cwblhaodd bob un o'r 2,053 achos — y 1,821 o achosion craidd a 232 o achosion Archwiliad Iaith CCC — heb wrthodiad, allbwn annilys na gwall seilwaith.
Beth mae'r proffil yn ei ddangos?
Cryfderau
ARC-Easy Cymraeg 96, ARC-Challenge 90, COPA 93, MGSM Cymraeg 91, ToxiGen Cymraeg 95 ac ARC-Easy mini 96.
Profi dealltwriaeth
WNLI Cymraeg 84.51, XNLI Cymraeg 83 a MMLU-lite Cymraeg 81, gan arwain at sgôr rhesymu o 79.83.
Gwendidau mewn tasgau Cymraeg
Enwau lleoedd dwyieithog 12, lefelau CEFR 27, geiriau anweddus 28, geirfa 47 a gramadeg 50.
Mae'r BLEU cyfieithu deddfwriaethol o 46.03 yn uwch na sgôr Qwen3.5 9B, ond yn is na sgoriau'r modelau blaenllaw. Gan fod profion geirfa a geiriau anweddus yn cynnwys dosbarthiadau unochrog, dylid darllen y sgoriau hynny ochr yn ochr â'r proffil cyfan yn hytrach nag ar eu pennau eu hunain.
Archwiliad Iaith CCC
Cafodd y model gymedr beta o 73.53 ar draws y saith is-set CCC. Roedd yn gryf ar grynhoi a dyfynnu (91.19), cyfarwyddyd Cymraeg (91.67) a chyfeiriadau (87.81), ond yn wannach ar gywiro ac esbonio (40.94). Roedd ei sgôr cywiro o 39.06 wyth pwynt a hanner yn unig yn uwch na'i sgôr esbonio o 30.47 — y bwlch lleiaf ymhlith y pedwar model ar ddeg blaenllaw.
Sut cafodd y model ei brofi?
Profwyd y model qwen/qwen3.8-27b drwy OpenRouter, â thymheredd 0, hedyn hap 1, saith cais ar yr un pryd a hyd at 100 o achosion ym mhob set. Defnyddiwyd reasoning_effort=low; cadwyd y rhesymu ar wahân a sgoriwyd yr ateb terfynol yn unig. Gosodwyd terfyn o 32,768 o docynnau i bob ymateb er mwyn peidio â thorri'r rhesymu cyn iddo orffen, er mai 1,922 o docynnau oedd yr ymateb hiraf mewn gwirionedd. Daeth pob cais i ben â stop.
Lawrlwytho'r canlyniadau
- Crynodeb y sgôr (CSV)
- Sgoriau pob set (CSV)
- Dimensiynau Archwiliad Iaith CCC (CSV)
- Manylion y prawf (JSON)
Model: Qwen/Qwen3.8-27B · gwasanaeth API: OpenRouter · prawf cymraegbench-qwen3-8-27b-openrouter-v0.1 · 22 Awst 2026.