GLM-5.3 pwysau agored wedi'i fesur
Model rhesymu pwysau agored Z.ai, a gafodd ei ôl-hyfforddi o'r un model sylfaen â GLM-5.2. Fe'i profwyd drwy OpenRouter ar y set graidd ac Archwiliad Iaith CCC.
Canlyniad CymraegBench v0.1
| Mesur | Sgôr |
|---|---|
| Sgôr gyffredinol | 73.38 |
| Rhesymu Cymraeg | 77.31 |
| Cymraeg ymarferol | 69.44 |
| Cyfieithu deddfwriaeth | 58.05 BLEU |
Daeth GLM-5.3 yn unfed ar ddeg yn y sgorfwrdd estynedig, rhwng GLM-5.3 Flash a Qwen3.8 27B. Cwblhaodd bob un o'r 2,053 achos heb wrthodiad, allbwn annilys na gwall seilwaith terfynol.
Beth mae'r proffil yn ei ddangos?
Cryfderau
COPA Cymraeg 94, ARC-Easy Cymraeg 91, MGSM Cymraeg ac ARC-Easy mini 88, PIQA Cymraeg 87 ac ARC-Challenge Cymraeg 85.
Cymraeg ymarferol
ToxiGen 83, MMLU-Lite 81 a chofrestri 78 oedd y canlyniadau ymarferol cryfaf; sgôr y categori oedd 69.44.
Bylchau penodol
Lefelau CEFR 33, gramadeg 49 ac enwau lleoedd dwyieithog 51 oedd y profion craidd gwannaf.
Archwiliad Iaith CCC
Cafodd y model gymedr beta o 82.94 ar draws y saith is-set. Cafodd 95.83 ar ddilyn cyfarwyddyd Saesneg, 93.33 ar grynhoi a dyfynnu ac 89.17 ar gyfarwyddyd Cymraeg. Cywiro ac esbonio oedd yr is-set wannaf ar 67.58: cywiriad 70.31 ac esboniad 44.53.
Sut cafodd y model ei brofi?
Profwyd y model z-ai/glm-5.3 drwy OpenRouter, â thymheredd 0, hedyn hap 1, reasoning_effort=low a hyd at 100 o achosion ym mhob set graidd. Gofynnwyd i OpenRouter eithrio'r rhesymu o'r ymateb a sgoriwyd cynnwys yr ateb terfynol yn unig. Defnyddiwyd terfyn o 32,768 o docynnau i bob ymateb ar y cynnig cyntaf; ailadroddwyd 17 o geisiadau a oedd wedi rhoi ateb gwag neu anghyflawn, gan godi'r terfyn i 65,536 o docynnau. Cafwyd ateb cyflawn i bob un wedyn. Cost y galwadau llwyddiannus a gofnodwyd oedd $0.7541; roedd cyfanswm defnydd dyddiol yr allwedd ar ôl y prawf yn llai na $0.90.
Lawrlwytho'r canlyniadau
- Crynodeb y sgôr (CSV)
- Sgoriau pob set (CSV)
- Dimensiynau Archwiliad Iaith CCC (CSV)
- Manylion y prawf (JSON)
Model: zai-org/GLM-5.3 · gwasanaeth API: OpenRouter · trwydded GLM-5.3 · prawf cymraegbench-glm-5-3-openrouter-v0.1 · 28 Awst 2026.