Gwerthusiadau → Qwen3.8 2.4T-A95B

Qwen3.8 2.4T-A95B pwysau agored wedi'i fesur

Model MoE mawr Qwen, â 2.4 triliwn o baramedrau a 95 biliwn yn weithredol, wedi'i brofi drwy OpenRouter ar y set graidd ac Archwiliad Iaith CCC.

Pedwar gwerthuswr yn astudio modelau haniaethol mewn arena brofi dryloyw

Canlyniad CymraegBench v0.1

Mesur	Sgôr
Sgôr gyffredinol	81.09
Rhesymu Cymraeg	86.28
Cymraeg ymarferol	75.89
Cyfieithu deddfwriaeth	60.84 BLEU

Daeth Qwen3.8 2.4T-A95B yn chweched yn y sgorfwrdd estynedig, rhwng Claude Opus 4.8 a Qwen3.8 Flash. Dyma'r ail fodel pwysau agored uchaf yn y tabl, ar ôl Muse Spark 1.2. Cwblhaodd bob un o'r 2,053 achos heb wrthodiad, allbwn annilys na gwall seilwaith.

Beth mae'r proffil yn ei ddangos?

Rhesymu cryf

ARC-Easy Cymraeg 98, COPA Cymraeg 98, MGSM Cymraeg 97, ARC-Easy mini 96 ac ARC-Challenge Cymraeg 93.

Cymraeg ymarferol

ToxiGen Cymraeg 90, cofrestrau 85, geirfa 76 ac ie–na 74; sgôr y categori oedd 75.89.

Bylchau penodol

Lefelau CEFR 32, enwau lleoedd dwyieithog 51 a gramadeg 54 oedd y profion craidd gwannaf.

Archwiliad Iaith CCC

Cafodd y model gymedr beta o 89.99 ar draws y saith is-set, y chweched canlyniad uchaf. Cafodd 100 ar ddilyn cyfarwyddyd Cymraeg a Saesneg, 90.63 ar gyfeiriadau a thermau, 89.91 ar grynhoi a dyfynnu, ac 84.38 ar briod-ddull. Cywiro ac esbonio oedd yr is-set wannaf ar 74.38: cywiriad 79.69 ac esboniad 56.25.

Sut cafodd y model ei brofi?

Profwyd y model qwen/qwen3.8-2.4t-a95b drwy OpenRouter, â thymheredd 0, hedyn hap 1, saith cais ar yr un pryd a hyd at 100 o achosion ym mhob set graidd. Defnyddiwyd reasoning_effort=low; cadwyd y rhesymu ar wahân a sgoriwyd yr ateb terfynol yn unig. Gosodwyd terfyn o 32,768 o docynnau i bob ymateb er mwyn peidio â thorri'r rhesymu cyn iddo orffen. Cwblhawyd y 2,053 o geisiadau ar ôl ailadrodd un cais a fethodd oherwydd gwall dros dro yn yr API.

Lawrlwytho'r canlyniadau

Model: Qwen/Qwen3.8-2.4T-A95B · gwasanaeth API: OpenRouter · prawf cymraegbench-qwen3-8-2p4t-a95b-openrouter-v0.1 · 22 Awst 2026.