GPT-6 Astra masnachol wedi'i fesur
Model blaenllaw OpenAI, wedi'i brofi drwy OpenRouter ar y set graidd ac Archwiliad Iaith CCC.
Canlyniad CymraegBench v0.1
| Mesur | Sgôr |
|---|---|
| Sgôr gyffredinol | 90.13 |
| Rhesymu Cymraeg | 89.49 |
| Cymraeg ymarferol | 90.78 |
| Cyfieithu deddfwriaeth | 74.10 BLEU |
GPT-6 Astra sydd gyntaf yn y sgorfwrdd estynedig, 4.97 pwynt o flaen Claude Opus 5. Cwblhaodd bob un o'r 2,053 achos heb wrthodiad, allbwn annilys, ailgais na gwall seilwaith.
Beth mae'r proffil yn ei ddangos?
Rhesymu cryf
Cafodd 100 ar ARC-Easy Cymraeg ac MGSM Cymraeg, a 99 ar ARC-Challenge Cymraeg a COPA Cymraeg. Sgôr y categori rhesymu oedd 89.49.
Cymraeg ymarferol
Cafodd 100 ar eirfa, 97 ar regfeydd, 96 ar ARC-Easy mini a 95 ar MMLU-Lite. Y sgôr ymarferol o 90.78 yw'r uchaf yn y tabl.
Y prif wendid
Lefelau CEFR oedd y prawf craidd gwannaf ar 39. Mae hyn yn dangos pam mae proffil fesul set yn fwy defnyddiol nag un sgôr ar ei phen ei hun.
Archwiliad Iaith CCC
Cafodd y model gymedr beta o 84.26 ar draws y saith is-set, y degfed canlyniad uchaf. Cafodd 96.88 ar briod-ddull a thermau, 92.42 ar gywiro ac esbonio, 92.26 ar grynhoi a dyfynnu, ac 89.69 ar gyfeiriadau. Dilyn cyfarwyddyd Cymraeg a Saesneg oedd y gwendid penodol: 60.83 yn y ddwy iaith. O fewn y prawf cywiro, cafodd 96.88 am y cywiriad ond 55.47 am yr esboniad.
Sut cafodd y model ei brofi?
Profwyd y model openai/gpt-6-astra drwy OpenRouter, ag hedyn hap 1, reasoning_effort=low, saith galwad ar yr un pryd a hyd at 100 o achosion ym mhob set graidd. Nid yw API GPT-6 yn derbyn temperature, felly hepgorwyd y paramedr hwnnw. Gosodwyd terfyn o 32,768 o docynnau i bob ymateb fel bod y rhesymu cudd yn gallu gorffen, a sgoriwyd yr ateb terfynol yn unig.
Defnyddiodd y prawf 248,950 o docynnau mewnbwn a 64,754 o docynnau allbwn. O'r allbwn, roedd 37,821 yn docynnau rhesymu cudd a 26,933 yn docynnau ateb gweladwy. Cost y 2,053 o alwadau oedd $5.7272; mae'r cyfanswm hwn yn cyfateb i'r newid a gofnodwyd ar yr allwedd OpenRouter.
Lawrlwytho'r canlyniadau
- Crynodeb y sgôr (CSV)
- Sgoriau pob set (CSV)
- Dimensiynau Archwiliad Iaith CCC (CSV)
- Manylion y prawf (JSON)
Model: GPT-6 Astra · gwasanaeth API: OpenRouter · prawf cymraegbench-gpt-6-astra-openrouter-v0.1 · 9 Medi 2026.