Profi, mesur a meithrin AI Cymraeg
Gwerthusiadau → Claude Opus 5

Claude Opus 5 masnachol wedi'i fesur

Yn ail yn sgorfwrdd estynedig CymraegBench â sgôr gyffredinol o 85.16.

Pedwar gwerthuswr yn astudio modelau haniaethol mewn arena brofi dryloyw

Y ffeithiau

DatblygwrAnthropic
Rhyddhawyd24 Gorffennaf 2026
ID yr APIclaude-opus-5
Pris$5 / $25 y filiwn tocyn (mewnbwn/allbwn)
Cyd-destun1 miliwn o docynnau; hyd at 128,000 o docynnau allbwn
TrwyddedPerchnogol (API)

Ffynonellau'r model: nodiadau rhyddhau Claude Platform a'r trosolwg modelau.

Canlyniad CymraegBench

Sgôr gyffredinolRhesymu CymraegCymraeg ymarferolCyfieithu BLEU
85.1689.7780.5670.37

Defnyddiwyd yr un sampl ag yn y profion ar y modelau blaenllaw eraill, wedi'i dewis drwy ddull sy'n rhoi'r un achosion bob tro: hyd at 100 o achosion o bob un o'r 19 o setiau craidd, ag hedyn hap 1. Gosodwyd effort=low yn benodol, fel yn y prawf ar Fable 5, a defnyddiwyd lleiafswm allbwn o 512 o docynnau gan fod y modd rhesymu addasol ymlaen yn ddiofyn. Nid yw'r 232 o achosion CCC yn cyfrannu at y sgôr gyffredinol.

Opus 5 sydd yn ail yn y sgorfwrdd estynedig: 4.97 pwynt y tu ôl i GPT-6 Astra, 2.15 pwynt o flaen Muse Spark 1.2, a 2.22 o flaen GPT-5.6 Sol. Cwblhaodd bob un o'r 2,053 o achosion heb wrthodiad nac allbwn annilys. Cafwyd un ymateb gwag dros dro gan yr API; llwyddodd ailgais ar yr un achos wrth ailddechrau o'r man lle cadwyd y cynnydd.

Archwiliad Iaith CCC

Is-setSgôr
Cywiro ac esbonio91.48
Priod-ddull96.88
Termau96.88
Crynhoi a dyfynnu87.71
Cyfeiriadau72.34
Cyfarwyddyd Cymraeg100.00
Cyfarwyddyd Saesneg100.00
Cymedr y saith is-set92.18

Roedd y cywiriadau'n gryf (96.88), ond y sgôr esbonio oedd 60.94. Ar y prawf cyfeiriadau, ni ddyfeisiodd Opus 5 ID ffynhonnell, ond roedd ei sgôr am gynnwys yr ateb yn 64.06. Mae'r proffil yn dangos pam mae'r archwiliad yn cadw'r dimensiynau ar wahân.

Gweler y sgorfwrdd llawn, Archwiliad Iaith CCC a'r canlyniadau agored.