Profi, mesur a meithrin AI Cymraeg
Gwerthusiadau → Mistral Large 4

Mistral Large 4 masnachol wedi'i fesur

Yn safle 23 yn sgorfwrdd estynedig CymraegBench â sgôr gyffredinol o 59.93.

Pedwar gwerthuswr yn astudio modelau haniaethol mewn arena brofi dryloyw

Y ffeithiau

DatblygwrMistral AI
ID OpenRoutermistralai/mistral-large-4-0
Pris y prawf$0.68 / $2.09 y filiwn tocyn (mewnbwn/allbwn)
Cyd-destun1,048,576 o docynnau
Cost y rhediad llawn$0.23

Canlyniad CymraegBench

Sgôr gyffredinolRhesymu CymraegCymraeg ymarferolCyfieithu BLEU
59.9366.0853.7859.28

Defnyddiwyd hyd at 100 o achosion o bob un o'r 19 o setiau craidd. Mae OpenRouter yn cynnig reasoning_effort=high neu none yn unig ar y llwybr hwn; defnyddiwyd none fel y gosodiad isaf sydd ar gael. Cwblhaodd y model bob un o'r 2,053 achos; ailgeisiwyd tri gwall API dros dro yn llwyddiannus.

Mistral Large 4 sydd yn safle 23: 1.70 pwynt y tu ôl i DeepSeek V4-Flash-0731 a 1.80 pwynt o flaen Grok 4.20.

Archwiliad Iaith CCC

Is-setSgôr
Cywiro ac esbonio59.30
Priod-ddull84.38
Termau53.13
Crynhoi a dyfynnu96.07
Cyfeiriadau73.75
Cyfarwyddyd Cymraeg93.33
Cyfarwyddyd Saesneg95.83
Cymedr y saith is-set79.40

Cafodd Mistral Large 4 71.88 am gywiro a 42.97 am esbonio. Cryfhau ar grynhoi a dilyn cyfarwyddyd oedd ei brif gryfderau yn yr archwiliad; y prawf termau oedd y gwannaf.

Gweler y sgorfwrdd llawn, Archwiliad Iaith CCC, neu lawrlwythwch y crynodeb, sgoriau fesul set, dimensiynau CCC a'r metadata.