ChatGPT iyo AI-yada lamidka eh waxaa la dhahaa Large Language Models (LLMs).

Si fudud sidee ushaqeeyaan?

LLMs-ka waxa lee sameeyaan, markaa qoraal uqortid, waxee qiyasayaan ereyadaan laguu sooqoray maxaa ku xigi jiray caadiyaan.

Tusaale: Hadaa AI uqortid:

“caasimada somalia magaceed ”

AI-ga waxuu heestaa data badan oo lagu tababaray, badana waxaa kala dageen internetka. Waxuu sameenaa list oo ereyo eh uu ka soo dhex helay datadii lagu traingareeyay.

Tusaale ahaan, gudaha modelka waxuu ka fiirinaa sidaan oo kale (tani waa inuu isagaa ku jirto maskaxdiisa, adiga ma arkeysid):

• Caasimada somaliya ___
  • waa [80%]
  • Mogadishu [75%]
  • xamar [65%]
  • kismaayo [50%]

Ereyadaan probability bay wataan, oo ah fursad ay sax ku noqon karaan. Tusaalaha kore, datada modelka lagu tababaray waxaa badanaa ku xigeysay “caasimada somalia” ereyga “waa”. Sababtoo ah dadka badanaa “caasimada Somalia Mogadishu” maqoraan; af-Soomaali natural ah ma’ahan. Statistically midka udhow aa qiyaasoonaa, so “waa” buu qaataa:

Caasimada somaliya waa ___

Markaas waxaa markale loo gelinaa AI-ga, hadane wuu qiyaasaa ereyga ku xiga:

• Caasimada somaliya waa ___
  • Mogadishu [90%]
  • xamar [60%]
  • kismaayo [50%]

Markaas ayuu dhahaa:

Caasimada somaliya waa Mogadishu.

Uma baahnid inaa ML engineer noqotid si aad u fahamtid. Marka LLM maqashid, maskaxda ha kaaga soo dhacdo: waxaa lee qiyaasaa ereygaan ereyga ku xigo, maaha iney sida bani-aadamka jumlad dhameestiran u akhrinayaan oo fahmayaan.

Tokens

Kor waxaan aad u isticmaalayay ereyga “erey”, markaan sharxaayey LLMs; lkn sida saxda ah waxaa la dhahaa token.

Token waxaa waaye: markee LLM-yadu qiyaasta sameynayaan, qoraalka waxee u jajibiyaan qaybo yaryar oo la dhaho tokens. Token mararka qaarkood waa ka weynaan karaa erey, mararka qaar ka yaraan karaa.

Hadaa rabtid inaad aragtid ChatGPT tokenization suu u sameeyo, ka fiiri:

• https://platform.openai.com/tokenizer

Halkaas waxaad ku arkeysaa qoraal kasta in tokens loo kala jabinayo.

@abdinajibai