Part 1: How LLMs work - tokens, vectors, attention

Module 10 · Sat 19 Sep

LLMs மந்திர chat பெட்டிகள் அல்ல. அவை token அடிப்படையிலான அமைப்புகள், அவற்றின் நடத்தை context, prompting, product design-ஐப் பொறுத்தது - அதனால் PMs அடிப்படைகளைத் தெரிந்திருக்க வேண்டும்.

• Tokens தான் செலவுக்கும் செயலாக்கத்துக்குமான உண்மையான அலகு. Token எண்ணிக்கை ≠ சொல் எண்ணிக்கை - ஒரு சொல் பல tokens-ஆகப் பிரியலாம்.
• Vectors அர்த்தத்தைக் குறிக்கும் எண்கள்; அதிக dimensions = செழுமையான அர்த்தம். Attention முந்தைய முக்கியமான tokens-க்கு எடை கொடுத்து, சாதாரண vector-ஐ contextual vector-ஆக மாற்றுகிறது.
• Model next-token prediction மூலம் எழுதுகிறது, ஒரு நேரத்தில் ஒரு token.

Product levers: temperature (support, enterprise அல்லது உண்மை சார்ந்த assistants-க்குக் குறைவு; படைப்பு வெளியீட்டுக்கு அதிகம்), max tokens (default அல்ல, ஒவ்வொரு task-க்கும் ஏற்ப அமை), input வரம்புகள், model தேர்வு (பெரியது = அதிக திறன், அதிக விலை). செலவு, latency, user தேவை மூன்றையும் சேர்த்து சிந்தி.

அதிக context எப்போதும் சிறந்தது அல்ல - தொடர்புடைய context உதவும், இரைச்சலான context பாதிக்கும். பெரிய documents-ஐ paste செய்யாதே; தொடர்புடைய பகுதிகளை மட்டும் எடு (வகுப்பு இதை RAG, retrieval systems உடன் இணைத்தது). Domain context தான் business AI-ஐ வெறும் கவர்ச்சியாக அல்ல, பயனுள்ளதாக்குகிறது. Prototypes எளிது - validation தான் கடினமான பகுதி.