Part 1: How LLMs work - tokens, vectors, attention

Module 10 · Sat 19 Sep

LLMs कोई magic chat box नहीं हैं। ये token-based systems हैं जिनका behaviour context, prompting और product design पर depend करता है - इसलिए PMs को basics पता होने चाहिए।

• Tokens cost और processing की असली unit हैं। Token count ≠ word count - एक word कई tokens में टूट सकता है।
• Vectors वो numbers हैं जो meaning represent करते हैं; ज़्यादा dimensions = ज़्यादा rich meaning. Attention पहले के ज़रूरी tokens को weight देता है, और एक plain vector को contextual vector बना देता है।
• Model next-token prediction से लिखता है, एक-एक token करके।

Product levers: temperature (support, enterprise या factual assistants के लिए low; creative output के लिए ज़्यादा), max tokens (हर task के हिसाब से set करो, default से नहीं), input limits और model choice (बड़ा = ज़्यादा capable, ज़्यादा महँगा). Cost, latency और user need को साथ में सोचो।

ज़्यादा context हमेशा बेहतर नहीं - relevant context मदद करता है, noisy context नुकसान करता है। बड़े documents paste मत करो; relevant हिस्से retrieve करो (class ने इसे RAG और retrieval systems से जोड़ा)। Domain context ही business AI को useful बनाता है, सिर्फ़ impressive नहीं। और prototypes आसान हैं - validation मुश्किल हिस्सा है।