Attention Mechanism

ChatGPT, Gemini, Claude — ఇవన్నీ ఒక ముఖ్యమైన idea పై పని చేస్తాయి. ఆ idea పేరు Attention. ఈ blog లో మనం detailed mathematics తో దాన్ని పూర్తిగా అర్థం చేసుకుందాం.

CONCEPT 01Attention అంటే ఏమిటి?

ఒక sentence చదివేటప్పుడు ప్రతి word సమానంగా important కాదు. కొన్ని words మరికొన్ని words తో ఎక్కువ connected గా ఉంటాయి. Attention Mechanism ఈ connections ను mathematically నేర్చుకుంటుంది.

Core Idea: "ఏ word, ఏ word ను ఎక్కువ గమనించాలి?" — దీనికి mathematical గా answer చెప్పడమే Attention.

ఉదాహరణ: మన పూర్తి blog లో ఈ sentence ని use చేస్తాం మరియు exact numbers తో calculate చేద్దాం:

STEP 01Words → Embedding Vectors

Computer కి words అర్థం కావు కాబట్టి ప్రతి word ను numbers రూపంలో vector గా మారుస్తాం. మన example లో 4-dimensional vectors తో చూద్దాం.

INPUT EMBEDDING MATRIX X — 3 words × 4 dimensions

Word	d₁	d₂	d₃	d₄
Birds	1	0	1	0
fly	0	1	0	1
high	1	1	0	0

X is a (3 × 4) matrix. Real models లో ఈ vectors 512–12288 dimensions లో ఉంటాయి.

STEP 02Weight Matrices W^Q, W^K, W^V

Transformer లో మూడు learnable weight matrices ఉంటాయి. Training లో నేర్చుకుంటాయి. మన example లో d_model=4 → d_k=3.

STEP 03Q, K, V Matrices లెక్కించడం

X ను Weight matrices తో multiply చేసి Q, K, V ని step-by-step గా calculate చేద్దాం.

Q = X · W^Q → (3×4) · (4×3) = (3×3)

1

Birds_Q = [1,0,1,0] · W^Q
= [1×1+0×1+1×0+0×0, 1×0+0×0+1×0+0×1, 1×1+0×0+1×1+0×1]
= [1+0+0+0, 0+0+0+0, 1+0+1+0]
= [ 1, 0, 2 ]
2

fly_Q = [0,1,0,1] · W^Q
= [0+1+0+0, 0+0+0+1, 0+0+0+1]
= [ 1, 1, 1 ]
3

high_Q = [1,1,0,0] · W^Q
= [1+1+0+0, 0+0+0+0, 1+0+0+0]
= [ 2, 0, 1 ]

Result — Q Matrix:

Word	q₁	q₂	q₃
Birds	1	0	2
fly	1	1	1
high	2	0	1

K = X · W^K → (3×4) · (4×3) = (3×3)

1
Birds_K = [1,0,1,0]·W^K = [0+0+1+0, 1+0+0+0, 1+0+1+0] = [1, 1, 2]
2
fly_K = [0,1,0,1]·W^K = [0+1+0+0, 0+1+0+1, 0+0+0+1] = [1, 2, 1]
3
high_K = [1,1,0,0]·W^K = [0+1+1+0, 1+1+0+0, 1+0+1+0] = [2, 2, 2]

Result — K Matrix:

Word	k₁	k₂	k₃
Birds	1	1	2
fly	1	2	1
high	2	2	2

V = X · W^V → (3×4) · (4×3) = (3×3)

1
Birds_V = [1,0,1,0]·W^V = [1+0+0+0, 0+0+0+0, 0+0+1+0] = [1, 0, 1]
2
fly_V = [0,1,0,1]·W^V = [0+0+0+1, 0+1+0+0, 0+0+0+0] = [1, 1, 0]
3
high_V = [1,1,0,0]·W^V = [1+0+0+0, 0+1+0+0, 0+0+0+0] = [1, 1, 0]

Result — V Matrix:

Word	v₁	v₂	v₃
Birds	1	0	1
fly	1	1	0
high	1	1	0

Query (Q)

"Birds" ఏమి వెతుకుతుందో. Row = [1, 0, 2]

Key (K)

ప్రతి word offer చేయగలిగే information signal.

Value (V)

ప్రతి word యొక్క actual content.

STEP 04Score Matrix — S = Q · Kᵀ

Q ను K transpose తో multiply చేస్తాం. ఇది ప్రతి word pair మధ్య similarity ని కొలుస్తుంది.

S = Q · Kᵀ (3×3) · (3×3) = (3×3) — Birds row మాత్రమే shown

1

S[Birds, Birds] = Q_Birds · K_Birds
= [1,0,2] · [1,1,2] = 1×1 + 0×1 + 2×2 = 1+0+4 = 5
2

S[Birds, fly] = Q_Birds · K_fly
= [1,0,2] · [1,2,1] = 1×1 + 0×2 + 2×1 = 1+0+2 = 3
3

S[Birds, high] = Q_Birds · K_high
= [1,0,2] · [2,2,2] = 1×2 + 0×2 + 2×2 = 2+0+4 = 6

Full Score Matrix S:

Q \ K	Birds	fly	high
Birds	5	3	6 ⭐
fly	4	3	6 ⭐
high	6	4	8 ⭐

STEP 05Scaling — S ÷ √d_k

Scores చాలా large గా ఉంటే softmax లో gradients vanish అవుతాయి. d_k=3, √3≈1.732 తో divide చేద్దాం.

S_scaled = S / √3 ≈ S / 1.732 — Birds row

1
S[Birds,Birds] = 5 ÷ 1.732 ≈ 2.887
2
S[Birds,fly] = 3 ÷ 1.732 ≈ 1.732
3
S[Birds,high] = 6 ÷ 1.732 ≈ 3.464

S_scaled (Birds row) = [ 2.887, 1.732, 3.464 ]

ఎందుకు scale చేస్తారు? Large scores → softmax లో one value కి ~100% probability → gradient ≈ 0 → training fails. Scaling దీన్ని fix చేస్తుంది.

STEP 06Softmax — Probabilities గా మార్చడం

Softmax: softmax(xᵢ) = eˣⁱ / Σeˣʲ — scores ని 0–1 probabilities గా మారుస్తుంది, sum = 1.

softmax( [2.887, 1.732, 3.464] ) — Birds row

1
Calculate eˣ for each score
e^2.887 = 17.94 | e^1.732 = 5.65 | e^3.464 = 31.94
2
Sum of all eˣ values
Σ = 17.94 + 5.65 + 31.94 = 55.53
3
Divide each by sum
α(Birds) = 17.94 / 55.53 = 0.323 (32.3%)
α(fly) = 5.65 / 55.53 = 0.102 (10.2%)
α(high) = 31.94 / 55.53 = 0.575 (57.5%) ⭐
✓
Verify sum
0.323 + 0.102 + 0.575 = 1.000 ✓

అర్థం: "Birds" process చేసేటప్పుడు model "high" కి 57.5%, తనకు 32.3%, "fly" కి 10.2% attention ఇస్తుంది.

STEP 07Final Output — Z = A · V

చివరగా attention weights ని Value matrix తో multiply చేస్తాం. ఇది ప్రతి word కి context-aware representation ఇస్తుంది.

Z[Birds] = 0.323 × V_Birds + 0.102 × V_fly + 0.575 × V_high

1

Recall Values:
V_Birds = [1, 0, 1] | V_fly = [1, 1, 0] | V_high = [1, 1, 0]
2

Z[Birds][0] — first dimension:
0.323×1 + 0.102×1 + 0.575×1 = 0.323 + 0.102 + 0.575 = 1.000
3

Z[Birds][1] — second dimension:
0.323×0 + 0.102×1 + 0.575×1 = 0 + 0.102 + 0.575 = 0.677
4

Z[Birds][2] — third dimension:
0.323×1 + 0.102×0 + 0.575×0 = 0.323 + 0 + 0 = 0.323
✓

Z_Birds (final context-aware vector):
[ 1.000, 0.677, 0.323 ]

Full Output Matrix Z:

Word	z₁	z₂	z₃
Birds ✓	1.000	0.677	0.323
fly	1.000	0.684	0.310
high	1.000	0.705	0.295

BEFORE ATTENTION

Birds = [1, 0, 1, 0]
Isolated — no context

→

AFTER ATTENTION

Birds = [1.000, 0.677, 0.323]
Rich sentence-aware vector ✓

FULL FORMULAComplete Attention Formula

Q · Kᵀ

ప్రతి Query ని అన్ని Keys తో dot product → similarity. High = more related.

÷ √dₖ

Scores normalize చేయడం. d_k=3 → √3≈1.732 తో divide.

softmax(·)

e^x/Σe^x — అన్ని probabilities sum=1.

· V

Attention weights తో Values ని weighted sum → context-rich output.

CONCEPT 02Attention ఎందుకు Powerful?

OLD NLP (RNN / LSTM)

Words ను one-by-one process చేసేవి
Long-range dependencies miss అయ్యేవి
Parallel processing కాదు — slow
Vanishing gradient problem

TRANSFORMERS (Attention)

అన్ని words ఒకేసారి compare చేస్తాయి
Any-distance relations capture అవుతాయి
Fully parallel — GPU friendly
GPT, BERT, Claude, Gemini — all this

🎓 Classroom Analogy

Student doubt అడుగుతాడు → అది Query.

మిగతా students చేతులు ఎత్తుతారు → "నాకు తెలుసు" signal అది Key.

Teacher most relevant student నుండి answer తీసుకుంటాడు → ఆ actual answer అది Value.

Mathematically: teacher ప్రతి student కి softmax score ఇస్తాడు → weighted average of all answers — exactly like Z = A·V.

Attention వల్ల ఒక word, sentence లోని ఇతర words నుండి mathematically weighted గా useful information collect చేసుకుంటుంది — Z = softmax(QKᵀ/√dₖ)·V — ఇది Modern AI యొక్క heart.

Attention Mechanism:Q, K, V అంటే ఏమిటి?

CONCEPT 01Attention అంటే ఏమిటి?

STEP 01Words → Embedding Vectors

STEP 02Weight Matrices WQ, WK, WV

STEP 03Q, K, V Matrices లెక్కించడం

STEP 04Score Matrix — S = Q · Kᵀ

STEP 05Scaling — S ÷ √dk

STEP 06Softmax — Probabilities గా మార్చడం

STEP 07Final Output — Z = A · V

FULL FORMULAComplete Attention Formula

CONCEPT 02Attention ఎందుకు Powerful?

Attention Mechanism:
Q, K, V అంటే ఏమిటి?

STEP 02Weight Matrices W^Q, W^K, W^V

STEP 05Scaling — S ÷ √d_k