គណនា Regression

1ទិន្នន័យ (Data)

ជំហាននេះជាអ្វី

ទិន្នន័យ = គូ (x, y)។ Regression នឹងរក អនុគមន៍ (function) f(x) ដែលទស្សន៍ទាយ y ពី x។

data = { (x₁, y₁), (x₂, y₂), …, (xₙ, yₙ) }

អថេរ (variables):

x — អថេរឯករាជ្យ (independent variable) ឬ input y — អថេរអាស្រ័យ (dependent variable) ឬ output n — ចំនួនចំណុចសង្កេត (number of observations)

ការប្រើប្រាស់ជាក់ស្តែង (In practice): គូសទិន្នន័យជាមុន។ មើលរាង — បន្ទាត់ត្រង់? ខ្សែកោង? រាង S? — នោះកំណត់ថាត្រូវជ្រើស model ណា។

x — អថេរឯករាជ្យ	y — អថេរអាស្រ័យ

CSV ឬ ចន្លោះខណ្ឌ (whitespace-separated)

ទម្រង់៖ បន្ទាត់មួយ = ចំណុចមួយ។ ជួរចុងក្រោយគឺ y។ ឧទាហរណ៍ 1, 2, 3.5 មានន័យថា x₁=1, x₂=2, y=3.5។

ជួរទីមួយអាចជា ក្បាលតារាង (header) — ប្រសិនបើមិនមែនជាលេខ វានឹងត្រូវបានរំលង។ គាំទ្រ ពហុលក្ខណៈ (multi-feature)៖ x1,x2,y។

ឯកសារ CSV ឬ TXT

ឯកសារគួរមានទម្រង់ដូចជា paste៖ លេខខណ្ឌដោយសញ្ញាក្បៀស ឬ ចន្លោះ។

មិនមានទិន្នន័យ។

ការរៀបចំទិន្នន័យ (Data preparation)

លុបជួរដែលមានតម្លៃបាត់ (drop missing) លុបចំណុចណាដែល x ឬ y ជា NaN ឬ ទទេ។ លុបតម្លៃក្រៅបណ្តាញ (remove outliers — |z| > 3) លុបចំណុចដែលនៅឆ្ងាយជាង 3 ដងនៃគម្លាតស្តង់ដារ (z-score) ពីមធ្យម។

2ជ្រើស Model

របៀបជ្រើសរាង (shape)

Model នីមួយៗសន្មត រាង (shape)។ គុណភាពនៃការ fit អាស្រ័យលើរាងត្រូវនឹងទិន្នន័យ។

y = f(x; β₀, β₁, …) + ε

អថេរ (variables):

f — អនុគមន៍ (function) ដែលអ្នកជ្រើស (ឧ. បន្ទាត់ត្រង់, ខ្សែកោង) β₀, β₁, … — មេគុណ (coefficients) ដែលគណិតវិទ្យារក ε — សំណល់ (error / residual) — ភាពខុសគ្នារវាង y ពិត និង ŷ

ការប្រើប្រាស់ជាក់ស្តែង (In practice): ប្រើការបង្ហាញរាង (shape preview) ខាងក្រោម។ ចាប់ផ្តើមដោយ Linear បើមិនច្បាស់។

ដឺក្រេ (degree) — poly / spline

ដឺក្រេនៃ polynomial។ ខ្ពស់ពេក → overfitting។ ទាបពេក → underfitting។

λ — កម្រិត regularization

ទណ្ឌកម្មលើមេគុណធំ។ λ ធំ → មេគុណតូច, កាត់បន្ថយ overfitting។ λ = 0 → គ្មាន penalty។

α — លាយ elastic (elastic mix)

α = 0 → Ridge (L2)។ α = 1 → Lasso (L1)។ 0 < α < 1 → លាយទាំងពីរ។

ចំនួនជុំ (iterations)

ចំនួនជុំអតិបរមាសម្រាប់ iterative solver (Lasso, Logistic, Poisson, …)។ ច្រើនពេកយឺត, តិចពេកមិន converge។

3ការវាយតម្លៃ (Validation)

ការវាយតម្លៃពិតប្រាកដ

Metrics ក្នុងគំរូ (in-sample) អាចបោកប្រាស់។ យើងបែងចែកទិន្នន័យជា ការបង្វឹក (train) និង ការធ្វើតេស្ត (test)។

ការបែងចែក Train/Test: n_train = (1 − ទំហំតេស្ត) × n n_test = ទំហំតេស្ត × n k-Fold Cross-Validation: បែងចែកជា k ផ្នែកស្មើគ្នា សម្រាប់ i = 1..k: បង្វឹកលើផ្នែកទាំងអស់ លើកលែង i ធ្វើតេស្តលើផ្នែក i គណនាមធ្យមនៃពិន្ទុទាំង k

អថេរ (variables):

n_train — ចំនួនចំណុចសម្រាប់បង្វឹក n_test — ចំនួនចំណុចសម្រាប់ធ្វើតេស្ត k — ចំនួនផ្នែកក្នុង CV CV R² — មធ្យមនៃ R² លើ k ផ្នែក + គម្លាតស្តង់ដារ (std)

ការប្រើប្រាស់ជាក់ស្តែង (In practice): ទំហំតេស្ត 20–30% ជាធម្មតា។ k = 5 ឬ 10 សម្រាប់ CV។ បើ CV R² << in-sample R² → overfitting។

បើកការធ្វើតេស្តឆ្លងកាត់ (cross-validation) បើក → គណនា CV R² បន្ថែមពី in-sample R²។

ទំហំតេស្ត (test size)

សមាមាត្រនៃទិន្នន័យសម្រាប់ធ្វើតេស្ត។ ឧ. 0.2 = 20%។

ចំនួនផ្នែក k (k-folds)

ចំនួនផ្នែកសម្រាប់ CV។ 5 ឬ 10 ជាទូទៅ។

4Fit

ការ Fit ធ្វើអ្វី

រក មេគុណ (coefficients) β ដែលបន្ថយ ការបាត់បង់ (loss) តិចបំផុត។

OLS: β̂ = (XᵀX)⁻¹ Xᵀy Ridge: β̂ = (XᵀX + λI)⁻¹ Xᵀy (intercept មិន penalize) Lasso: ចុះចំណោទ (coordinate descent) លើ Σ(yᵢ−ŷᵢ)² + λΣ|βⱼ|

អថេរ (variables):

X — ម៉ាទ្រីសរចនា (design matrix) ដែលមានជួរឈរ intercept + លក្ខណៈ y — វ៉ិចទ័រនៃតម្លៃពិត β̂ — មេគុណដែលបានប៉ាន់ស្មាន ("hat" = estimated) λ — កម្រិត regularization (ដូចខាងលើ) I — ម៉ាទ្រីសឯកតា (identity matrix)

ការប្រើប្រាស់ជាក់ស្តែង (In practice): ចុច Fit។ ពិនិត្យតារាងមេគុណ — p-value < 0.05 = មានន័យស្ថិតិ (statistically significant)។

–

R² ?

–

RMSE ?

–

MAE ?

–

CV R² (មធ្យម) ?

–

R² កែសម្រួល ?

📊 តារាងមេគុណ (Coefficient table)

តម្រូវម៉ូដែល ដើម្បីមើលតារាង។

📐 ពន្យល់រូបមន្តតារាងមេគុណ

កំហុសស្តង់ដារ (Standard Error — SE)

វាស់ភាពមិនច្បាស់នៃមេគុណ។ SE តូច = តម្លៃជឿជាក់ខ្ពស់។

Var(β̂) = σ² (XᵀX)⁻¹ SE(β̂ⱼ) = √[Var(β̂)ⱼⱼ] ដែល σ² = RSS / (n − p) (p = ចំនួនជួរឈរក្នុង X រួម intercept)

អថេរ៖ σ² = បំរែបំរួលសំណល់ (residual variance) · RSS = ផលបូកកំហុសការេ (residual sum of squares) · n = ចំនួនចំណុច · p = ចំនួនជួរឈរ design matrix

តម្លៃ t (t-statistic)

ប្រៀបធៀបមេគុណទៅនឹង SE របស់វា។

tⱼ = β̂ⱼ / SE(β̂ⱼ) tⱼ ~ បំណែងចែក Student-t ជាមួយ df = n − p

តម្លៃ |t| ធំ → មេគុណមានន័យស្ថិតិ។

តម្លៃ p (p-value)

ប្រូបាប៊ីលីតេដែលមេគុណពិតជាស្មើ 0 (H₀: βⱼ = 0)។

p = 2 × P(T > |tⱼ|) ដែល T ~ t(n − p) ការបកស្រាយ: p < 0.001 → *** មានន័យខ្លាំង p < 0.01 → ** មានន័យ p < 0.05 → * មានន័យ p ≥ 0.05 → គ្មានន័យស្ថិតិ

ចន្លោះជឿជាក់ 95% (Confidence Interval)

ជួរតម្លៃដែលយើងជឿជាក់ 95% ថាមេគុណពិតស្ថិតនៅក្នុងនោះ។

CI₉₅% = β̂ⱼ ± t₀.₀₂₅,df × SE(β̂ⱼ) ដែល t₀.₀₂₅,df = ភាគរយទី 97.5 នៃបំណែងចែក t បើ CI មិនឆ្លងកាត់ 0 → មេគុណមានន័យស្ថិតិ

5ទស្សន៍ទាយ (Predict)

ការទស្សន៍ទាយ + ភាពមិនច្បាស់

ទស្សន៍ទាយ ŷ សម្រាប់ x ថ្មី។ បង្ហាញ ចន្លោះទស្សន៍ទាយ (prediction interval) ដែរ។

ŷ = X_new · β̂ ចន្លោះទស្សន៍ទាយ 95% (Prediction Interval): ŷ ± t₀.₀₂₅,df × SE_pred ដែល SE_pred² = σ² + σ² · X_new (XᵀX)⁻¹ X_newᵀ └─ ភាពមិនច្បាស់នៃ model σ² ────────────┘ └─ សំឡេងរំខានដែលមិនអាចបន្ថយ (irreducible noise)

អថេរ (variables):

ŷ — តម្លៃទស្សន៍ទាយ (predicted) X_new — វ៉ិចទ័រលក្ខណៈនៃចំណុចថ្មី SE_pred — កំហុសស្តង់ដារនៃការទស្សន៍ទាយ PI — ចន្លោះទស្សន៍ទាយ (prediction interval)

ការប្រើប្រាស់ជាក់ស្តែង (In practice): ប្រយ័ត្នពេលបញ្ចូល x ក្រៅជួរទិន្នន័យ — នោះហៅថា ការពង្រីកក្រៅជួរ (extrapolation) ហើយច្រើនតែមិនគួរទុកចិត្ត។

តម្លៃ X (ខណ្ឌដោយសញ្ញាក្បៀស)

ឧទាហរណ៍៖ 5 ឬ 1.5, 2.0, 3.0 សម្រាប់ multi-feature។

គ្មាន model

ការបង្ហាញ និងការវិនិច្ឆ័យ (Visualization & Diagnostics)

Model ដែល fit រួច មិនមាន model ដែល fit រួចទេ។

🔬 ពន្យល់ការវិនិច្ឆ័យ (Diagnostics)

សំណល់ vs Fitted (Residuals vs Fitted)

សំណល់ᵢ = yᵢ − ŷᵢ

ត្រូវការ៖ ខ្ចាត់ខ្ចាយចៃដន្យជុំវិញ 0 ដោយគ្មានលំនាំ។
បើឃើញ៖
• រាង U → ត្រូវការ polynomial ដឺក្រេខ្ពស់ជាង
• រាងកោង (funnel) → បំរែបំរួលមិនស្មើ (heteroscedasticity)
• ចំណុចឆ្ងាយ → តម្លៃក្រៅបណ្តាញ (outliers)

Q-Q Plot (ធម្មតា — normality)

សំណល់រៀបតាមលំដាប់ vs ចំណុចក្បៀសទ្រឹស្តី

ត្រូវការ៖ ចំណុចនៅលើបន្ទាត់ត្រង់។
បើឃើញ៖
• កោង S → បំណែងចែកធាត់ខ្លាំង (heavy tails)
• កោងរាង U → ផ្អៀង (skewed)
សំខាន់សម្រាប់៖ p-values ត្រឹមត្រូវទាមទារ normality

ចម្ងាយ Cook (Cook's Distance)

Dᵢ = (residualᵢ² / (p · MSE)) · (hᵢᵢ / (1 − hᵢᵢ)²) ដែល hᵢᵢ = leverage នៃចំណុច i = Xᵢ (XᵀX)⁻¹ Xᵢᵀ

ត្រូវការ៖ Dᵢ < 1 សម្រាប់ចំណុចទាំងអស់។
Dᵢ > 4/n: គួរសង្កេត
Dᵢ > 1: ចំណុចមានឥទ្ធិពល — សាកលុប ហើយមើលថា model ប្រែឬអត់

VIF (កត្តាបំប៉ោងបំរែបំរួល)

VIFⱼ = 1 / (1 − R²ⱼ) ដែល R²ⱼ = R² ពី regressing xⱼ លើ feature ផ្សេងទៀត

ត្រូវការ៖ VIF < 5 សម្រាប់ feature ទាំងអស់។
• VIF > 5 → multicollinearity មធ្យម
• VIF > 10 → ធ្ងន់ធ្ងរ — គួរលុប feature ឬប្រើ Ridge
សញ្ញា៖ SE ធំបើ VIF ខ្ពស់

📋 VIF (កត្តាបំប៉ោងបំរែបំរួល — Variance Inflation Factor)

តម្រូវម៉ូដែល ដើម្បីគណនា VIF។

📖 សទ្ទានុក្រម (Glossary) — ពន្យល់គ្រប់ពាក្យ

អថេរ និងលទ្ធផល

y: អថេរអាស្រ័យ (dependent variable) — តម្លៃដែលយើងចង់ទស្សន៍ទាយ
x: អថេរឯករាជ្យ (independent variable) — input ដែលយើងប្រើសម្រាប់ទស្សន៍ទាយ
ŷ: តម្លៃទស្សន៍ទាយ (predicted value) — f(x)
β: មេគុណ (coefficient) — ទម្ងន់នៃលក្ខណៈនីមួយៗ
β̂: មេគុណដែលបានប៉ាន់ស្មាន (estimated coefficient)
ε: សំណល់ (residual) — y − ŷ
n: ចំនួនចំណុច (number of observations)
p: ចំនួនមេគុណ (number of coefficients)
df: ដឺក្រេសេរី (degrees of freedom) = n − p

Metrics

R²: មេគុណកំណត់ (coefficient of determination) — ភាគរយនៃបំរែបំរួល y ដែល model ពន្យល់បាន។ ជិត 1 = ល្អ។
R² កែសម្រួល: Adjusted R² — R² ដែលដាក់ទណ្ឌកម្មចំនួនលក្ខណៈ។ ប្រសើរជាង R² ពេលប្រៀបធៀប model ខុសគ្នា។
RMSE: ឫសការេនៃកំហុសការេមធ្យម — កំហុសមធ្យមជាឯកតាដូច y។ តូច = ល្អ។
MAE: កំហុសដាច់ខាតមធ្យម — ចម្ងាយមធ្យមរវាងទស្សន៍ទាយ និងពិត។ ធន់នឹង outlier ជាង RMSE។
CV R²: R² ឆ្លងកាត់ (cross-validated) — មធ្យម ± គម្លាតស្តង់ដារ នៃ R² លើ k ផ្នែក។

លក្ខខណ្ឌស្ថិតិ (Statistical terms)

SE: កំហុសស្តង់ដារ (Standard Error) — ភាពមិនច្បាស់នៃមេគុណ
t: តម្លៃ t (t-statistic) — β̂ / SE
p-value: ប្រូបាប៊ីលីតេដែលមេគុណពិតជាស្មើ 0
CI 95%: ចន្លោះជឿជាក់ 95% (Confidence Interval)
PI 95%: ចន្លោះទស្សន៍ទាយ 95% (Prediction Interval)
VIF: កត្តាបំប៉ោងបំរែបំរួល (Variance Inflation Factor) — វាស់ multicollinearity
Cook's D: ចម្ងាយ Cook — វាស់ឥទ្ធិពលនៃចំណុចនីមួយៗលើ model
Leverage: hᵢᵢ — វាស់ថាចំណុចនីមួយៗ "ទាញ" បន្ទាត់ fit ប៉ុណ្ណា

Hyperparameters

λ (lambda): កម្រិត regularization — ទណ្ឌកម្មលើមេគុណធំ
α (alpha): លាយ elastic — 0 = Ridge, 1 = Lasso, រវាង = លាយ
degree: ដឺក្រេនៃ polynomial
k-folds: ចំនួនផ្នែកក្នុង cross-validation
test size: សមាមាត្រនៃទិន្នន័យសម្រាប់ test
iterations: ចំនួនជុំអតិបរមាសម្រាប់ iterative solver