Як розрахувати регресію


 

Уявімо собі, що є випадкова величина (СВ) Y, значення якої підлягають визначенню. При цьому Y пов’язана якимось чином з випадковою величиною X, значення якої X = x, в свою чергу, доступні для вимірювання (спостереження). Таким чином, вийшла задача оцінювання значення СВ Y = y, недоступною для спостереження, за спостережуваними значеннями X = x. Саме для таких випадків застосовуються регресійні методи.



Вам знадобиться

— знання основних принципів методу найменших квадратів.

Інструкція

  1. Нехай є система СВ (X, Y), де Y залежить від того, яке значення в досвіді прийняла СВ Х. Розглянемо спільну щільність ймовірностей системи W (x, y). Як відомо, W (x, y) = W (x) W (y | x) = W (y) W (x | y). Тут фігурують умовні щільності ймовірностей W (y | x). Повне прочитання такої щільності наступне: умовна щільність ймовірностей СВ Y, за умови, що СВ Х прийняла значення х. Більш коротка і грамотна запис має вигляд: W (y | Х = x).
  2. Слідуючи байєсівського підходу W (y | x) = (1 / W (x)) W (y) W (x | y). W (y | x) — це апостеріорного розподіл СВ Y, тобто таке, яке стає відомим після твори досвіду (спостереження). Дійсно, саме апостеріорна щільність ймовірностей містить в собі всі відомості про CB Y після отримання досвідчених даних.
  3. Встановити значення СВ Y = y (апостериорно) — означає знайти її оцінку y *. Оцінки знаходять слідуючи критеріям оптимальності, в даному випадку — це мінімум апостеріорної дисперсії б (х) ^ 2 = M {(y * (x)-Y) ^ 2 | x} = min, при виконанні критерію y * (x) = M {Y | x}, який називають оптимальною оцінкою за даним критерієм. Оптимальна оцінка y * СВ Y, як функція від х, називається регресією Y на х.

  4. Як розрахувати регресію

                            Розгляньте лінійну регресію y = a + R (y | x) x.
    Тут параметр R (y | x) називається коефіцієнтом регресії. З геометричної точки зору R (y | x) — кутовий коефіцієнт, який визначає нахил лінії регресії до осі 0Х.
    Визначення параметрів лінійної регресії можна здійснити за допомогою методу найменших квадратів, заснованим на вимозі мінімальності суми квадратів відхилень вихідної функції від апроксимуючої. У разі лінійно апроксимації метод найменших квадратів приводить до системи для визначення коефіцієнтів (див. рис. 1).
        
  5. Для лінійної регресії визначення параметрів можна провести на основі зв’язку між коефіцієнтами регресії і кореляції.
    Між коефіцієнтом кореляції і параметром парної лінійної регресії існує залежність, а саме. R (y | x) = r (x, y) (бy / бx)
    де r (x, y) — коефіцієнт кореляції між х і у; (бx і бy) — середньоквадратичне відхилення.
    Коефіцієнт a визначаються за формулою: a = y *-Rx *, тобто для того щоб його вирахувати, треба просто в рівняння регресії підставити середні значення змінних.