Статистика и теория на вероятностите - PDF безплатно изтегляне

Статистика и теория на вероятностите Dr. Йохен Кьолер 1

Съдържание на днешната лекция Статистика и теория на вероятностите Резюме на предишната лекция Общ преглед на оценката и моделирането χ Доброта на теста за пригодност Сравненията на доброто на модела на теста на Колмогоров Смирнов

Резюме на предишната лекция Разгледахме възможността да можем да оценим параметрите на разпределение въз основа на наблюдения/данни. Какво научихме? Че параметрите на разпределение могат да бъдат оценени с помощта на напр. der: Метод на моментите MoM Метод на максимална вероятност MLM 3

Резюме на предишната лекция Метод на моментите (MoM) Оценка на точките Принципът на MoM е: Ние оценяваме параметрите, като приравняваме аналитично изчислените моменти с примерните моменти. m 1 n = xˆ 1 ini = 1 1 x fx (xμ, σ) λ = dx m 1 n = xˆ ini = 1 x fx (xμ, σ) λ = dx Това води до k уравнения, които трябва да бъдат решени за k Оценете параметри. 4-ти

Резюме на предишната лекция Метод за оценка на максималната вероятност (MLM) на параметрите и тяхното разпределение Принципът на MLM е: Параметрите се изчисляват чрез увеличаване на вероятността параметрите да представляват наблюденията/данните. n L (θ xˆ) = f (ˆ X xi θ) i = 1 l (θ x) = log (f (ˆ X xi θ)) min (l (θ xˆ)) θ ni = 1 μ = Θ (1 1 C ΘΘ = HH ij θ, θ. Θ l (θxˆ) T n) = θ = θ θ i θ j 5

Оценка и преглед на разработването на модели При разработването на инженерни модели се използват различни видове информация. Субективна информация Информация за лекуващия лекар Субективна вероятностна книга Физическо разбиране Опит Умения за преценяване Разпределение на семейството Данни за честотата Параметри на разпределение Вероятностен модел Статистика на извадката Интервали на доверие Статистическа значимост Метод на моменти Метод на максимална вероятност

Нека приемем, че сме избрали определена функция на разпределение, за да моделираме несигурността на несигурно събитие. Физически закони на данните Семейство на разпределение f x (x) Бетон на якост на натиск Параметри на разпределение на данните μ, σ x Сега искаме да проверим избора на нашето разпределение, използвайки статистически тестове. 7-ми

Разглеждат се два различни случая: Проверка на 1: Дискретни функции на разпределение p x (x) CHI квадрат (χ) Тест x: Непрекъснати функции на разпределение Колмогоров Смирнов Тест f x (x) x 8

Тестът CHI за доброта на пригодността Идеята зад това е, че разликите ε j между очакваното и наблюдаваното разпределение на данните трябва да бъдат малки, ако избраното семейство разпределение може да опише добре пробата. 10 9 8 ε j ε i Наблюдения 7 6 5 4 3 1 0 0 5 5 30 30 35 35 Хистограма от наблюдения Хистограма според очакваните наблюдения според избраното разпределение и нейните параметри якост на натиск бетон (MPa) 9

Тестът за добро състояние на пригодност на CHI Квадрат Както вече знаем, дискретна кумулативна функция на разпределение на вероятността се дава, както следва: i 1 = j = 1 Px () px () i j функция на плътността на вероятността Кумулативна функция на разпределение на вероятността 10

Тестът за доброта на пригодност на квадрат CHI Нека n е броят на наблюденията на дискретна случайна променлива X. Броят на наблюденията на X = x i т.е. N i е биномиално разпределена случайна променлива със следната очаквана стойност и дисперсия: [] [] EN = npx () = N ii pi, Var N = np (x) (1 p (x)) = N (1 p (x)) iii pi, i Очакван брой наблюдения с определена стойност Ако постулираният модел е правилен и n е достатъчно голям, тогава според теоремата за централната граница разликата ε i има стандартно нормално разпределение. ε = i N N oi, pi, pi, N (1 p (x)) i Наблюдаван брой наблюдения с определена стойност 1

Квадратният тест на CHI за доброта на пригодността Статистика и изчисляване на вероятността Ако се обобщят квадратите на разликите на наблюдавания и очаквания брой наблюдения, тогава получаваме: 1 ()) CHI квадрат, разпределен с k 1 степени на свобода ε ε 1 брой наблюдения 10 9 8 7 6 5 4 3 1 0 ε mk (Noi, Npi,) = N i = 1 pi, 0 1 3 ε 3 ε 4 хистограма от наблюдения Хистограма на очакваните наблюдения Брой инциденти на месец 13

Тестът CHI за доброта на прилепване Сега се проверява на ниво на значимост α дали сборът от всички наблюдавани квадратни разлики е правдоподобен, т.е. Поставя се нулевата хипотеза H 0, че избраната функция на разпределение представлява наблюдаваната извадка. Тогава правилото на процедурата е P ε (m) Δ = α Алтернативната хипотеза H 1 е далеч по-малко информативна, тъй като приема всички останали разпределения, освен избраното разпределение. Δ α χ 1 v = k j е фракционната стойност на разпределението със степени на свобода. 14-ти

CHI квадратният тест за доброта на прилягане Разглеждаме следния пример: Приемаме нормалното разпределение като функция на разпределение за 0 наблюдения на якостта на натиск на бетона. Средната стойност и стандартното отклонение е 33 Mpa 5 Mpa. Параметрите не се изчисляват от наличните наблюдения. Нормалното разпределение е непрекъснато разпределение. Но лесно може да бъде дискретизиран! 15-ти

Тестът CHI за доброта на прилягане Функцията на плътността на избраната функция на разпределение е дискретизирана: Избрана функция на разпределение на вероятността плътност 0,09 0,08 0,07 0,06 0,05 0,04 0,03 0,0 0,01 0 0 10 0 30 40 50 60 Якост на натиск на бетона (МРа) 16

CHI квадратният тест за доброто прилягане Функцията на плътността на избраната функция на разпределение е дискретизирана: Плътност на вероятността 0,09 0,08 0,07 0,06 0,05 0,04 0,03 0,0 0,01 Избрана функция на разпределение 0 0 10 0 30 40 50 60 Интервал на якост на натиск (MPa) 0 5: Φ Φ) 0 0,055 1. 10 Общ брой опити 5 33 33 0 () (= = 5 5 17

Тестът CHI за доброта на напасване Функцията на плътността на избраната функция на разпределение е дискретизирана: Вероятност плътност Избрана функция на разпределение 0,09 0,08 0,07 0,06 0,05 0,04 0,03 0,0 0,01 0 0 10 0 30 40 50 60 Бетон на якост на натиск (MPa) Брой наблюдения 9 8 7 6 5 4 3 1 0 Очаквана хистограма 0 5 5 30 30 35 35 Бетон на якост на натиск (MPa) Интервал 0 5: Φ Φ) 0 0,055 1. 10 Общ брой тестове 5 33 33 0 () (= = 5 5 18

CHI квадратният тест за доброта на напасване Наблюдаваните и очакваните хистограми вече могат да бъдат сравнени. 10 Брой наблюдения 9 8 7 6 5 4 3 1 0 0 5 5 30 30 35 35 Бетон на якост на натиск (MPa) Хистограма от наблюдения Хистограма от очакваните наблюдения 19

CHI квадратният тест за доброта на напасване Наблюдаваните и очакваните хистограми вече могат да бъдат сравнени. Поради малкия брой проби в долната зона, двата долни интервала се сливат. Брой наблюдения 10 9 8 7 6 5 4 3 1 0 0 5 5 30 30 35 35 Бетон на якост на натиск (MPa) Хистограма от наблюдения Брой наблюдения 10 Хистограма на очакваните 1 наблюдения 0 9 8 7 6 5 4 3 0 30 30 35 35 Бетон на якост на натиск (MPa) 0

Квадратният тест на CHI за доброта на изчисленията за годност, например статистика и изчисления на вероятности Интервал xj (MPa) Брой наблюдения N o, j Очаквани вероятности Очакван брой наблюдения N p, j, статистика на извадката 0 30 5 0,96671 5,933415 0,14684 30 35 9 0,381169 7,65443 0,36537 35 6 0,344578 6,41155 0,0649 Сума 0,40987 ε NN k (o, jp, j) m = j = 1 N p, j При ниво на значимост от 5% получаваме за квадратното разпределение на CHI с N = 3 1 = степени на свобода от таблицата: Δ = 5,99. Тъй като 0.40987 е по-малко от 5.99, нулевата хипотеза H 0 не може да бъде отхвърлена. 1

CHI квадратният тест за доброта на напасване Ако един или повече (m) параметри на избраното разпределение бяха определени от същите данни, които бяха използвани за теста, тогава броят на градусите на свобода трябва да бъде намален съответно: v = k 1 j Ако приемем, че дисперсията е определена от данните, но не от средната стойност, получаваме n = 3-1-1 = 1 степен на свобода.

Статистика и теория на вероятностите Квадратният тест на CHI за доброта на пригодността Ако приемем нормално разпределение със следните параметри: μ = 33,00 σ = 4,05, получаваме следния резултат: Интервал xj (MPa) Брой наблюдения N o, j Очаквани вероятности p (xj) Очаквани Брой наблюдения N p, j =, 0p (xj) статистика на извадката 0 30 5 0.7453 5.485061 0.04896 30 35 9 0.381169 7.63373 0.48591 35 6 0.344578 6.891566 0.11534 сума 0.40689 При ниво на значимост от 5% получаваме за квадратното разпределение на CHI с N = 3 1 1 = 1 степен на свобода от масата: Δ = 3.84. Тъй като 0.40689 е по-малко от 3.84, нулевата хипотеза H 0 не може да бъде отхвърлена. 3

Тестът за доброта на годността на Колмогоров Смирнов Идеята зад теста на Колмогоров Смирнов е следната: Ако за наблюденията се разглежда кумулативната функция на разпределение на вероятностите на избраното разпределение, тогава максималната разлика между наблюдаваните и очакваните кумулативни функции на разпределение на вероятността трябва да бъде малка. ε max ε max