ECTS - University of Pisa
Scheda programma d'esame
ELEMENTS OF PROBABILITY AND STATISTICS
MARIO MAURELLI
Academic year2023/24
CourseMATHEMATICS
Code052AA
Credits6
PeriodSemester 2
LanguageItalian

ModulesAreaTypeHoursTeacher(s)
ELEMENTI DI PROBABILITÀ E STATISTICAMAT/06LEZIONI60
MARIO MAURELLI unimap
DARIO TREVISAN unimap
Obiettivi di apprendimento
Learning outcomes
Conoscenze

Conoscenza dei concetti di base della probabilità e della inferenza statistica. In particolare:

  • Enunciare le definizioni di probabilità, condizionamento, indipendenza, le relative proprietà e i risultati collegati, con dimostrazioni ed esempi.
  • Descrivere i principali esempi di probabilità/variabili aleatorie discrete e assolutamente continue e le relative proprietà.
  • Illustrare i principali strumenti di analisi delle variabili aleatorie e le relative proprietà, con dimostrazioni ed esempi: legge, densità, funzione di ripartizione, leggi congiunte e marginali, indipendenza per variabili aleatorie.
  • Enunciare le definizioni di valore atteso e momenti, varianza, covarianza, le relative proprietà e i risultati collegati, con dimostrazioni ed esempi.
  • Enunciare i principali teoremi limite, quali legge dei grandi numeri, teorema centrale del limite, con dimostrazioni (ove previsto) ed esempi.
  • Illustrare i concetti di base della statistica inferenziale e le relative proprietà, con dimostrazioni ed esempi: campione, stimatore, in particolare stimatore di massima verosimiglianza, esempi notevoli.
  • Enunciare le definizioni di regione di fiducia e test di ipotesi, le relative proprietà, con dimostrazione, e gli esempi notevoli.
Knowledge

Knowledge of the basic concepts of probability and statistical inference. In particular:

  • State the definitions of probability, conditioning, independence, their properties, and related results, with proofs and examples.
  • Describe the main examples of discrete and absolutely continuous probability/random variables and their properties.
  • Explain the main tools for the analysis of random variables and their properties, including laws, densities, cumulative distribution functions, joint and marginal laws, and independence for random variables, with proofs and examples.
  • State the definitions of expected value and moments, variance, covariance, their properties, and related results, with proofs and examples.
  • State the main limit theorems, such as the law of large numbers, central limit theorem, with proofs (where applicable) and examples.
  • Explain the basic concepts of inferential statistics and their properties, including sample, estimator, especially maximum likelihood estimator, and notable examples.
  • State the definitions of confidence interval and hypothesis testing, their properties, with proof, and notable examples.

 
Modalità di verifica delle conoscenze

Nelle prove d'esame, in particolare nella prova orale, lo studente sarà valutato riguardo la sua capacità di discutere i concetti principali, formulare i risultati principali e saperli dimostrare, formulare esempi.
Assessment criteria of knowledge

In the exams, particularly in the oral examination, the student will be evaluated based on their ability to discuss the main concepts, formulate key results, demonstrate them, and provide examples.
Capacità

Capacità di:

  • comprendere ed elaborare ragionamenti elementari di probabilità e inferenza statistica;
  • impostare e risolvere problemi elementari di probabilità e inferenza statistica.

(elementari = che non usano strumenti avanzati)

 
Skills

Ability:

  • to understand and develop elementary reasoning in probability and statistical inference;
  • to set up and solve elementary problems in probability and statistical inference.

(Elementary in this context refers to fundamental or basic, without the use of advanced tools.)

 
Modalità di verifica delle capacità

Nella prova scritta sarà verificata la capacità dello studente di risolvere problemi elementari. Nella prova orale sarà verificata la capacità di comprensione e di elaborazione di ragionamenti probabilistici e statistici.
Assessment criteria of skills

In the written exam, the student's ability to solve elementary problems will be assessed. In the oral exam, the capacity for understanding and developing probabilistic and statistical reasoning will be evaluated.
Prerequisiti (conoscenze iniziali)

Lo studente deve avere padronanza degli argomenti degli insegnamenti di analisi, aritmetica e algebra lineare del primo anno di corso.
Prerequisites

The student should master the arguments of Analysis, Arithmetic and Linear algebra of first-year modules.
Indicazioni metodologiche

Il corso prevede lezioni frontali sia per la parte teorica sia per la parte di esercizi. La frequenza è consigliata. Ci si aspetta che lo studente frequenti le lezioni ed esercitazioni e a questo affianchi un tempo sufficiente per lo studio individuale.
Teaching methods

The course includes frontal lectures for both the theoretical part and the exercise section. Attendance is recommended. It is expected that the student attends the lectures and exercise sessions and dedicates sufficient time to individual study.
Programma (contenuti dell'insegnamento)

Parte I: probabilità, condizionamento ed indipendenza

  • Definizioni storiche di probabilità. Spazio campionario ed eventi. Sigma-algebre. Definizione di probabilità. Proprietà elementari della probabilità (complementare, unione, inclusione-esclusione). Continuità della probabilità per successioni monotone. Sigma-subadditività. Eventi quasi certi e trascurabili.
  • Modello uniforme, esempi. Modelli discreti non uniformi, esempi. Modellizzazione di sequenze di esperimenti, sequenza di Bernoulli, esempi. Formule fondamentali di combinatoria: permutazioni, combinazioni, coefficiente binomiale.
  • Probabilità condizionata. Formula della partizione, esempi di applicazioni. Teorema di Bayes, esempi di applicazioni.
  • Indipendenza di due eventi. Proprietà dell'indipendenza (stabilità per complementazione, relazione con eventi quasi certi o trascurabili e con eventi incompatibili). Indipendenza di una famiglia di eventi, proprietà. Indipendenza a due a due non implica indipendenza: esempi. Indipendenza per prove ripetute.

Parte II: Variabili aleatorie discrete

  • Probabilità su spazi discreti, densità discreta, calcoli. Grafico a barre della densità discreta. Sequenza di prove di Bernoulli indipendenti, esempi.
  • Esempi notevoli di probabilità discrete, con grafico a barre e significato propabilistico: binomiale, geometrica, binomiale negativa, ipergeometrica, Poisson.
  • Variabili aleatorie (v.a.) discrete. Legge di una v.a.. Costruzione canonica di una v.a.. V.a. coppia. Uguaglianza q.c. e uguaglianza in legge.
  • Legge congiunta e leggi marginali (per v.a. coppia), densità congiunta e densità marginali. Densità e leggi marginali da densità e legge congiunta. Esempi. Indipendenza di v.a.. Criterio indipendenza tramite densità congiunta. Esempi. Costruzione canonica di v.a. indipendenti e probabilità prodotto. Sequenza di v.a. di Bernoulli indipendenti.
  • Valore atteso. Calcolo del valore atteso con la densità discreta e dipendenza del valore atteso dalla legge. Esempi. Proprietà del valore atteso. Esempi notevoli: valore atteso di binomiale, geometrica, Poisson. Indici di centralità. Momenti. Disuguaglianza di Markov e controllo delle code.
  • Varianza e deviazione standard. Esempio. Proprietà. Esempi notevoli: binomiale, geometrica, Poisson. Disuguaglianza di Chebyshev. Disuguaglianza di Schwarz.
  • Valore atteso di prodotto di v.a. indipendenti. Covarianza e sua dipendenza dalla legge congiunta. Indipendenza implica non correlazione, controesempio al viceversa. Varianza della somma di v.a., in particolare nel caso v.a. non correlate. Esempio: passeggiata aleatoria simmetrica. Coefficiente di correlazione. Retta di regressione.
  • a. i.i.d.. Media campionaria. Legge dei grandi numeri (LGN) debole, con dimostrazione. Estensione a caso v.a. non correlate. Esempio. LGN per frequenza relativa campionaria (v.a. binomiale). Argomento di scaling per la media campionaria. Teorema centrale del limite (TCL/TLC). Calcolo numerico dell'integrale gaussiano, probabilità di oscillazione entro 3 sigma.
  • Richiami di teoria della misura. Lemma di Dynkin (criterio unicità per probabilità). Funzione di ripartizione (FdR). Bigezione tra probabilità su R e FdR. Calcolo delle probabilità di intervalli e di punti tramite FdR. FdR per probabilità discrete su R. Probabilità assolutamente continue, proprietà della densità, proprietà della FdR. Relazione tra probabilità discrete, continue e assolutamente continue.
  • Esempi notevoli di probabilità assolutamente continue, con grafico densità: densità uniforme, esponenziale, Gamma, gaussiana standard e gaussiana generica.

Parte III: Variabili aleatorie generali

  • Variabili aleatorie generali. Legge di una v.a. e sua FdR. V.a. indicatrice. Costruzione canonica di una v.a.. Composizione di v.a..
  • Probabilità assolutamente continue su R^d. Sigma-algebra prodotto. Legge congiunta e leggi marginali. Leggi marginali da legge congiunta. Caso assolutamente continuo: densità marginali da densità congiunta. Esempio di vettore non assolutamente continuo con marginali assolutamente continue. Indipendenza di v.a.. Caso assolutamente continuo: criterio di indipendenza tramite densità. Stabilità dell'indipendenza per composizione e indipendenza di gruppi di v.a. Costruzione canonica di v.a. indipendenti e probabilità prodotto.
  • Definizione di valore atteso (integrale). Proprietà del valore atteso. Lemma di Fatou, teoremi di convergenza monotona e di convergenza dominata. Estensione all'integrale di Lebesgue. Legame tra valore atteso e legge: formula. Calcolo del valore atteso: caso discreto (richiamo), caso assolutamente continuo. Valore atteso per esempi notevoli. Mediana. Momenti e disuguaglianza di Markov (richiamo). Momenti di una gaussiana standard.
  • Varianza, deviazione standard, disuguaglianza di Chebyshev (richiamo). Varianza per esempi notevoli.
  • Disuguaglianza di Schwarz (richiamo). Valore atteso di prodotto di v.a. indipendenti. Covarianza, coefficiente di correlazione, retta di regressione, varianza della somma (richiamo).
  • Formula di cambio variabili per diffeomorfismi di v.a. assolutamente continue. Densità della somma di due v.a., formula della convoluzione. Applicazioni: riproducibilità di binomiali, Poisson, Gamma.
  • Invarianza delle gaussiane per trasformazioni affini e standardizzazione. Calcoli per v.a. gaussiane tramite FdR e standardizzazione, proprietà notevoli delle gaussiane. Riproducibilità delle gaussiane. Relazione tra momenti e varianza per una gaussiana.
  • Legge dei grandi numeri (LGN). Teorema centrale del limite (TCL/TLC).

Parte IV: statistica inferenziale

  • Introduzione alla statistica descrittiva. Indici statistici notevoli: media e mediana campionarie, varianza campionaria, coefficiente di correlazione campionario, retta di regressione campionaria.
  • Introduzione alla statistica inferenziale. Modello statistico parametrico. Campione i.i.d.. Esempi. Statistica e stimatore. Esempi notevoli: media campionaria, varianza campionaria, coefficiente di correlazione campionario; frequenza relativa come media campionaria. Stimatore corretto e asintoticamente corretto. Stimatore consistente. Rischio quadratico di uno stimatore. Esempi notevoli.
  • Funzione di verosimiglianza e stimatore di massima verosimiglianza, esempi. Modello esponenziale, esempi. Consistenza dello stimatore di max verosimiglianza nei modelli esponenziali. Stimatori di max verosimiglianza per media e varianza in modelli gaussiani.
  • Regione di fiducia. Quantili. Quantili di una gaussiana e loro proprietà. Intervallo di fiducia per la media di una popolazione normale, con varianza nota. Dipendenza dell'intervallo dai parametri. Esempi. Metodo della statistica pivotale. Regioni di fiducia asintotiche. Intervalli di fiducia asintotici per la media di una popolazione, in particolare nel caso Bernoulli. Esempi.
  • Legge chi-quadrato come somma dei quadrati di v.a. gaussiane standard indipendenti. Invarianza delle gaussiane standard indipendenti per isometrie. Leggi ed indipendenza di media e varianza campionarie per gaussiane standard indipendenti. Legge t-di-Student, proprietà dei suoi quantili. Legame tra t-di-Student e gaussiane. Intervalli di fiducia per la media di una popolazione gaussiana con varianza non nota. Intervalli di fiducia per la varianza di una popolazione gaussiana.
  • Test statistici. Ipotesi nulla e alternativa. Regione critica e statistica di test. Errori di prima e seconda specie. Livello e potenza di un test. Test bilatero per la media di una popolazione gaussiana con varianza nota. Test bilatero per la media di una popolazione Bernoulli, per grandi campioni. Test per la media in altri casi. Metodo del p-value.
  • Test di ipotesi unilateri, lemma di Neyman-Pearson, esempi notevoli.
Syllabus

Part I: Probability, Conditioning, and Independence

  • Historical definitions of probability. Sample space and events. Sigma-algebras. Definition of probability. Elementary properties of probability (complement, union, inclusion-exclusion). Continuity of probability for monotone sequences. Sigma-subadditivity. Almost certain and negligible events.
  • Uniform model, examples. Non-uniform discrete models, examples. Modeling sequences of experiments, Bernoulli sequence, examples. Fundamental formulas of combinatorics: permutations, combinations, binomial coefficient.
  • Conditional probability. Partition formula, application examples. Bayes' theorem, application examples.
  • Independence of two events. Independence properties (stability for complementation, relation with almost certain or negligible events and with incompatible events). Independence of a family of events, properties. Pairwise independence does not imply independence: examples. Independence for repeated trials.

Part II: Discrete Random Variables

  • Probability on discrete spaces, discrete density, calculations. Bar graph of discrete density. Sequence of independent Bernoulli trials, examples.
  • Notable examples of discrete probabilities, with bar graph and probabilistic significance: binomial, geometric, negative binomial, hypergeometric, Poisson.
  • Discrete random variables (r.v.). Law of an r.v. Canonical construction of an r.v. Couple of r.v. Almost sure equality and equality in law.
  • Joint law and marginal laws (for a couple of r.v.), joint density and marginal densities. Marginal densities and laws from joint density and law. Examples. Independence of r.v. Independence criterion through joint density. Examples. Canonical construction of independent r.v. and product probability. Sequence of independent Bernoulli r.v.
  • Expected value. Calculation of the expected value with discrete density and dependency of the expected value on the law. Examples. Properties of the expected value. Notable examples: expected value of binomial, geometric, Poisson. Measures of centrality. Moments. Markov's inequality and tail control.
  • Variance and standard deviation. Example. Properties. Notable examples: binomial, geometric, Poisson. Chebyshev's inequality. Schwarz's inequality.
  • Expected value of the product of independent r.v. Covariance and its dependency on the joint law. Independence implies non-correlation, counterexample to the vice versa. Variance of the sum of r.v., especially in the case of non-correlated r.v. Example: symmetric random walk. Correlation coefficient. Regression line.
  • i.i.d. r.v. Sample mean. Weak law of large numbers (WLLN), with proof. Extension to cases of non-correlated r.v. Example. WLLN for sample relative frequency (binomial r.v.). Scaling argument for the sample mean. Central limit theorem (CLT). Numerical calculation of the Gaussian integral, probability of oscillation within 3 sigma.
  • Recall of measure theory. Dynkin's lemma (uniqueness criterion for probability). Cumulative distribution function (CDF). Bijection between probability on R and CDF. Calculation of probabilities of intervals and points through CDF. CDF for discrete probabilities on R. Absolutely continuous probabilities, density properties, CDF properties. Relationship between discrete, continuous, and absolutely continuous probabilities.
  • Notable examples of absolutely continuous probabilities, with density graph: uniform density, exponential, Gamma, standard Gaussian, and general Gaussian.

Part III: General Random Variables

  • General random variables. Law of an r.v. and its CDF. Indicator r.v. Canonical construction of an r.v. Composition of r.v.
  • Absolutely continuous probability on R^d. Product sigma-algebra. Joint law and marginal laws. Marginal laws from joint law. Case of absolutely continuous: marginal densities from joint density. Example of a vector not absolutely continuous with absolutely continuous marginals. Independence of r.v. Absolutely continuous case: independence criterion through density. Stability of independence for composition and independence of groups of r.v. Canonical construction of independent r.v. and product probability.
  • Definition of expected value (integral). Properties of the expected value. Fatou's lemma, theorems of monotone convergence, and dominated convergence. Extension to the Lebesgue integral. Relationship between expected value and law: formula. Calculation of the expected value: discrete case (recall), absolutely continuous case. Expected value for notable examples. Median. Moments and Markov's inequality (recall). Moments of a standard Gaussian.
  • Variance, standard deviation, Chebyshev's inequality (recall). Variance for notable examples.
  • Schwarz's inequality (recall). Expected value of the product of independent r.v. Covariance, correlation coefficient, regression line, variance of the sum (recall).
  • Change of variables formula for diffeomorphisms of absolutely continuous r.v. Density of the sum of two r.v., convolution formula. Applications: reproducibility of binomials, Poisson, Gamma.
  • Invariance of Gaussians for affine transformations and standardization. Calculations for Gaussian r.v. through CDF and standardization, notable properties of Gaussians. Reproducibility of Gaussians. Relationship between moments and variance for a Gaussian.
  • Law of large numbers (LLN). Central limit theorem (CLT).

Part IV: Inferential Statistics

  • Introduction to descriptive statistics. Notable statistical indices: sample mean and median, sample variance, sample correlation coefficient, sample regression line.
  • Introduction to inferential statistics. Parametric statistical model. i.i.d. sample. Examples. Statistic and estimator. Notable examples: sample mean, sample variance, sample correlation coefficient; relative frequency as sample mean. Correct and asymptotically correct estimator. Consistent estimator. Quadratic risk of an estimator. Notable examples.
  • Likelihood function and maximum likelihood estimator, examples. Exponential model, examples. Consistency of the maximum likelihood estimator in exponential models. Maximum likelihood estimators for mean and variance in Gaussian models.
  • Confidence region. Quantiles. Quantiles of a Gaussian and their properties. Confidence interval for the mean of a normal population, with known variance. Dependency of the interval on the parameters. Examples. Pivot statistic method. Asymptotic confidence regions. Asymptotic confidence intervals for the mean of a population, especially in the Bernoulli case. Examples.
  • Chi-square law as the sum of the squares of independent standard Gaussian r.v. Invariance of independent standard Gaussians for isometries. Laws and independence of sample mean and variance for independent standard Gaussians. t-Student's law, properties of its quantiles. Relationship between t-Student's law and Gaussians. Confidence intervals for the mean of a Gaussian population with unknown variance. Confidence intervals for the variance of a Gaussian population.
  • Statistical tests. Null and alternative hypotheses. Critical region and test statistic. Type I and Type II errors. Level and power of a test. Bilateral test for the mean of a Gaussian population with known variance. Bilateral test for the mean of a Bernoulli population, for large samples. Test for the mean in other cases. p-value method.
  • Unilateral hypothesis tests, Neyman-Pearson lemma, notable examples.
Bibliografia e materiale didattico

Testi consigliati:

  • F. Caravenna, P. Dai Pra, Probabilità. Una introduzione attraverso modelli e applicazioni
  • P. Baldi, Calcolo delle probabilità e statistica.
Bibliography

Recommended lectures:

  • F. Caravenna, P. Dai Pra, Probabilità. Una introduzione attraverso modelli e applicazioni
  • P. Baldi, Calcolo delle probabilità e statistica.
Indicazioni per non frequentanti

Attraverso la classe MS Teams e/o Google classroom e/o la pagina e-learning del corso, tenersi al corrente del programma svolto.
Non-attending students info

Through the MS Teams class and/or Google classroom and/or the e-learning webpage of the course, keep track of the program covered.
Modalità d'esame

L'esame è composto da una prova scritta e una prova orale. La prova scritta può essere eventualmente rimpiazzata da prove intermedie scritte svolte durante il corso.

La prova scritta consiste nella risoluzione in dettaglio di 2, 3 o 4 problemi, sviluppati su più quesiti.

La prova orale consiste in un colloquio con alcune domande da parte del docente. Lo scopo del colloquio è verificare la conoscenza dei risultati e delle loro dimostrazioni, dei concetti e delle definizioni principali, la padronanza di tali concetti attraverso esempi illustrativi e la capacità di sviluppare ragionamenti di natura probabilistica e statistica.
Assessment methods

The exam consists of a written test and an oral examination. The written test can eventually be replaced by intermediate written tests conducted during the course.

The written test consists of solving (with full details) 2, 3, or 4 problems, developed into multiple questions.

In the oral exam the student has to answer questions from the teacher. The purpose of the oral exam is to verify knowledge of the results and their proofs, the main concepts and definitions, as well as the mastery of these concepts through illustrative examples and the ability to develop reasoning of a probabilistic and statistical nature.

 
Altri riferimenti web

Verrà usata almeno una tra:

  • classe MS Teams
  • Google classroom
  • pagina e-learning del corso
Additional web pages

At least one of the following will be used:

  • MS Teams class
  • Google classroom
  • e-learning webpage of the course
Updated: 24/10/2023 19:00