View syllabus
INTRODUCTION TO BAYESIAN PROBABILITY THEORY
WALTER DEL POZZO
Academic year2022/23
CoursePHYSICS
Code364BB
Credits6
PeriodSemester 1
LanguageEnglish

ModulesAreaTypeHoursTeacher(s)
INTRODUZIONE ALLA TEORIA BAYESIANA DELLA PROBABILITÀFIS/05LEZIONI36
WALTER DEL POZZO unimap
Obiettivi di apprendimento
Learning outcomes
Conoscenze

Il corso punta ad introdurre la teoria Bayesiana della probabilità come logica estesa. Per questo motivo, dopo una breve rivisitazione dell’algebra Booleana, il teorema di Bayes verra’ ricavato a partire dal teorema di Cox.
Verranno quindi introdotti i fondamenti di stima dei parametri e test di ipotesi nel contesto Bayesiano. Verra’ quindi introdotto il principio di massima entropia e verranno discusse alcune delle più note
distribuzioni di probabilità derivate da quest’ultimo. Infine, verranno introdotti alcuni concetti fondamentali  processi stocastici e studiati nel contesto del principio di massima entropia. Il corso inoltre presentera’ esempi pratici di algoritmi rilevanti, markov chain monte carlo e nested sampling, per la soluzione di problemi di inferenza.

Knowledge

The course objective is to introduce Bayesian probability theory as extended logic. After a quick review of Boolean algebra, we derive Bayes theorem from Cox theorem. We will then introduce fundaments of parameter estimation as well as Bayesian model selection. Further, we will introduce the maximum entropy principle and we will discuss some of the most common probability
distributions that can be derived from it.
We will introduce some fundamental concepts of stochastic processes and discuss them within the context of the maximum entropy principle. The course will also introduce practical examples of algorithms, such as markov chain monte carlo and nested sampling,
that are relevant for the solution of inference problems.

Programma (contenuti dell'insegnamento)
  • Plausibilitá e probabilitá
  • Algebra booleana e definizione di probabilitá come estensione della logica
  • Teoremi di Cox e Bayes
  • Teoria del campionamento
  • Stima di parametri
  • Selezione di Modelli
  • Assegnazione di prior probabilities e likelihood functions
  • Principio di massima entropia
  • Metodi numerici: markhov chain monte carlo e nested sampling
Syllabus
  • Plausibility and probability
  • boolean algebra and probability theory as extended logic
  • Cox e Bayes theorems
  • Sampling theory
  • Parameter estimation
  • Model selection
  • Assigning prior probabilities e likelihood functions
  • maximum entropy principle
  • numerical methods: markhov chain monte carlo e nested sampling
Bibliografia e materiale didattico

Il corso non segue alcun testo specifico. Referenze utili:

  • Sivia & Skilling: Data Analysis: A Bayesian Tutorial
  • Jaynes: Probability Theory: the logic of science
  • Gregory: Bayesian Logical Data Analysis for the Physical Sciences
Bibliography

The course will not follow any specific book. However, the following are useful references:

  • Sivia & Skilling: Data Analysis: A Bayesian Tutorial
  • Jaynes: Probability Theory: the logic of science
  • Gregory: Bayesian Logical Data Analysis for the Physical Sciences
Modalità d'esame

Le modalitá di esame saranno un seminario su di un argomento concordato con il docente.

Assessment methods

The exam will consist of a seminar on a topic agreed with the teacher.

Updated: 19/09/2022 13:15