Introduction to Bayesian probability theory

Code 364BB
Credits 6

Learning outcomes

Obbiettivi:

- padronanza del teorema di Bayes
- principio di massima entropia
- metodi numerici rilevanti

Objectives

- mastering of Bayes theorem
- maximum entropy principle
- relevant numerical methods

Descrizione:

Il corso punta ad introdurre la teoria Bayesiana della probabilità come logica estesa. Per questo motivo, dopo
una breve rivisitazione dell’algebra Booleana, il teorema di Bayes verra’ ricavato a partire dal teorema di Cox.
Verranno quindi introdotti i fondamenti di stima dei parametri e test di ipotesi nel contesto Bayesiano. Verra’ quindi introdotto
il principio di massima entropia e verranno discusse alcune delle più note
distribuzioni di probabilità derivate da quest’ultimo. Infine, verranno introdotti alcuni concetti fondamentali
di processi stocastici e studiati nel contesto del principio di massima entropia. Il corso inoltre presentera’ esempi
pratici di algoritmi rilevanti, markov chain monte carlo e nested sampling, per la soluzione di problemi di inferenza.

Description:

The course objective is to introduce Bayesian probability theory as extended logic. After a quick review of Boolean algebra,
we derven Bayes theorem from Cox theorem. We will then introduce fundaments of parameter estimation as well as Bayesian
model selection. Further, we will introduce the maximum entropy principle and we will discuss some of the most common probability
distributions that can be derived from it.
We will introduce some fundamental concepts of stochastic processes and discuss them within the context of the maximum
entropy principle. The course will also introduce practical examples of algorithms, such as markov chain monte carlo and nested sampling,
that are relevant for the solution of inference problems.