Scheda programma d'esame
MACHINE LEARNING: FUNDAMENTALS
ALESSIO MICHELI
Academic year2016/17
CourseCOMPUTER SCIENCE
Code320AA
Credits6
PeriodSemester 1
LanguageEnglish

ModulesAreaTypeHoursTeacher(s)
APPRENDIMENTO AUTOMATICO: FONDAMENTIINF/01LEZIONI48
ALESSIO MICHELI unimap
Obiettivi di apprendimento
Learning outcomes
Conoscenze

Gli obiettivi del corso sono di introdurre i principi e i metodi dell'apprendimento da insiemi di dati, con particolare attenzione alle reti neurali e alle loro evoluzioni, oggi alla base della costruzione di sistemi intelligenti e sistemi adattivi in molti domini applicativi innovativi in informatica e in settori interdisciplinari.
Il corso si focalizza in particolare sull'analisi critica delle caratteristiche per la realizzazione e l'uso appropriato di algoritmi di apprendimento di funzioni da esempi e per la modellazione e la rigorosa valutazione sperimentale.

Lo studente che completa il corso sarà in grado di dimostrare una solida conoscenza dei principali modelli e algoritmi di apprendimento, con enfasi al paradigma delle reti neurali. Sarà inoltre consapevole:
Dell'inquadramento critico delle caratteristiche e limitazioni delle metodologie di apprendimento.
Dei fondamenti teorici: principi induttivi alla base dei processi di apprendimento.
Delle tecniche di validazione e dei domini applicativi.

Knowledge

The course introduces the machine learning principles and models, including basic theory of learning. The course focuses on the critical analysis of the characteristics for the design and use of the algorithms for learning functions from examples and for the rigorous experimental evaluation.

The student who successfully completes the course will be able to demonstrate a solid knowledge of the main models and algorithms for learning functions from data, with a focus on neural networks and related methods. The student will be aware of the general conceptual framework of modern machine learning; of the basic principles of computational learning processes; of rigorous validation techniques; of the critical characteristics for the use of the learning models to design intelligent/adaptive systems and predictive models for data analysis.

Modalità di verifica delle conoscenze

La conoscenza viene verificata attraverso un test scritto (report) e un esame orale.

Assessment criteria of knowledge

Knowledge is verified through a written test (report) and an oral exam.

 

Capacità

Capacità di progettare soluzioni a problemi con metodi di reti neurali e apprendimento automatico.
Capacità di analisi e sviluppo di modelli come strumento per problemi complessi e/o per l’avanzamento metodologico.
Capacità di applicazione rigorosa e valutazione sperimentale dei metodi di apprendimento.

Skills

Learn the key concepts and methods behind the design and development of machine learning system.

Capability of analysis and development of  machine learning systems to address a new task and/or to advance the methodolgies.

Ability to apply and to perform a rigorous experimental evaluation of learning methods.

Modalità di verifica delle capacità

Gli studenti sono incoraggiati a sviluppare un progetto con sviluppo di modelli e loro applicazione.
Esame orale.

Assessment criteria of skills

The studens are encouraged to develop a project with development of models and their application.
Oral test.

Comportamenti

Consapevolezza dei limiti attuali e delle potenzialità dei sistemi di apprendimento; uso critico dei modelli per problemi reali.

Behaviors

Awareness of current potentiality and  limitations of machine learning based systems. Critical models applications for real problems.

Modalità di verifica dei comportamenti

Gli studenti sono incoraggiati a sviluppare un progetto con sviluppo di modelli e loro applicazione.
Esame orale.

Assessment criteria of behaviors

The studens are encouraged to develop a project with development of models and their application.
Oral test.

Prerequisiti (conoscenze iniziali)

Analisi matematica: funzioni, calcolo differenziale; algoritmica; algebra lineare (notazione matriciale) e calcolo; elementi di probabilità e statistica.

Prerequisites

Elements of mathematical calculus: functions, differential calculus. Algorithms. Elements of matrix calculus and related notations. Elements of probability and statistics.

Corequisiti

Metodi numeri e ottimizzazione.

Co-requisites

Numerical and optimization methods.

Prerequisiti per studi successivi

Corsi avanzati che utilizzano le tecniche di apprendimento automatico.

Prerequisites for further study

Advanced courses using machine learning techiniques.

Indicazioni metodologiche

I concetti sono introdotti progressivamente a partire dagli approcci più semplici di apprendimento automatico fino ai modelli allo stato dell'arte, sia neurali che ad essi complementari, nell'ambito dell'inquadramento concettuale generale e moderno del machine learning (apprendimento di funzioni da esempi e ricerca in spazi di ipotesi).
Si intende incoraggiare l’utilizzo di una formulazione computazionale dei problemi e dei sistemi di apprendimento.

Le lezioni sono in aula, tipicamente con l'aiuto di diapositive (proiezione). Partecipazione: fortemente consigliata. Metodi didattici: lezioni e lavoro di progetto.

 

Teaching methods

The concepts are progressively introduced starting from simpler approaches up to the state-of-the-art models in the general conceptual framework of modern machine learning.

Learning activities:

  • attending lectures
  • preparation of oral/written report
  • individual study

Delivery: face to face, typically with the help of slides (projection)

Attendance: strongly advised

Teaching methods:

  • Lectures
  • project work
Programma (contenuti dell'insegnamento)
  • Introduzione: Compiti computazionali nell'apprendimento predittivo e concetto di generalizzazione.
  • Modelli e concetti di base: Struttura dello spazio delle ipotesi, spazi discreti e continui, bias induttivo, modelli proposizionali e basati su regole, modelli lineari  (algoritmi di apprendimento e proprietà), nearest neighbor (algoritmi di apprendimento e proprietà).
  • Modelli a Reti Neurali: Perceptron e proprietà computazionali. Reti Neurali multistrato feedforward: architetture e algoritmi di apprendimento. Reti neurali ricorrenti.
  • Principi dell'apprendimento, aspetti pratici generali e valutazione: Teoria Statistica dell'Apprendimento.  Validazione: model selection e model assessment. Analisi Bias-Variance.
  • Support Vector Machines e modelli a Kernel.
  • Modelli Bayesiani e Grafici.
  • Unsupervised learning: vector quantization, self-organizing map.
  • Introduzione alle Applicazioni e all'apprendimento in domini strutturati.
Syllabus
  • Computational learning tasks and generalization.
  • Basic concepts and models (discrete hypothesis space, linear and nearest neighbor models).
  • Neural Networks architectures and learning algorithms.  Perceptron. Multi-layers models. Recurrent neural networks.
  • Validation: model selection and model assessment.
  • Elements of Statistical Learning Theory. Bias/variance analysis.
  • Support Vector Machines and Kernels.
  • Bayesian and Graphical models.
  • Unsupervised learning: vector quantization, self-organizing map.
  • Introduction to applications and advanced approaches (structured domains).
Bibliografia e materiale didattico

Note del corso (fornite dal docente). Ulteriori riferimenti includono:

  • S. Haykin: Neural Networks and Learning Machines, Prentice Hall.
  • T. M. Mitchell: Machine learning, McGraw-Hill.
  • Ulteriori riferimenti  suggeriti nelle note del corso.
Bibliography

Course notes (provided by the instructors. Recommended reading includes the following works; further bibliography will be indicated.

  • S. Haykin: Neural Networks and Learning Machines, Prentice Hall.
  • T. M. Mitchell: Machine learning, McGraw-Hill.
  • Course slides and further readings suggested in the slides.
Modalità d'esame

La prova scritta è tipicamente basata su un report (progetto). Nell'esame scritto lo studente deve dimostrare la propria conoscenza del materiale didattico e riportare la propria esperienza, con una consapevolezza critica, nelle applicazioni e nella valutazione dei modelli di Machine Learning. Gli studenti hanno l'opportunità di sviluppare un progetto che realizza un simulatore di un  sistema di apprendimento (in genere una semplice rete neurale) e la sua convalida attraverso benchmarks di riferimento.
Il test scritto è tipicamente basato sul materiale  del progetto, incluso codice e un rapporto scritto dei risultati sperimentali. Il materiale viene consegnato in anticipo dallo studente.


Il test orale consiste in un'intervista tra il candidato e il docente su tutte le parti del programma e, se utile, nella discussione sul test scritto. Durante l'esame orale l'allievo deve essere in grado di dimostrare la propria conoscenza del materiale didattico e di poter discutere  la letteratura con profondità e correttezza dell'espressione, mostrando anche la capacità di relazionare le varie nozioni acquisite e una consapevolezza sufficiente dei limiti e delle potenzialità dei sistemi di apprendimento automatico. Per accedere  all'esame orale, gli studenti devono aver ottenuto un livello sufficiente nelle prove scritte.

Assessment methods

Methods:

  • Final written exam/written report
  • Final oral exam

- In the written exam the student must demonstrate his/her knowledge of the course material and to report their experience, with critical awareness, in the applications and evaluation of Machine Learning models.  Students have the opportunity to develop a project realizing a learning system simulator (typically a simple neural network) and to validate it through benchmarks.
The  written test is typically based on material with the result of the project,  including the code and  a written report of the experimental results. The material is delivered in advance by the student.

- The oral test consists in an interview between the candidate and the course lecturers on all parts of the program and, where appropriate, in the discussion on the written test. During the oral exam the student must be able to demonstrate his/her knowledge of the course material and be able to discuss the reading matter thoughtfully and with propriety of expression, also  showing the ability to relate the various notions acquired and  a sufficient awareness of the limits and potential of learning systems.
To take the oral exam, students must have obtained a sufficient grade in the written test.

Notes

COURSE TITLE:

English: "Machine Learning: Fundamentals"

Italian: "Apprendimento Automatico: Fondamenti" (AA1)

Updated: 18/07/2017 19:37