Theses

NOTES

Our main topics are:

  1. CATS-lab: assistive technologies for learning – assistive solutions; support to learning activities.
  2. PITCH-lab: clinics and bioengineering – voice, language, and music analysis.
  3. DIKE-lab: forensic psychology – analysing examinations in a court of law.
  4. OTHER PROJECTS

Feel free to contact us for any information, even if you like a thesis that has already been assigned or completed. And, of course, we are open to your proposals.

1. CATS-lab: assistive technologies for learning – assistive solutions; support to learning activities

Tesi 1.1: PoliLips

The thesis aims at implementing an assistive device that supports students with hearing problems during classes. An initial HW device has already been built, but we need to improve its design. The thesis is about the design of a new HW, using off-the-shelf components, and the implementation of the software, both client-side and server-side. In particular, a setting where teacher and students use a mobile device, and an external server does the heavy computational work, could be investigated.

Tesi 1.2: PoliSpell

PoliSpell is a spelling corrector and predictor for people with dyslexia. It is able to take into account the particular errors made by people with dyslexia, correcting the so-called “real word errors” (errors where a correct word is misspelled as another correct word; e.g., “both” –> “bath”). Moreover, the predictor is able to guess the words that the user is going to type, inserting them into the text. The model, based on a stochastic approach has been defined and trained, but we lack a good implementation. We plan to release PoliSpell as a stand-alone application (a specialized editor for people with dyslexia) and/or as a plug-in for existing editor (Word, OpenOffice, …). The interface of the speller/corrector has bees designed to be easy to use, by minimizing the human-machine interaction and avoiding to use the mouse for controlling the correction/prediction functionalities (but your contribution on this topic could be appreciated). We believe this is a good opportunity for a short thesis (“tesina” aka “tesi senza controrelatore”).

Tesi 1.3: calcolo e riduzione della complessità  di testi

Scenario: “Francesco deve produrre un testo adatto a utenti con disabilità  cognitiva. Utilizzando un editor apposito, Francesco è informato circa la complessità  del testo che sta scrivendo (per mezzo di una collezione di indici numerici riassuntivi).”

Il candidato potrebbe: (1) portare avanti il lavoro sul tool (realizzato nell’ambito di una tesi precedente) SPARTA2, per il calcolo della complessità  di testi in italiano (validazione, calcolo coefficienti del modello, miglioramento del modello stesso, …); (2) realizzare l’equivalente di SPARTA2, per la lingua inglese.

Tesi 1.4: postazione per ipovedenti e non vedenti

Gli ingranditore per ipovedenti di solito hanno un monitor 4:3, che non è comodo per leggere i libri. Infatti, la riga non viene visualizzata completamente ed è necessario spostare continuamente il libro. L’ideale sarebbe che il monitor potesse visualizzare le due pagine affiancate, e farle apparire sufficientemente grandi. Sarebbe inoltre comodo che si potesse utilizzare un ingrandimento più piccolo del 2x, perché per gli ipovedenti meno gravi ciò consentirebbe di visualizzare una parte maggiore della pagina. Una soluzione alternativa consiste nell’utilizzare uno scanner per acquisire le pagine, e un OCR per convertirle in un formato editabile (es Word); quindi, visualizzare il tutto e aumentare la dimensione del font. In questo modo, i caratteri sono grandi ma la pagina rimane tutta visibile all’interno del monitor (reimpaginazione). Esistono infine scanner con lettura vocale incorporata, ma la voce di solito non è proprio eccelsa, specialmente per quanto riguarda la punteggiatura.

Sulla base di questi requisiti, la tesi ha l’obiettivo di realizzare una postazione di lettura integrata per ipovedenti e non vedenti.

L’HW della postazione, già parzialmente acquistato, sarà composto da:

  • lampada a luce fredda
  • scanner
  • fotocamera digitale
  • stampate A3
  • PC per il controllo centralizzato di tutte le componenti della postazione
  • Supporto per la fotocamera, e piano di appoggio del libro

Il SW di controllo comprenderà e integrerà alcune applicazioni commerciali, ed altre realizzate ad hoc:

  • Interfaccia utente touch; vocale per non vedenti
  • OCR per acquisire documenti dallo scanner
  • Word per reimpaginare la pagina acquisita, ingrandendo il carattere
  • TTS per leggere il testo (per non vedenti)
  • ASR per controllare l’interfaccia utente dell’applicazione (per non vedenti)
  • Librerie per il controllo della fotocamera (fornite dal produttore)
  • Controllo dello scanner

Tesi 1.5: cloud computing and assistive software

The main goal of this tesina is an evaluation of cloud computing applied to assistive software solutions, both commercial and experimental (as the ones developed by ARCSLab). In particular, we are interested in evaluating the Lucy project, endorsed by the G3ict group (G3ict, the Global Initiative for Inclusive Information and Communication Technologies, is a flagship advocacy initiative of UN-GAID, the United Nations Global Alliance for ICT and Development).

The expected outcome of the tesina will be: (a) understanding whether assistive software could be ported on cloud-based platforms; (b) pros and cons of that solution; (c) evaluation of the Lucy platform; and (d) if possible, an experimental implementation of a commercial or ARCSLab software on a cloud-based platform (preferably, Lucy).

Tesi 1.6: PoliNotes V2

Nowadays, more and more university classes are given by means of slide-based presentations, possibly including multimedia content. Advantaged of such presentations are well-known: slide-based presentations permit teachers to prepare well-polished materials, leveraging textual and multimedia features available in modern presentation software; moreover, as the literature points out, multimedia learning can enhance class effectiveness, facilitating retention and comprehension of concepts.

Unfortunately, slide-based presentations also have shortcomings. In particular, taking notes becomes quite difficult and the result is often unsatisfactory. Typically, two scenarios can be considered. In the first one, the teacher gives slides in advance to her students; students, then, print slides and take notes on them, or in a notebook where printed slides are also inserted. In the second scenario, students do not have slides during the class; they do not take notes at all or, conversely, they try to write all the slide contents, usually failing to sustain the pace of the presentation. In both cases, the result is often messy and the probability of errors or misunderstandings is quite high.

These issues particularly affect students that have problems in taking notes; for example, think of students with learning, motoric or sensorial impairments.

The objective of PoliNotes was the design and development of a collection of software applications that allow convenient note-taking during slide-based classes. Such applications permit students to receive on their Tablet-PCs the slides presented by teachers, in real time. Students can edit objects contained in the slides, as well as add their own pen-based notes. The resulting notes, thus, contain text, images, video, sounds, and hand-written parts (sketches or phrases).

We argue the proposed solution could effectively support students that have problems in taking notes, as contents of the slides are automatically added and less handwriting is needed.

The first version is implemented, and experimentations are planned in the following months. Developing the system, however, we noted that OneNote, although interesting and feature-rich, is not as intuitive and easy to use as it should be.

Therefore, we are planning to implement our own note-taking application, simpler, with fewer features, but easier to use. The new note-taking application will be developed under Windows 7, on a multitouch Tablet we already own.

Tesi 1.7: eBook reader multilingua

Una delle caratteristiche degli eBook, attualmente poco sfruttata, è quella di permettere un comodo accesso a diverse modalità di rappresentazione dello stesso contenuto informativo. Interessanti applicazioni possono essere studiate per facilitare l’accesso a testi multilingua o l’apprendimento di lingue straniere o linguaggi alternativi (in situazione di disabilità). In particolare, si pensi ad un lettore che incontri difficoltà a comprendere un testo in lingua straniera, oppure ad una persona in situazione di disabilità con problemi di lettura. In questo scenario, un eBook che proponesse il testo originario e permettesse, su richiesta, di visualizzare parole, frasi, espressioni idiomatiche, o interi capoversi, in una lingua o in un formato più comprensibili, potrebbe notevolmente ridurre lo sforzo richiesto al lettore.

La tesi è incentrata sullo sviluppo di un’applicazione su eBook in grado di gestire la visualizzazione di contenuti in più linguaggi mantenendo il mapping tra le strutture linguistiche delle diverse rappresentazioni. Per la rappresentazione del contenuto verrà utilizzata una estensione del formato EPUB, uno standard aperto proposto dall’International Digital Publishing Forum (IDPF).

L’applicazione potrebbe essere sviluppata per PC, oppure per eBook reader come iPad.

Tesi 1.8: eBook authoring tool multilingua

La tesi è incentrata sullo sviluppo di un ambiente di authoring per eBook, in grado di supportare le estensioni necessarie per gestire la visualizzazione multilingua. L’ambiente di authoring parte da diverse versioni dello stesso contenuto (in più lingue o in più formati) e, basandosi su tecniche NLP, permette di creare dei collegamenti tra le strutture linguistiche equivalenti delle varie lingue o dei vari formati che si desidera utilizzare. Il contenuto così strutturato sarà quindi codificato utilizzando un’estensione del formato EPUB.

Tesi 1.9: libro di testo elettronico

I libri di testo si prestano ad essere distribuiti sotto forma di eBook, perché possono sfruttare le potenzialità “dinamiche” che il formato elettronico offre. Per esempio, un libro elettronico potrebbe essere annotato dallo studente, magari a mano come farebbe con un libro reale. Anche sottolineare ed evidenziare sono attività che si possono implementare facilmente. Inoltre, si può pensare di aggiungere nuovi “fogli” al libro elettronico, contenenti le note dello studente (e si può visualizzare il libro affiancando le note al testo originale). Rispetto ad un libro reale, tutte queste annotazioni possono essere facilmente rimosse/modificate/nascoste/ecc. Infine, è semplice aggiungere contenuto “attivo” al libro: filmati, immagini interattive (si pensi, ad esempio, ad un grafico di una funzione in 3D che fosse possibile ruotare), script, ecc.

L’applicazione potrebbe essere sviluppata per PC, oppure per eBook reader come iPad.

Tesi 1.10: Automatic summarization and structure extraction

This thesis aims at providing an advanced tool able to generate summarizations and conceptual maps of texts. The tool will leverage a-priori knowledge, given by a custom-made ontology (which describes the relevant concepts belonging to a given domain), a verbal frame database, and the syntactic structure of sentences (generated by means of standard NLP tools). A rule-based system will exploit such information to select relevant words, disambiguate they meaning, and map them to the right ontology concepts. Finally, a summary and a graph (representing the structure of the text) will be generated. The system will be also able to execute inferences on the text, discovering and adding new concepts to the domain ontology.

A previous thesis provided a first version of the system, obtaining interesting results. A general rethought of the system is needed, however, as several open issues remain.

2. PITCH-lab: clinics and bioengineering – voice, language, and music analysis

Tesi 2.1: Prosodid karaoke

The prosodic karaoke is a rehabilitation/training tool. It challenges users to repeat a set of vocal utterances (spoken by professional actors), trying to imitate prosody and pronunciation. A set of graphs show to the user how well she/he replicated the proposed prosody/proninciation. Target users are: actors, students, persons with problems in expressing prosody (especially persons with dyslexia). etc.

The tool provides two sessions: a prosodic session and a pronunciation session. The first one aims at improving the prosody of the learner, while the second one focuses on the pronunciation of vowels and consonantal groups. In both sessions, the student imitates phrases and words spoken by an English mother-tongue speaker. Graphical representations permit to observe some vocal parameters and help the learner to adjust her/his prosody and pronunciation.

The following image shows a brief description of the process implemenetd by the tool for the pronunciation session.

A brief description of the process implemenetd by the tool

Tesi 2.2: text/speech alignment

This thesis aims at developing a tool able to precisely align an Italian speech recording and its transcription. The tool should automatically provide a first version of such alignment, permitting to edit the result in order to fix errors.

An “anonymizer” module should substitute some words with a placeholder (for example, names, places, etc.), while the related pieces of audio should be beep-ed. Such beep-ing operation should, however, try to preserve some characteristics of the original audio signal, such as pitch shape, amplitude shape, some harmonics, etc.

The resulting tool will be used in the context of our projects DIKE and PITCH.

3. DIKE-lab: forensic psychology – analysing examinations in a court of law

Tesi 3.1: DIKE prototype and corpus

This thesis deals with the refinement of the DIKE prototype. DIKE (Description of Interrogations by Knowledge Extraction) a tool that aims at analyzing examinations in a court of law by extracting relevant information. This work aim at the design and implementation of a conceptual model able to describe relevant information, and useful to understand how forensic examinations develop. DIKE is based on an original multi-dimensional conceptual model, which represents several aspects of examinations according to psychological, juridical, and linguistic theories.

For implementing such a model, we created a new audio/textual annotated corpus, using real examination recordings and transcriptions coming from Italian trials, and annotated with sentence- and utterance-level labels. Such a corpus permits to automatically annotate new examinations by means of original multi-level, HMM-based model.

A first prototype –and a first version of the corpus– exist, but both need various refinements and improvements. The thesis could concentrate on any of the following topics:

  • Prototype refinements
  • Model improvements
  • Corpus refinements

4. OTHER PROJECTS

Tesi 4.1: PoliNavPlatform: an indoor navigation system

This thesis aims at developing an hybrid indoor-outdoor navigation system for the Campus Leonardo at Politecnico di Milano. The application will be installed on an Android smartphone and will exploit WiFi APs, the device’s sensors, and the GPS signal. A metadata-enhanced map of the Campus Leonardo and an advanced stochastic model will integrate all the aforementioned data, providing positioning, path calculation, and real-time navigation.

The application will exploit a user profile to adapt its interface to the user’s preferences and/or disabilities (e.g., for blind people). Such a profile will also affected the path calculation algorithm (e.g., avoiding stairs for people with motor disabilities).

Being part of the UbiCampus project, the resulting solution will be tested at Politecnico di Milano.

Tesi 4.2: DIESIRAE

DIESIRAE è un tool progettato per mappare le parole di un testo sui concetti definiti in un’ontologia di dominio. Le parole però sono spesso polisemiche: a seconda del contesto in cui sono immerse, portano vari significati. Ciò rende difficile mappare univocamente una parola su di un solo concetto. DIESIRAE si basa su un modello statistico che, considerando le informazioni morfologiche e sintattiche del contesto della parola, cerca di disambiguarne il significato, associandola al concetto corretto. Il tool consente inoltre di inserire query basate su concetti, espresse in linguaggio naturale. Infine, il tool cerca di estendere l’ontologia di dominio, scoprendo nuove istanze di classe presenti nei testi che analizza.

Il tool è terminato, ma necessita di una profonda ristrutturazione (per esempio, utilizzando funzionalità presenti in Jackrabbit e Lucene, che adesso sono realizzate in modo non ottimale). Inoltre, alcune funzionalità potrebbero essere notevolmente migliorate: gestione delle multiword, migliore risoluzione delle anafore, miglior crawler e importer di documenti, migliore modello e reasoner per estrarre nuove istanze di classe, modello per estrarre nuove istanza di relazione. Infine, il tool potrebbe essere integrato con il framework UIMA.