SNY har ordet

Det finns inga aktuella kommentarer för kursen. Om du har läst kursen får du gärna kontakta SNY med en kommentar för att förbättra kommande upplagor av Y-arens guide till galaxen.

Kursutvärderingar

Logga in för att läsa kursutväderingar

Innehåll

Övergripande innehåll

• språkteknologiska koncept, modeller och algoritmer
• relevanta maskininlärningsmetoder
• valideringsmetoder
• tillämpningar av språkteknologi
• språkteknologiska verktyg, programbibliotek och data
• språkteknologi som forsknings- och utvecklingsområde
• samhälleliga, miljömässiga och etiska aspekter av språkteknologi

Fokus: Stora språkmodeller och chattbotar

• tokenisering (BPE), inbäddningar, ordvektorer
• språkmodeller baserade på Transformer-arkitekturen (GPT, BERT)
• utveckling av språkmodeller och chattbotar: data, förträning, finjustering
• aktuell forskning och utveckling

Laborationer

I kursens laborationsserie implementerar, tränar och utvärderar studenterna en komplett chattbot baserad på GPT-arkitekturen.

Mål

Natural Language Processing (NLP) gör det möjligt för datorer att arbeta med mänskligt språk. I den här kursen kommer du att utforska de centrala modeller och algoritmer som ligger till grund för modern NLP, med en stark betoning på praktisk erfarenhet. Kursen fokuserar särskilt på stora språkmodeller (LLM:er) och utvecklingen av chatbotar.

Efter genomgången kurs ska den studerande kunna:

1. förklara centrala språkteknologiska koncept, modeller och algoritmer
2. implementera språkteknologiska algoritmer och tillämpa dem på realistiska problem
3. utvärdera språkteknologiska komponenter och system med lämpliga metoder
4. identifiera, värdera och nyttiggöra vetenskaplig litteratur inom språkteknologiområdet

Examinationsmoment

UPG3 - 1,5 HP
Teoriuppgifter (U, G)
LAB3 - 1,5 HP
Laborationsuppgifter (U, 3, 4, 5)
UPG4 - 1,5 HP
Projektuppgifter (gruppdel) (U, 3, 4, 5)
UPG5 - 1,5 HP
Projektuppgifter (individuell del) (U, 3, 4, 5)

Examination

Organisation

Kursen ges i form av föreläsningar, seminarier, datorlaborationer och handledning i samband med ett projektarbete. Kursens föreläsningsdel har ett omvänt klassrum-format.

Litteratur

Kompletterande litteratur

Böcker

• Jacob Eisenstein, (2019) Introduction to Natural Language Processing MIT Press
  ISBN: 9780262042840
  En gratis pre-print version av boken finns tillgänglig online.
  https://mitpress.mit.edu/books/introduction-natural-language-processing

Relaterade profiler

Datadriven analys och maskinintelligens DAMI - ISY

Maskininlärning och datadriven analys MIDA - IDA

Signal- och bildbehandling SBB - ISY

Rekommenderade förkunskaper

<p>Diskret matematik.</p> <p>Goda kunskaper inom programmering, datastrukturer och algoritmer.</p> <p>Grundkunskaper inom sannolikhetslära och optimeringslära.</p> <p>Förkunskaper inom maskininlärning är rekommenderade men inget krav för kursen.</p>

Diskret matematik TATA32 - 8,0 HP - HT1 block 2, HT2 block 3

Optimeringslära grundkurs TAOP07 - 6,0 HP - VT1 block 2

Programmering och datastrukturer TDDC76 - 8,0 HP - HT1 block 2, HT2 block 2

Programmering, grundkurs TDDE44 - 8,0 HP - VT1 block 2, VT2 block 1

Sannolikhetslära TAMS14 - 4,0 HP - VT1 block 1 | VT2 block 4

Kommentarer

Logga in för att kunna läsa och skriva kommentarer.