Navigacija

26D111NOP - Napredna obrada prirodnih jezika

Specifikacija predmeta
Naziv Napredna obrada prirodnih jezika
Akronim 26D111NOP
Studijski program Elektrotehnika i računarstvo
Modul modul Softversko inženjerstvo
Tip studija doktorske akademske studije
Nastavnik (predavač)
Nastavnik/saradnik (vežbe)
    Nastavnik/saradnik (DON)
      Broj ESPB 9.0 Status predmeta izborni
      Uslovljnost drugim predmetima
      Ciljevi izučavanja predmeta Predstavljanje naprednih modela i zadataka u obradi prirodnih jezika. Upoznavanje studenata sa različitim arhitekturama velikih jezičkih modela i njihovim primenama.
      Ishodi učenja (stečena znanja) Studenti će naučiti napredne tehnike obrade tekstualnih podataka napisanih na prirodnim jezicima i biti u stanju da primene najsavremenije statističke metode u rešavanju problema iz ovog domena.
      Sadržaj predmeta
      Sadržaj teorijske nastave Veliki jezički modeli i transferno učenje u OPJ oblasti. Enkoder i dekoder modeli. Fino podešavanje modela i učenje na osnovu malog broja primera. Monolingvalni i multilingvalni modeli i njihove kros-lingvalne primene. Dizajn upita i halucinacije generativnih modela. Pristrasnost u modelima. Odgovaranje na pitanja, izrada sažetaka i uprošćavanje teksta, razrešavanje koreferenci, multimodalni zadaci.
      Sadržaj praktične nastave Zajedničko koncipiranje i razrada teme i sadržaja predmetnog projekta; upoznavanje studenata sa relevantnim konceptima, pristupima, sredstvima i literaturom; praćenje i diskusija rešenja, rezultata i mogućih poboljšanja tokom rada na projektu i njegovog dokumentovanja.
      Literatura
      1. Speech and Language Processing, Dan Jurafsky, James H. Martin, 3rd edition draft
      2. Natural Language Processing with Transformers, Lewis Tunstall, Leandro von Werra, Thomas Wolf, O'Reilly, 2022
      Broj časova aktivne nastave nedeljno tokom semestra/trimestra/godine
      Predavanja Vežbe DON Studijski i istraživački rad Ostali časovi
      8
      Metode izvođenja nastave Predavanja i mentorski rad sa studentima na izradi projektnog zadatka
      Ocena znanja (maksimalni broj poena 100)
      Predispitne obaveze Poena Završni ispit Poena
      Aktivnosti u toku predavanja Pismeni ispit
      Praktična nastava Usmeni ispit 30
      Projekti 70
      Kolokvijumi
      Seminari