Innehåll

• Grundläggande kunskap om kommunikationsnätverk, grafer, topologi samt spektral grafteori.
• Exempel på signal- och informationsbehandling i nätverk. Applikationer inom distribuerad styrning, inferens, och maskininlärning.
• Informationsspridning och sammanställning över nätverk. Distribuerad konsensus i tidsinvarianta samt tidsvarianta nätverk.
• Optimeringsmetoder för maskininlärning. Gradientnedstigning, stokastisk gradientnedstigning, samt distribuerad och decentraliserad gradientnedstigning.
• Centraliserad och decentraliserad kollaborativ maskininlärning.
• Federerad inlärning. Kommunikationseffektivitet, samt dataheterogenitet och -integritet.
• Decentraliserad inlärning. Avvägningar mellan kommunikation och beräkning.
• Hållbar AI: etiska aspekter av AI, energi- och beräkningseffektivitet optimerad ML, etc.

Mål

Efter fullföljd kurs förväntas studenten kunna:

• Förklara och sammanfatta teoretiska metoder, utföra matematiska härledningar, samt analysera specifika tekniska koncept relaterade till distribuerad konsensus, optimering, och maskininlärning över nätverk.
• Implementera och utföra laborativa uppgifter med välkända programspråk, samt verifiera och reflektera över de teoretiska resultaten relaterade till konsensusbildning och kollaborativ maskininlärning genom simuleringsexempel.
• Presentera och rapportera laborativa uppgifter på ett strukturerat och uttänkt sätt.

Examinationsmoment

Examination

Organisation

Undervisningen ges i form av föreläsningar, lektioner och laborationer.

Litteratur

Obligatorisk litteratur

Böcker

• Joshi, Gauri, (2023) Optimization algorithms for distributed machine learning. Cham : Springer Nature, [2023]
  ISBN: 9783031190667
• Simeone, Osvaldo, (2023) Machine learning for engineers : [principles and algorithms through signal processing and information theory]
  ISBN: 9781316512821, 1316512827

Kompletterande litteratur

Artiklar

• A. Nedić, A. Olshevsky and M. G. Rabbat, Network topology and communicationcomputation tradeoffs in decentralized optimization Proceedings of the IEEE, vol. 106, no. 5, pp. 953-976, May 2018
• R. Olfati-Saber, J. A. Fax and R. M. Murray, Consensus and cooperation in networked multiagent systems Proceedings of the IEEE vol. 95, no. 1, pp. 215-233, Jan. 2007
• Xin, R., Pu, S., Nedic, A., Khan, U.A., A General Framework for Decentralized Optimization With First-Order Methods Proceedings of the IEEE vol. 108, no. 11, pp. 1869-1889, Nov. 2020

Relaterade profiler

Kommentarer