Transformer arhitektura

U ovom ćemo radu objasniti kako radi transformer arhitektura. Kako možemo pojedine slojeve arhitekture sami implementirati u poznatoj biblioteci za izradu neuronskih mreža PyTorch. Nakon toga pokazat ćemo kako možemo iskoristiti našu implementaciju da izgradimo prevoditelj hrvatskog na engleski jezi...

Full description

Bibliographic Details
Main Author: Salha, Ramal
Other Authors: Matijević, Domagoj
Format: Bachelor Thesis
Language:Croatian
Published: Sveučilište Josipa Jurja Strossmayera u Osijeku. Fakultet primijenjene matematike i informatike. 2023
Subjects:
PRIRODNE ZNANOSTI. Matematika. Matematička logika i računarstvo
NATURAL SCIENCES. Mathematics. Mathematical Logic and Accounting
Transformer arhitektura
PyTorch
Mehanizam pažnje
Transformer architecture
Attention
sami
Online Access:https://repozitorij.unios.hr/islandora/object/mathos:783
https://urn.nsk.hr/urn:nbn:hr:126:272269
https://repozitorij.unios.hr/islandora/object/mathos:783/datastream/PDF
Description
Summary:U ovom ćemo radu objasniti kako radi transformer arhitektura. Kako možemo pojedine slojeve arhitekture sami implementirati u poznatoj biblioteci za izradu neuronskih mreža PyTorch. Nakon toga pokazat ćemo kako možemo iskoristiti našu implementaciju da izgradimo prevoditelj hrvatskog na engleski jezik. In this work, we will explain how the transformer architecture works. We will also show how we can implement individual layers of the architecture ourselves in the well-known neural network library, PyTorch. Afterward, we will demonstrate how we can use our implementation to build a translator from Croatian to English.

Similar Items