Transformer arhitektura

U ovom ćemo radu objasniti kako radi transformer arhitektura. Kako možemo pojedine slojeve arhitekture sami implementirati u poznatoj biblioteci za izradu neuronskih mreža PyTorch. Nakon toga pokazat ćemo kako možemo iskoristiti našu implementaciju da izgradimo prevoditelj hrvatskog na engleski jezi...

Full description

Bibliographic Details
Main Author: Salha, Ramal
Other Authors: Matijević, Domagoj
Format: Bachelor Thesis
Language:Croatian
Published: Sveučilište Josipa Jurja Strossmayera u Osijeku. Fakultet primijenjene matematike i informatike. 2023
Subjects:
PRIRODNE ZNANOSTI. Matematika. Matematička logika i računarstvo
NATURAL SCIENCES. Mathematics. Mathematical Logic and Accounting
Transformer arhitektura
PyTorch
Mehanizam pažnje
Transformer architecture
Attention
sami
Online Access:https://repozitorij.unios.hr/islandora/object/mathos:783
https://urn.nsk.hr/urn:nbn:hr:126:272269
https://repozitorij.unios.hr/islandora/object/mathos:783/datastream/PDF
id ftunivosijek:oai:repozitorij.unios.hr:mathos_783
record_format openpolar
spelling ftunivosijek:oai:repozitorij.unios.hr:mathos_783 2024-06-23T07:56:32+00:00 Transformer arhitektura Transformer Architecture Salha, Ramal Matijević, Domagoj 2023-09-29 application/pdf https://repozitorij.unios.hr/islandora/object/mathos:783 https://urn.nsk.hr/urn:nbn:hr:126:272269 https://repozitorij.unios.hr/islandora/object/mathos:783/datastream/PDF hrv hrv Sveučilište Josipa Jurja Strossmayera u Osijeku. Fakultet primijenjene matematike i informatike. Josip Juraj Strossmayer University of Osijek. School of Applied Mathematics and Informatics. https://repozitorij.unios.hr/islandora/object/mathos:783 https://urn.nsk.hr/urn:nbn:hr:126:272269 https://repozitorij.unios.hr/islandora/object/mathos:783/datastream/PDF http://rightsstatements.org/vocab/InC/1.0/ info:eu-repo/semantics/openAccess PRIRODNE ZNANOSTI. Matematika. Matematička logika i računarstvo NATURAL SCIENCES. Mathematics. Mathematical Logic and Accounting Transformer arhitektura PyTorch Mehanizam pažnje Transformer architecture Attention info:eu-repo/semantics/bachelorThesis text 2023 ftunivosijek 2024-06-03T16:17:38Z U ovom ćemo radu objasniti kako radi transformer arhitektura. Kako možemo pojedine slojeve arhitekture sami implementirati u poznatoj biblioteci za izradu neuronskih mreža PyTorch. Nakon toga pokazat ćemo kako možemo iskoristiti našu implementaciju da izgradimo prevoditelj hrvatskog na engleski jezik. In this work, we will explain how the transformer architecture works. We will also show how we can implement individual layers of the architecture ourselves in the well-known neural network library, PyTorch. Afterward, we will demonstrate how we can use our implementation to build a translator from Croatian to English. Bachelor Thesis sami RUNIOS - Repository of Josip Juraj Strossmayer University of Osijek
institution Open Polar
collection RUNIOS - Repository of Josip Juraj Strossmayer University of Osijek
op_collection_id ftunivosijek
language Croatian
topic PRIRODNE ZNANOSTI. Matematika. Matematička logika i računarstvo
NATURAL SCIENCES. Mathematics. Mathematical Logic and Accounting
Transformer arhitektura
PyTorch
Mehanizam pažnje
Transformer architecture
Attention
spellingShingle PRIRODNE ZNANOSTI. Matematika. Matematička logika i računarstvo
NATURAL SCIENCES. Mathematics. Mathematical Logic and Accounting
Transformer arhitektura
PyTorch
Mehanizam pažnje
Transformer architecture
Attention
Salha, Ramal
Transformer arhitektura
topic_facet PRIRODNE ZNANOSTI. Matematika. Matematička logika i računarstvo
NATURAL SCIENCES. Mathematics. Mathematical Logic and Accounting
Transformer arhitektura
PyTorch
Mehanizam pažnje
Transformer architecture
Attention
description U ovom ćemo radu objasniti kako radi transformer arhitektura. Kako možemo pojedine slojeve arhitekture sami implementirati u poznatoj biblioteci za izradu neuronskih mreža PyTorch. Nakon toga pokazat ćemo kako možemo iskoristiti našu implementaciju da izgradimo prevoditelj hrvatskog na engleski jezik. In this work, we will explain how the transformer architecture works. We will also show how we can implement individual layers of the architecture ourselves in the well-known neural network library, PyTorch. Afterward, we will demonstrate how we can use our implementation to build a translator from Croatian to English.
author2 Matijević, Domagoj
format Bachelor Thesis
author Salha, Ramal
author_facet Salha, Ramal
author_sort Salha, Ramal
title Transformer arhitektura
title_short Transformer arhitektura
title_full Transformer arhitektura
title_fullStr Transformer arhitektura
title_full_unstemmed Transformer arhitektura
title_sort transformer arhitektura
publisher Sveučilište Josipa Jurja Strossmayera u Osijeku. Fakultet primijenjene matematike i informatike.
publishDate 2023
url https://repozitorij.unios.hr/islandora/object/mathos:783
https://urn.nsk.hr/urn:nbn:hr:126:272269
https://repozitorij.unios.hr/islandora/object/mathos:783/datastream/PDF
genre sami
genre_facet sami
op_relation https://repozitorij.unios.hr/islandora/object/mathos:783
https://urn.nsk.hr/urn:nbn:hr:126:272269
https://repozitorij.unios.hr/islandora/object/mathos:783/datastream/PDF
op_rights http://rightsstatements.org/vocab/InC/1.0/
info:eu-repo/semantics/openAccess
_version_ 1802649678734426112

Similar Items