One-to-many and many-to-many matching for Saimaa ringed seal re-identification

• Main Author: Vilkman, Antti
• Other Authors: Lappeenrannan-Lahden teknillinen yliopisto LUT, Lappeenranta-Lahti University of Technology LUT
• Format: Master Thesis
• Language: English
• Published: 2022
• Subjects: Saimaa ringed seal; computer vision; re-identification; one-to-many; many-to-many; saimaannorppa; tietokonenäkö; uudelleentunnistaminen; yksi-moneen; moni-moneen; fi=Datatiede|en=Data science|; fi=School of Engineering Science; Laskennallinen tekniikka|en=School of Engineering Science; Computational Engineering|; ringed seal
• Online Access: https://lutpub.lut.fi/handle/10024/164233

Saimaa ringed seals are among the most endangered seal species. Monitoring Saimaa ringed seals using image data is a useful tool in their conservation efforts. The images can be collected automatically by using camera traps and the amount of data collected can be large. Automatic computer vision methods for identifying individual seals are used to reduce the amount of manual work involved in the identification. Utilising information from multiple images and views simultaneously can give additional information and enhance the features present in the images. In this thesis the one-to-many and many-to-many matching of Saimaa ringed seals is considered. Information from multiple images was utilised by aggregating the features from multiple images to a single Fisher Vector. The experiments were conducted with aggregating only the database features, only the query features, and aggregating both. The achieved results were compared to one-to one matching where features from a single image are used at a time. Aggregating the only the database features failed to improve results over the baseline one-to-one matching. The other two aggregation methods significantly improved the re-identification accuracy. Saimaannorppa on yksi uhanalaisimmista hyljelajeista. Saimaannorppien tarkkailu kuvien avulla on hyödyllinen työkalu niiden suojelutyössä. Kuvia voidaan kerätä automaattisesti käyttämällä riistakameroita ja kerätyn datan määrä voi olla suuri. Manuaalisen työn vähentämiseksi norppayksilöiden tunnistamisessa hyödynnetään automaattisia tietokonenäköön pohjautuvia metodeja. Useiden kuvien ja kuvakulmien käyttö samanaikaisesti voi antaa lisäinformaatiota ja tarkentaa kuvissa olevia piirteitä. Tässä työssä käsitellään saimaannorppien yksi-moneen- ja moni-moneen-vastaavuutta. Informaatiota useista kuvista hyödennettiin yhdistämällä useista kuvista kerätyt piirteet yhteen Fisher-vektoriin. Suoritetuissa kokeissa yhdistettiin piirteet vain tietokantakuvista, vain kyselykuvista, sekä molemmista. Saavutettuja tuloksia verrattiin ...