AcousticIA, a deep neural network for multi-species fish detection using multiple models of acoustic cameras

• Published in: Aquatic Ecology
• Main Authors: Fernandez Garcia, Guglielmo, Corpetti, Thomas, Nevoux, Marie, Beaulaton, Laurent, Martignac, François
• Other Authors: Dynamique et durabilité des écosystèmes : de la source à l’océan (DECOD), Institut Français de Recherche pour l'Exploitation de la Mer (IFREMER)-Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement (INRAE)-Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro)-Institut Agro Rennes Angers, Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro), Pôle OFB-INRAE-Institut Agro-UPPA pour la gestion des migrateurs amphihalins dans leur environnement (MIAME), Université de Pau et des Pays de l'Adour (UPPA)-Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement (INRAE)-Office français de la biodiversité (OFB)-Institut Agro Rennes Angers, Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro)-Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro), Observation de l’environnement par imagerie complexe (OBELIX), SIGNAL, IMAGE ET LANGAGE (IRISA-D6), Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique), Institut Mines-Télécom Paris (IMT)-Institut Mines-Télécom Paris (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes), Institut Mines-Télécom Paris (IMT)-Institut Mines-Télécom Paris (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA), Institut Mines-Télécom Paris (IMT)-Institut Mines-Télécom Paris (IMT), Littoral, Environnement, Télédétection, Géomatique (LETG - Rennes ), Université de Brest (UBO)-Université de Rennes 2 (UR2)-Littoral, Environnement, Télédétection, Géomatique UMR 6554 (LETG), Université de Brest (UBO)-Université de Rennes 2 (UR2)-Centre National de la Recherche Scientifique (CNRS)-Institut de Géographie et d'Aménagement Régional de l'Université de Nantes (Nantes Univ - IGARUN), Nantes Université - pôle Humanités, Nantes Université (Nantes Univ)-Nantes Université (Nantes Univ)-Nantes Université - pôle Humanités, Nantes Université (Nantes Univ)-Nantes Université (Nantes Univ)-Centre National de la Recherche Scientifique (CNRS)-Institut de Géographie et d'Aménagement Régional de l'Université de Nantes (Nantes Univ - IGARUN), Nantes Université (Nantes Univ)-Nantes Université (Nantes Univ), Service conservation et gestion durable des espèces exploitées (OFB SEEX), Direction de la recherche et de l’appui scientifique (OFB - DRAS), Office français de la biodiversité (OFB)-Office français de la biodiversité (OFB), OFB, Programme scientifique Sélune (jeu de données)
• Format: Article in Journal/Newspaper
• Language: English
• Published: HAL CCSD 2023
• Subjects: Acoustic camera; Artificial intelligence; Deep learning; Fisheries management; Neural network; [STAT.ML]Statistics [stat]/Machine Learning [stat.ML]; [SDV.EE]Life Sciences [q-bio]/Ecology; environment; Atlantic salmon
• Online Access: https://hal.inrae.fr/hal-03956521; https://hal.inrae.fr/hal-03956521/document; https://hal.inrae.fr/hal-03956521/file/Manuscript.pdf; https://doi.org/10.1007/s10452-023-10004-2

International audience Acoustic cameras, or imaging sonars, are high-potential devices for many applications in aquatic ecology, notably for fisheries management and population monitoring. However, how to extract such data into high-value information without a time-consuming entire data set reading by an operator is still a challenge. Moreover, the analysis of acoustic imaging, due to its low signal-to-noise ratio, is a perfect training ground for experimenting with new approaches, especially concerning deep learning techniques. We present hereby a novel approach that takes advantage of both convolutional neural network (CNN) and classical computer vision (CV) techniques, able to detect fish passages in acoustic video streams. The pipeline pre-treats the acoustic images to localise the signals of interest and to improve the detection performances. The YOLOv3-based model was trained with fish data from multiple species recorded by the two most frequently used models of acoustic cameras, the DIDSON and ARIS, including species of high ecological interest, as Atlantic salmon or European eels. The pre-treatment of images greatly improves the model performance, increasing its F1-score from 0.52 to 0.69. The model we developed provides satisfying results detecting almost 80% of fish passages and minimising the false-positive rate. On a validation data set, 40 h of videos and around 1 800 fish passages, the efficiency increases with the fish sizes, notably reaching a recall higher than 95% for Atlantic salmon. Conversely, the model appears much less efficient for eel detections on ARIS videos than on DIDSON data (31% recall vs 75%).