AcousticIA, a deep neural network for multi-species fish detection using multiple models of acoustic cameras
International audience Acoustic cameras, or imaging sonars, are high-potential devices for many applications in aquatic ecology, notably for fisheries management and population monitoring. However, how to extract such data into high-value information without a time-consuming entire data set reading...
Published in: | Aquatic Ecology |
---|---|
Main Authors: | , , , , |
Other Authors: | , , , , , , , , , , , , , , , , , , , , , , , , , |
Format: | Article in Journal/Newspaper |
Language: | English |
Published: |
HAL CCSD
2023
|
Subjects: | |
Online Access: | https://hal.inrae.fr/hal-03956521 https://hal.inrae.fr/hal-03956521/document https://hal.inrae.fr/hal-03956521/file/Manuscript.pdf https://doi.org/10.1007/s10452-023-10004-2 |
id |
ftunivrennes2hal:oai:HAL:hal-03956521v1 |
---|---|
record_format |
openpolar |
institution |
Open Polar |
collection |
Archive Ouverte de l'Université Rennes (HAL) |
op_collection_id |
ftunivrennes2hal |
language |
English |
topic |
Acoustic camera Artificial intelligence Deep learning Fisheries management Neural network [STAT.ML]Statistics [stat]/Machine Learning [stat.ML] [SDV.EE]Life Sciences [q-bio]/Ecology environment |
spellingShingle |
Acoustic camera Artificial intelligence Deep learning Fisheries management Neural network [STAT.ML]Statistics [stat]/Machine Learning [stat.ML] [SDV.EE]Life Sciences [q-bio]/Ecology environment Fernandez Garcia, Guglielmo Corpetti, Thomas Nevoux, Marie Beaulaton, Laurent Martignac, François AcousticIA, a deep neural network for multi-species fish detection using multiple models of acoustic cameras |
topic_facet |
Acoustic camera Artificial intelligence Deep learning Fisheries management Neural network [STAT.ML]Statistics [stat]/Machine Learning [stat.ML] [SDV.EE]Life Sciences [q-bio]/Ecology environment |
description |
International audience Acoustic cameras, or imaging sonars, are high-potential devices for many applications in aquatic ecology, notably for fisheries management and population monitoring. However, how to extract such data into high-value information without a time-consuming entire data set reading by an operator is still a challenge. Moreover, the analysis of acoustic imaging, due to its low signal-to-noise ratio, is a perfect training ground for experimenting with new approaches, especially concerning deep learning techniques. We present hereby a novel approach that takes advantage of both convolutional neural network (CNN) and classical computer vision (CV) techniques, able to detect fish passages in acoustic video streams. The pipeline pre-treats the acoustic images to localise the signals of interest and to improve the detection performances. The YOLOv3-based model was trained with fish data from multiple species recorded by the two most frequently used models of acoustic cameras, the DIDSON and ARIS, including species of high ecological interest, as Atlantic salmon or European eels. The pre-treatment of images greatly improves the model performance, increasing its F1-score from 0.52 to 0.69. The model we developed provides satisfying results detecting almost 80% of fish passages and minimising the false-positive rate. On a validation data set, 40 h of videos and around 1 800 fish passages, the efficiency increases with the fish sizes, notably reaching a recall higher than 95% for Atlantic salmon. Conversely, the model appears much less efficient for eel detections on ARIS videos than on DIDSON data (31% recall vs 75%). |
author2 |
Dynamique et durabilité des écosystèmes : de la source à l’océan (DECOD) Institut Français de Recherche pour l'Exploitation de la Mer (IFREMER)-Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement (INRAE)-Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro)-Institut Agro Rennes Angers Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro) Pôle OFB-INRAE-Institut Agro-UPPA pour la gestion des migrateurs amphihalins dans leur environnement (MIAME) Université de Pau et des Pays de l'Adour (UPPA)-Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement (INRAE)-Office français de la biodiversité (OFB)-Institut Agro Rennes Angers Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro)-Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro) Observation de l’environnement par imagerie complexe (OBELIX) SIGNAL, IMAGE ET LANGAGE (IRISA-D6) Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA) Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes) Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique) Institut Mines-Télécom Paris (IMT)-Institut Mines-Télécom Paris (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes) Institut Mines-Télécom Paris (IMT)-Institut Mines-Télécom Paris (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA) Institut Mines-Télécom Paris (IMT)-Institut Mines-Télécom Paris (IMT) Littoral, Environnement, Télédétection, Géomatique (LETG - Rennes ) Université de Brest (UBO)-Université de Rennes 2 (UR2)-Littoral, Environnement, Télédétection, Géomatique UMR 6554 (LETG) Université de Brest (UBO)-Université de Rennes 2 (UR2)-Centre National de la Recherche Scientifique (CNRS)-Institut de Géographie et d'Aménagement Régional de l'Université de Nantes (Nantes Univ - IGARUN) Nantes Université - pôle Humanités Nantes Université (Nantes Univ)-Nantes Université (Nantes Univ)-Nantes Université - pôle Humanités Nantes Université (Nantes Univ)-Nantes Université (Nantes Univ)-Centre National de la Recherche Scientifique (CNRS)-Institut de Géographie et d'Aménagement Régional de l'Université de Nantes (Nantes Univ - IGARUN) Nantes Université (Nantes Univ)-Nantes Université (Nantes Univ) Service conservation et gestion durable des espèces exploitées (OFB SEEX) Direction de la recherche et de l’appui scientifique (OFB - DRAS) Office français de la biodiversité (OFB)-Office français de la biodiversité (OFB) OFB Programme scientifique Sélune (jeu de données) |
format |
Article in Journal/Newspaper |
author |
Fernandez Garcia, Guglielmo Corpetti, Thomas Nevoux, Marie Beaulaton, Laurent Martignac, François |
author_facet |
Fernandez Garcia, Guglielmo Corpetti, Thomas Nevoux, Marie Beaulaton, Laurent Martignac, François |
author_sort |
Fernandez Garcia, Guglielmo |
title |
AcousticIA, a deep neural network for multi-species fish detection using multiple models of acoustic cameras |
title_short |
AcousticIA, a deep neural network for multi-species fish detection using multiple models of acoustic cameras |
title_full |
AcousticIA, a deep neural network for multi-species fish detection using multiple models of acoustic cameras |
title_fullStr |
AcousticIA, a deep neural network for multi-species fish detection using multiple models of acoustic cameras |
title_full_unstemmed |
AcousticIA, a deep neural network for multi-species fish detection using multiple models of acoustic cameras |
title_sort |
acousticia, a deep neural network for multi-species fish detection using multiple models of acoustic cameras |
publisher |
HAL CCSD |
publishDate |
2023 |
url |
https://hal.inrae.fr/hal-03956521 https://hal.inrae.fr/hal-03956521/document https://hal.inrae.fr/hal-03956521/file/Manuscript.pdf https://doi.org/10.1007/s10452-023-10004-2 |
genre |
Atlantic salmon |
genre_facet |
Atlantic salmon |
op_source |
ISSN: 1386-2588 EISSN: 1573-5125 Aquatic Ecology https://hal.inrae.fr/hal-03956521 Aquatic Ecology, 2023, 57 (4), pp.881-893. ⟨10.1007/s10452-023-10004-2⟩ |
op_relation |
info:eu-repo/semantics/altIdentifier/doi/10.1007/s10452-023-10004-2 hal-03956521 https://hal.inrae.fr/hal-03956521 https://hal.inrae.fr/hal-03956521/document https://hal.inrae.fr/hal-03956521/file/Manuscript.pdf doi:10.1007/s10452-023-10004-2 WOS: 000915685500001 |
op_rights |
http://hal.archives-ouvertes.fr/licences/copyright/ info:eu-repo/semantics/OpenAccess |
op_doi |
https://doi.org/10.1007/s10452-023-10004-2 |
container_title |
Aquatic Ecology |
_version_ |
1799477073320869888 |
spelling |
ftunivrennes2hal:oai:HAL:hal-03956521v1 2024-05-19T07:37:43+00:00 AcousticIA, a deep neural network for multi-species fish detection using multiple models of acoustic cameras Fernandez Garcia, Guglielmo Corpetti, Thomas Nevoux, Marie Beaulaton, Laurent Martignac, François Dynamique et durabilité des écosystèmes : de la source à l’océan (DECOD) Institut Français de Recherche pour l'Exploitation de la Mer (IFREMER)-Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement (INRAE)-Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro)-Institut Agro Rennes Angers Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro) Pôle OFB-INRAE-Institut Agro-UPPA pour la gestion des migrateurs amphihalins dans leur environnement (MIAME) Université de Pau et des Pays de l'Adour (UPPA)-Institut National de Recherche pour l’Agriculture, l’Alimentation et l’Environnement (INRAE)-Office français de la biodiversité (OFB)-Institut Agro Rennes Angers Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro)-Institut national d'enseignement supérieur pour l'agriculture, l'alimentation et l'environnement (Institut Agro) Observation de l’environnement par imagerie complexe (OBELIX) SIGNAL, IMAGE ET LANGAGE (IRISA-D6) Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA) Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes) Institut National des Sciences Appliquées (INSA)-Institut National des Sciences Appliquées (INSA)-Université de Bretagne Sud (UBS)-École normale supérieure - Rennes (ENS Rennes)-Institut National de Recherche en Informatique et en Automatique (Inria)-CentraleSupélec-Centre National de la Recherche Scientifique (CNRS)-IMT Atlantique (IMT Atlantique) Institut Mines-Télécom Paris (IMT)-Institut Mines-Télécom Paris (IMT)-Université de Rennes (UR)-Institut National des Sciences Appliquées - Rennes (INSA Rennes) Institut Mines-Télécom Paris (IMT)-Institut Mines-Télécom Paris (IMT)-Institut de Recherche en Informatique et Systèmes Aléatoires (IRISA) Institut Mines-Télécom Paris (IMT)-Institut Mines-Télécom Paris (IMT) Littoral, Environnement, Télédétection, Géomatique (LETG - Rennes ) Université de Brest (UBO)-Université de Rennes 2 (UR2)-Littoral, Environnement, Télédétection, Géomatique UMR 6554 (LETG) Université de Brest (UBO)-Université de Rennes 2 (UR2)-Centre National de la Recherche Scientifique (CNRS)-Institut de Géographie et d'Aménagement Régional de l'Université de Nantes (Nantes Univ - IGARUN) Nantes Université - pôle Humanités Nantes Université (Nantes Univ)-Nantes Université (Nantes Univ)-Nantes Université - pôle Humanités Nantes Université (Nantes Univ)-Nantes Université (Nantes Univ)-Centre National de la Recherche Scientifique (CNRS)-Institut de Géographie et d'Aménagement Régional de l'Université de Nantes (Nantes Univ - IGARUN) Nantes Université (Nantes Univ)-Nantes Université (Nantes Univ) Service conservation et gestion durable des espèces exploitées (OFB SEEX) Direction de la recherche et de l’appui scientifique (OFB - DRAS) Office français de la biodiversité (OFB)-Office français de la biodiversité (OFB) OFB Programme scientifique Sélune (jeu de données) 2023-01-20 https://hal.inrae.fr/hal-03956521 https://hal.inrae.fr/hal-03956521/document https://hal.inrae.fr/hal-03956521/file/Manuscript.pdf https://doi.org/10.1007/s10452-023-10004-2 en eng HAL CCSD Springer Verlag info:eu-repo/semantics/altIdentifier/doi/10.1007/s10452-023-10004-2 hal-03956521 https://hal.inrae.fr/hal-03956521 https://hal.inrae.fr/hal-03956521/document https://hal.inrae.fr/hal-03956521/file/Manuscript.pdf doi:10.1007/s10452-023-10004-2 WOS: 000915685500001 http://hal.archives-ouvertes.fr/licences/copyright/ info:eu-repo/semantics/OpenAccess ISSN: 1386-2588 EISSN: 1573-5125 Aquatic Ecology https://hal.inrae.fr/hal-03956521 Aquatic Ecology, 2023, 57 (4), pp.881-893. ⟨10.1007/s10452-023-10004-2⟩ Acoustic camera Artificial intelligence Deep learning Fisheries management Neural network [STAT.ML]Statistics [stat]/Machine Learning [stat.ML] [SDV.EE]Life Sciences [q-bio]/Ecology environment info:eu-repo/semantics/article Journal articles 2023 ftunivrennes2hal https://doi.org/10.1007/s10452-023-10004-2 2024-05-01T00:19:46Z International audience Acoustic cameras, or imaging sonars, are high-potential devices for many applications in aquatic ecology, notably for fisheries management and population monitoring. However, how to extract such data into high-value information without a time-consuming entire data set reading by an operator is still a challenge. Moreover, the analysis of acoustic imaging, due to its low signal-to-noise ratio, is a perfect training ground for experimenting with new approaches, especially concerning deep learning techniques. We present hereby a novel approach that takes advantage of both convolutional neural network (CNN) and classical computer vision (CV) techniques, able to detect fish passages in acoustic video streams. The pipeline pre-treats the acoustic images to localise the signals of interest and to improve the detection performances. The YOLOv3-based model was trained with fish data from multiple species recorded by the two most frequently used models of acoustic cameras, the DIDSON and ARIS, including species of high ecological interest, as Atlantic salmon or European eels. The pre-treatment of images greatly improves the model performance, increasing its F1-score from 0.52 to 0.69. The model we developed provides satisfying results detecting almost 80% of fish passages and minimising the false-positive rate. On a validation data set, 40 h of videos and around 1 800 fish passages, the efficiency increases with the fish sizes, notably reaching a recall higher than 95% for Atlantic salmon. Conversely, the model appears much less efficient for eel detections on ARIS videos than on DIDSON data (31% recall vs 75%). Article in Journal/Newspaper Atlantic salmon Archive Ouverte de l'Université Rennes (HAL) Aquatic Ecology |