Automatic estimation of lipid content from in situ images of Arctic copepods using machine learning

• Published in: Journal of Plankton Research
• Main Authors: Maps, Frédéric, Storożenko, Piotr, Pasza, Świeżewski, Jędrzej, Ayata, Sakina-Dorothée
• Other Authors: Takuvik International Research Laboratory, Université Laval Québec (ULaval)-Centre National de la Recherche Scientifique (CNRS), Appsilon Data for Good, Institut universitaire de France (IUF), Ministère de l'Education nationale, de l’Enseignement supérieur et de la Recherche (M.E.N.E.S.R.), Processus et interactions de fine échelle océanique (PROTEO), Laboratoire d'Océanographie et du Climat : Expérimentations et Approches Numériques (LOCEAN), Muséum national d'Histoire naturelle (MNHN)-Institut de Recherche pour le Développement (IRD)-Institut national des sciences de l'Univers (INSU - CNRS)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Institut Pierre-Simon-Laplace (IPSL (FR_636)), École normale supérieure - Paris (ENS-PSL), Université Paris Sciences et Lettres (PSL)-Université Paris Sciences et Lettres (PSL)-Université de Versailles Saint-Quentin-en-Yvelines (UVSQ)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-Institut national des sciences de l'Univers (INSU - CNRS)-École polytechnique (X), Institut Polytechnique de Paris (IP Paris)-Institut Polytechnique de Paris (IP Paris)-Centre National d'Études Spatiales Toulouse (CNES)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Université Paris Cité (UPCité)-École normale supérieure - Paris (ENS-PSL), Université Paris Sciences et Lettres (PSL)-Université Paris Sciences et Lettres (PSL)-Université de Versailles Saint-Quentin-en-Yvelines (UVSQ)-Commissariat à l'énergie atomique et aux énergies alternatives (CEA)-École polytechnique (X), Institut Polytechnique de Paris (IP Paris)-Institut Polytechnique de Paris (IP Paris)-Centre National d'Études Spatiales Toulouse (CNES)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Université Paris Cité (UPCité)-Muséum national d'Histoire naturelle (MNHN)-Institut de Recherche pour le Développement (IRD)-Institut national des sciences de l'Univers (INSU - CNRS)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Institut Pierre-Simon-Laplace (IPSL (FR_636)), Institut Polytechnique de Paris (IP Paris)-Institut Polytechnique de Paris (IP Paris)-Centre National d'Études Spatiales Toulouse (CNES)-Sorbonne Université (SU)-Centre National de la Recherche Scientifique (CNRS)-Université Paris Cité (UPCité), NSERC Discovery Grant (RGPIN-2021-03876 to F.M.); Institut des Sciences du Calcul et des Données (ISCD) of Sorbonne Université (IDEX SUPER 11-IDEX-0004) through the sponsored project-team From ObseRving to Modelling oceAn Life, ANR-22-CE02-0023,TRAITZOO,Biogéographie des traits et diversité fonctionnelle du mésozooplancton marin : données à haut débit (imagerie, -omique), apprentissage machine, et modélisation numérique(2022)
• Format: Article in Journal/Newspaper
• Language: English
• Published: HAL CCSD 2023
• Subjects: Arctic copepods lipid imagery machine learning; Arctic; copepods; lipid; imagery; machine learning; [SDE]Environmental Sciences; Copepods
• Online Access: https://hal.sorbonne-universite.fr/hal-04385516; https://hal.sorbonne-universite.fr/hal-04385516v1/document; https://hal.sorbonne-universite.fr/hal-04385516v1/file/JPR-2023-061_Proof_hi.pdf; https://doi.org/10.1093/plankt/fbad048

International audience In Arctic marine ecosystems, large planktonic copepods form a crucial hub of matter and energy. Their energy-rich lipid stores play a central role in marine trophic networks and the biological carbon pump. Since the past ∼15 years, in situ imaging devices provide images whose resolution allows us to estimate an individual copepod's lipid sac volume, and this reveals many ecological information inaccessible otherwise. One such device is the Lightframe On-sight Keyspecies Investigation. However, when done manually, weeks of work are needed by trained personnel to obtain such information for only a handful of sampled images. We removed this hurdle by training a machine learning algorithm (a convolutional neural network) to estimate the lipid content of individual Arctic copepods from the in situ images. This algorithm obtains such information at a speed (a few minutes) and a resolution (individuals, over half a meter on the vertical), allowing us to revisit historical datasets of in situ images to better understand the dynamics of lipid production and distribution and to develop efficient monitoring protocols at a moment when marine ecosystems are facing rapid upheavals and increasing threats.