scieee AI-readable full text Open interactive document viewer

Automatic fish counting from underwater video images: performance estimation and evaluation

Marini, Simone,Azzurro, Ernesto,Coco, Salvatore,Río Fernández, Joaquín del,Nogueras Cervera, Marc,Sbragaglia, Valerio,Toma, Daniel,Aguzzi, Jacopo

Abstract

Cabled observatories offer new opportunities to monitor species abundances at frequencies and durations never attained before. When nodes bear cameras, these may be transformed into the first sensor capable of quantifying biological activities at individual, populational, species, and community levels, if automation image processing can be sufficiently implemented. Here, we developed a binary classifier for the fish automated recognition based on Genetic Programming tested on the images provided by OBSEA EMSO testing site platform located at 20 m of depth off Vilanova i la Gertrú (Spain). The performance evaluation of the automatic classifier resulted in a 78% of accuracy compared with the manual counting. Considering the huge dimension of data provided by cabled observatories and the difficulty of manual processing, we consider this result highly promising also in view of future implementation of the methodology to increase the accuracy.

Full text

������������� �������������������������� ������������������������������� �������������������������������������������������������������������� ������������� ������������������������������������������������������������������������� ���!��������������"�������� #����$�%����������������� �������������������������������������������������������������������������������������������� !��"#$%�&'�'&&$�� ��(��)(����*��(��)��)��! +���������������������,-���(�������������������������.������������������(��+��/'�+&���0.�������� ��(���1��������*0(���)��(! #�2�����(������3����0������4����0��������,-���(�������������5�-����� ����3���0���56������������-�������� 7 "#$%/88$#'8%%�����-�����)����*������)��9�)��! 8�������5�����������������.�4����)�,����������2����(��)�5�-���������������������������� ���5��!�����(9����� �:�;������<�+8��%&&%%��=����-�������4����>������7�?��@��)���)���*���)���! /���������������������������������������������0�������(�������3����������#'�8$�%&%%#�3�������������� "#8$#+#%$/%%��?�0����*��()����)��7��9��0�0���*��()����)��! A�,�,���������,-���(����������.������������������������������������������������������������ !��"#$%�&'$'&#%&� �(�����)������*���)��! �������� � ������� � ������������� ������ � ��� � ������������� � �� ������������������������������������������������������������� �������� � ������� ����� � ����� � ���� � ��������� ����� � ��� � �� ����������� � ���� � ��� � ����� � ������ � ������� � �� � ����������� ���������� � ���������� � �� � ����������� � ������������� � �������� � ��� ��������� � ������� � �� � ���������� � ����� � ���������� � ��� � �� ���������������������������������������������������������������� ��� � ��� � ���� � ��������� � ����������� � ����� � �� � ������� ��������������������������������������������!"#$��$%#! ���������������������������������&'����������������(������������ �����)�*#����+��,������������������������������������������ �������������������������-&.����������������������/'0����������0 �������������������1���������������������������������������� ������������������������������������������������������������� ����������������������������������������������������������������� ����������������������������������������������������������� ��������� 2����������9�����9���-�������7�(��������.������7�����(���� ���.������7������������0���� &� &!$�'�(�$&'! )�����*��* � ���%�*�� � �� � +�%��,������� � ��-����%��*�� �+����������.�����������,���*����%���/���*���������.����� "�+�-�����0�*+�.��-���-���//��*�����.�.���*�������*��"�*���� ��� � �"�������� � 12� � $+��� � �//��*� � ��� � "� � .��*�������3 �..����*����/��+������*��*+����+��+�%�"���*3��0+��+���������0 ��*��� � .�.���*���� � *� � ���.��� � ��.���3 � *� � ��-����%��*�� �+������1�2�� $��4����*+�����+�������*�*+��/����*�%.��������������*���3�� ���� � �/ � ��%%���*3� �*������ � 0�*+ � ����� � �%.����*����� /�� /��+����� � ���� � �� � � � "������ � ������ � /�� � ����3�*�% %�����%��*� �5�*� � *+�� ��"��� � ���/���� � -����,�"���-�*��3 *��+�����3 � �//��� � ��0 � �..��*���*��� � *� � %���*�� � �.����� �"�������� � �* � /��6������� � ��� � ����*���� � ��-�� � �**����� "�/����1�2� �$+��������*��7��*������*0��4�������*����*��*+� ����.��� � ���*������.�����3 � ���/���� � ��� � 0�*�� � ����%� '"���-�*��������*�8���'9 �000��%��,������:��*+��'���� !�*0��4�����������*�8'!�9�000��������*0��4����;:����� *+� � ��.����� � ����� � '����/���� � !�*0��4 � �3�*�% � /�� ���*+6��4�� � ��� � $����%�� � 8�'!�$9 +**.<;;000�=�%�*������=.;����*;�;:� � >+�� � ����� � "��� ��%������ -����,����*�� � ����-������ � ��� � "� � ���� � �� ������*�� � �/ � .�.���*��� � �+3*+%� � ��� � *+�� � ����*�� � *� ������������+�"�*�*������*����������*��%���/������,�//��* .�����.���� � "3 � %�������� � �* � *+� � ��%� � *�%� � ��//����* ���������.+�����+�%�������������������.���%�*����� #�������%�����%�3�"��*����/��%�����*��*+��/���*������� ��.�"����/�6���*�/3����"������������*�-�*�����*�����-������ .�.���*��������.�������������%%���*3���-������/���*�%�*��� �%����.��������������"����//�����*�3��%.��%��*���1���2��� ���������*��������*�/�����*���*�����7��*������%.�*���-����� ���� .�**��� � �������*���� 1 �?2� ��� ���.���.��������� � +�-� "��� � %��� � �� � �%.��%��*��� � ��*�%�*�� � ����*��� � ��� ������/���*����� SEVENTH INTERNATIONAL WORKSHOP ON MARINE TECHNOLOGY, Martech 2016 Barcelona, October 26th, 27th and 28th - ISBN: 978-84-617-4152-6 Page 67 ������������� �������������������������� ������������������������������� $+��� � *��+��������� � ��-������ � ��%"���� � 0�*+ � *+� ���*������ � �%.��-�%��* � �/ � *+� � +���0��� � .��/��%����� .��-������-�������..��*�/�����-��*���*�����*+��"����%���*��/ ��*� � .��-���� � "3 � *+� � ��"��� � �"���-�*����� � ��� � /�� ������*������ � *+� � ��%.��7 � �3��%��� � �/ � *+� � �����0�*�� ����3�*�%�9 ��*����3� � 0�*+�� � *+� � )�**��� � �������*��� � ��*���*���� � -��3 /�0�=�������.�.����.��.����%�*+����������/�������������� /��+�������������/�*+�%�����"���������%������*���*��0+��� *+���%������/�*+��/��+������������3����3�*��"��.���������8���� ���*��"���*3�����/���������+�.������*�7*�����/�*+��/��+������ ������3 � -���"��� � �*��:� � ���-�����3� � *+��� � ��� � �"�����* ���/������,.�.��� � .��.����� � ��//����* � �������*��� �..����+����"�*������0�*+�-��3���%.�����*����*��8/�0��%���� .��������� � /�0 � ��3� � ����3���� � ������ � �.����� � �..����+� �*��:�� @�����0���*������������-���.�����"����3�������/����/���*+� /��+ � ��*�%�*�� � �������*��� � "���� � �� � � � A���*�� )�����%%������.��-�����%��+��������������..����+��$+� ������/����+���"����*����������*+���%�������6������"3�*+� 'B��� � ���' � *��*��� � ��*� � .��*/��% � 8000��"������: ����*����*��C�%��/���.*+��//�#�����-�������A��*�D�8�.���:�� $+��+��+�-����"���*3��/���-����%��*��������*������������*�� ��-����%��*�� � ��.������3 � ����*�� � *� � *��"���*3� +3����3��%��������+*�����/��������%�4����*��+����������*+� �*��3��/�*+��+�"�*�*��������*����3���*�%�*�������*����+�� "������-���*��*������*+����-����"�����-����%��*��������-�� *+� � ������ � �*��*��3 � ���%�0��4 � �����*�-� � 8����� �CCE;� ;��:�*+����+�*+��*��+���������������/���%���*����� 8���� �C�� ���.��*��(�� � �FF � �!:�����*�/������ �+��+, ��/���*������%���� �.��%�������..����+���/���"����-����*3 %���*������8������.*���:��0+��+�������+�-���%.����*���� ���� � /�� � �*+�� � ������.*���� � ���+ � �� � � � 8����� � �.�����:� � � 8��%%�������3��7.���*���/��+������+���/��+:�����C�8%����� ��**��:��$+���*+���%.��%��*�*�����/������*�%�*����.��*���� ������+�-����-������%.��*��*������6�������/���%���*����� .�����%���*�������.�������0������������>�*+���*+������*�7*� *+����%���/�*+���0��4�����*�<:���*�%�*��������%.����*+� .��/��%���� � �/ � *+� � %�*+�� � +��� � *��*�� � "3 � ���*���*��� ��*�%�*�� �-�)� %������3,�������� � ��*�9 � �: � *� � ������ � *+� .��/��%���� � �/ � *+�� � %�*+��� � �� � ��//����* � ��-����%��*�� �����*����;����*������8������������-���*��"���0�*��9�������-�� ���*3���%�������3*�%��-������+**�%�: &&� ��$��&�G���!����$@'�� $+��'"���-�*��3��/�*+������8'B���:������.�����*�������/ *+� � /�0 � ����*�� � %��*�.���%�*��� � �"���-�*����� � ������*�3 ��*�-���'B����0��������+�������CCF��//�*+����*���������* �� � �.��� � 80��*��� � ����*��������< � �HCI���E?J � ! � ��� H��IE���J��:�������.��3����*�����.*+��/��C�%�0�*+���� %����� � �����-� � 8����� � �����.��7 � ������ � �����-�: � /�� ��*��������*+��.��*/��%�����*��%��*������������������1�2�� ��*�%�,�������������*�����/��"��*���FCC��%������������*�� �-��3��C�%���*���"3�*+��'B�����"���-�*��3����*+���C�� +���"����-������3����.��*���"3��7.��*�"�������*�����������*� ��*�%�*��*+����%"����/�/��+�����.*�����"3�*+���%������$+� ��%����0��������*������/���*��/������*�/���������/����%.���� "3�������*��"���4�������*������3��*+��/��%�*�����/�/������ �� � *+� � ��%��� � .��*��*��� � ��%� � .��-��*��� � /��% � *+� ��6����*�����/�������%����� $+����*�������*���/��%�*+��-���������.��*�����/�*+��'B��� *�%�,�������+���"������������*������������-�����*������*�/�� �������� � �� � ��*�%�*�� � �%��� � ������/��� � ��.�"�� � *� ��*�%�*�����3�����������*+��/��+���.�����*����*+���%����9� �-��3��%����+�� �"����.�������� ���� ������*���7*���*�*+� �%���,/��*����������"3�*+����*�%�*����%����������/����*� ������%���*��/��+���/��%��*+���/���*�����"=��*������/��%�*+� ���"�������/��%�*+��/�������� &��������*���7*���*�*+���%���,/��*��������.��,.�����������*�. ����������*������*�/3�*+���%������������/�&�*����*�8��&: .�*��*����3����*�������/��+����@��*����%���=��*%��*�"���� ���*+�����*���*�G�%�*������.*�-��@��*����%��6������*��� 8�G�@�: � ������*+% � 1E2 � �� � .��/��%��� � /�� � �%.��-��� ���*���*�"�*0����"��4�����������/�����������*�%���$+� /�������������*+������%��*���/��%�*+��"��4������������ ������.*�-��*+���+��������$+��/����������"����3�%�.��� .��*,.��������� "3� �.�����;��������%��.+����3��.���*��� *����%�-���%������*������/�����%������.����������*��*������ .��/��%�� � 0�*+ � � � /��*����� � .������ � "���� � �� � *+� � ��"�� �.���*���1F2��$+�����%��*�*����.����������*��������������*� %�7�%����*+��.��"�"���*3�*������*�/3�*+����&��.�*��*����3 ���*�������/��+��������0����/���������-����"��������������/ /���������%�� $+���%���,/��*������7*���*����/��%�*+����&��"������*��*0� ����.�< � ���%�*������ � "���� � �� � *+� � �+�.� � �/ � *+� � "��"9 *�7*������"��������*+�����3���-�������*��"�*�����������8��� ��*����:�*+����&��$+�����%�*������/��*��������<�����*+��/�*+� %�������%��7���8��7%:��"��������"�7�%�������%������ 8�7%:��"��������"�7�%�=�����%�������8�7�:�������*����*3 ����*�� � *� � *+� � ��%��7�� � ��*�� � 8���:� � '*+�� � ���%�*����� /��*����� � ��� � *+� � ��& � ������*3 � ��/���� � �� � *+� � ���� � ��*�� "�*0����*+����&������*�����-�7�+����8���:�������8����.:� .���%�*���8.���%:���������+��*����%��+�.������7���/������� *+� � ��*�� � "�*0��� � *+� � �*������ � ��-��*��� � ��� � *+� � %��� -���� � �/ � *+� � "������3 � 8+�*&���7:� � ��*+��.3 � 8��*:� � $+� *�7*�����/��*���������<��7*�����,��*���������*���*���/������� SEVENTH INTERNATIONAL WORKSHOP ON MARINE TECHNOLOGY, Martech 2016 Barcelona, October 26th, 27th and 28th - ISBN: 978-84-617-4152-6 Page 68 ������������� �������������������������� ������������������������������� �"����*� � ��//������ � "�*0��� � *+� � �-������ � ���3 � ��-��� ������;��*�����*+����&�8�*��:�����3����-����*���������-��*��� 8�*��:�����*���*�����7���/��������*+����*���"�*0�����*������ ��-��*��������%�����/�*+�����3���-����8�*��:�����3���-��� ��*+��.3�8��*�:� $+��%��+�������������%�*+������3���������*+���0��4��� "��������A���*���)�����%%����8A):� A)��������-���*�����3���%.�*�*����%�*+������3���.�"����/ ���������+�0�*������%.���+�����-���*��4��A)�������*���*+� *��4 � ����*���� � �*��*��� � /��% � �� � ���*��� � .�.���*��� � �/ �����%�3 � ������*�� � /���*����� � "���� � �� � � � ��* � �/ %�*+�%�*���� � .��%�*�-��� � ����*��*� � ��� � -����"���� � $+� ���*��� � ����*���� � ��� � �%.��-�� � "3 � %�%��� � *+� � �����*��� .���������*+�*���������*�����3����"�����������3�*�%��*+����+ *+�������*�����������-������� ��*�*��������*����.���*��� 1C2� � &� � *+� � .��.���� � 0��4� � *+� � ��* � �/ � %�*+�%�*���� �.���*������������*��������*��"����3�������/������7.��������� %�*+�%�*�����/���*������0+����-����"����������.����*��*+� �%���,/��*����������������"�-�����*��������*+����..����+ ����"��/��������1���2� $+��*���������7.���%��*��+�-��"����.��/��%���0�*+�����K, /��� � �����,-�����*��� � 8�#: � /��%�0��4 � 1�2 � �� � ����� � *� ��*�%�*��*+������������*����.��/��%������/�*+����*�%�*�� �%����������/����� &&&� ���(G$���!���&��(��&'! $+�� �%����������/����+�� �"����*����������EF?� �����%�3 ��%.��� � �%����� � ������.������ � *� � *+� � ?��L � �/ � ��� � *+� �%�������6����������C���$+�����%�������CCC��%���� +�-��"���������/���*��*����*+�������*�������/����� $+� � *������� � ��� � -�����*��� � .��/��%���� � �/ � *+� � �%��� ������/����+�-��"������*�%�*���"3���%.�*����*+���-����� �����*���������-��*�����/��������3< ����M�8$�)�N$�!:;�8�$�)�N��!�N��)�N$�!�:��*+��$��� )���*�-����*��$)��M�$)�;�8$�)�N��!:�����������)���*�-� ��*���)��M��)�;�8��)�N$�!:���0+����$)���)�����$! ��.�����*�$����)���*�-���������)���*�-������$����!���*�-� �������*��������.��*�-��3�8$�"���:� ���� �� ��� C�F� C�C� $)� C�F� C�C� �)� C�� C�C� $�"���������������*���������-��*�����8��:��/�.��/��%�����������*���� ���M�������39�$)�M�*����.���*�-����*�9��)�M�/�����.���*�-����*�� &/�0��*�����*+��������/����*����.*����/��+���*+�*�-����+���*� *+��"��4��������0�����������*+�����4�*��%��*�4��*+��/������ ���/��+���8/�����.���*�-��:��0+�����/�*+����%���������������%� /�����.���*�-����������0�*+��*��//��*����*+��.��/��%����� A�������3�*+��������/����0����//��*�-�����/��+�����*�/���*��� ���%�����*���/������������*�����8�������:� &/�*+��������������0����*+��������/��������*�/��������.��/ /��+������*+�3�0����=��*�����/��+�8��������:��$+�*����0+3��� *+� � *�%� � ������ � ������.������ � *� � ���0��� � .������� � *+� ��%"����/������������/��+�������%������*+���*+����%"����/ �"���-���/��+�� ����0����#!��!�-��*+������*+��*������/�*+� /��+�������*������+����*� �����������7�%.����/�����%����0+����*+�������*�������/��������*�/��������.� �/�/��+������=��*�����/��+� '-������ � *+� � .��/��%���� � �-����*��� � �/ � *+� � ��*�%�*�� ������/���������*��������F�L��/��������3�0�*+�����C,/��� �����,-�����*����/��%�0��4� ����<�����7�%.����/��%������.*�����������*�%�*�����3������������ 0�*+�*+����%����0�*+��*�/������ SEVENTH INTERNATIONAL WORKSHOP ON MARINE TECHNOLOGY, Martech 2016 Barcelona, October 26th, 27th and 28th - ISBN: 978-84-617-4152-6 Page 69 ������������� �������������������������� ������������������������������� � � �'!�G(�&'!� $+��'B����*�%�,�����������-��3�����-��*�"����������3�/�0 �"���-�*���������*+������*�������������.��-�������%��+ ��/��%�*��� � 8���� � ��6����*�� � � +**.<;;000���%��������*; ��/���*���*����;.��**�/��%�,��6��,��*�;: � ��� � "������ � *+� ��6����*���������*���������+��+�3�-����"�������%�4��*+��� *�%�,������ � � ����� � ��*���* � ��� � ��* �� � *�3� �7�%.��� � �� ��� ��%�����0��4����������%�����%�*+���������� $+����*�%�*����������*�����/�/��+���.��-���������������*� ��.������3�0+���/����������*+����%���������%�*����0+��� �%.��-�%��*� � ��� � ������ � �� � ����� � *� � ������ � *+� � /���� .���*�-����������"3�/�����������/���%����������������+��� �/�/��+���*+�*�%�4��*+�����������0�����$+��������/���������* /��%�*+���%�������6����������C��0����"�������-�����*����� *+� � �%���� � ��6����� � /��% � �C� � *� � �C � � � ������3� � *+� %�*+������3 � .��.���� � �� � *+�� � 0��4 � /�� � �������� � *+� ��*�%�*���������/����0����"��������..��������*+���%����*�%�, ���������6������"3��*+����"���-�*������8�����*+����6�����*� .��*/��%:� ��K!'>G��A���!$ $+���0��4�0���.��*����3���..��*���"3�*+��.��=��*���7'� /��% � *+� � ����.��� � (����� � ��-��*+ � )�����%%� � /�� �������+� � *��+��������� � ��-���.%��* � ��� � ��%���*��*��� ����������*������%��*�!����� �� $+����7'��8��7���.���*�'.���'�����'"���-�*��3���*0��4: ���4� � *� � ��*����*� � ����.��� � �.�� � ����� � /�7�� � .���* �"���-�*����� � ��� � *� � �%.��-� � ������ � *� � *+��� � 4�3 ���*����*�����/���*+��"���������%%���*3��$+��.��.�����+�� �F�.��*��������0��/��%������%�����������+����*�*�*�������� ������#���*<�+**.<;;000�/�7�����; ������!��� 12 � )��� ������ � �������$��� ����%�*� ��+����� ������*��� �)+������3� � ��� ���+����� � ������%��* � &�*����* � 0�*+ � (���*���.�*�� � �����6������� ����.��(������B������������.���������0�(��� -��������..��F�O C���C�� 1�2��+�����>��>��G������%���*�����G�������������������+���$��G���G�%�#� >��5��������)���%��������G���>�*���������*������+���4�����/�/��+�� �7����"�*����%.��*���/����"����������+���������%����������3�*�%�� ����������(�����.�0��-������..����,��E���C�� 1�2�������������*������+���������*��������%��*��/�"��*+���.�.���*�������� "����-����*3�����������*��/��+3*+%���"�+�-����<�-���������*�����/��% ��"�����"���-�*�������6����0���. ����������3����0 1������� ��-��C�8'�B��:��C�����,�E �8�C�:� 1�2�������������*���������*����"���-�*������/���%���*�������/�/��+�"�+�-���� ��� � *+��� � ���.����� � *�� ��-����%��*��� �+������ ���-��C � ���. � 3���) ���.�����<�&��)��������<�C�CC?;� C,C�,F�E?,F�8�C�:� 1�2����G����!������4�B��/������)+������-��+������P$�%��*����*�%�*� ����*�/���*���Q���������� ?����O�����CC� 1 2��������K���������4�����������3�����%���������-����<���"���/����-�3� ��(������=������&�$� �8 :�8�C�:���O���� 1?2�@�����5���R��>���G��>�����$��$�������*���������������%��� ������/���*���<�����%.��+����-���*��3��)�**��������3�����������+��� &�*������������,,,������������� �8�:�8�C�:��F�O�C � 1E2� ����������� �������*�����/� *+� ����*���*� ��%�*�� ����.*�-��+��*����% �6������*��� �8���+�: � /�� � ����,*�%� � �%��� � ��+����%��*� �B����� � �� =��� � ��0�� � ��������0 � � ���(� � ��� � ��0��� � �(�0� � �� � -���� ���.���0 ��E8:����O���8�CC�: F2�>��*+��������������*����������K��+����<���*��*��������*���4�����/ �"=��*� � �� � �����0�*�� � -����� � &�< � ��%.�*�� � #����� � ��� � )�**��� �������*���� � �CC�� � �#)� � �CC�� ���������0� � �� � �.� � +%%8 � �,,, ��(������������ ��������������-������..��&O�����&����8�CC�: 1C2�K����������A���*���)�����%%���<�'��*+��)�����%%�����/���%.�*��� "3��������/�!�*����������*������&$�)��������%"�����������(�� 8FF�: 12�������*��G���G��������������������������������������-���������A��//�� B� � &��..�� � �� � '**�-����� � ��*�%�*�� � ����*����� � ���.���4*�� ��6����*��� � ��� � �������*���� � ��< ���(����� � =���� � ��� � ��� ��� � �� 5���C������(�0�� ���=�5�!��+%�8������D��E�.�������,,,���C�� ..��OE� 1�2 � )�.0��*+ � ��� � ������ � �� � ���-���� ��� 8�C : ��� !�-��� � (�"����� ����3�����..����+�/���&�-��*���*����)�.���*�����3��%���<������� �*��3��� ����������(���.���������&*�������������*+��!��*+����� )G���'!��8?:<��C�E��C�����<�C��?;=�������.����C�E��C� 1�2 � K�+�-� � �� � ���*�� ��� �*��3 � �/ � �����,-�����*��� � ��� � "��*�*��. � /�� �������3� ��*�%�*��������%���� ������*���� ���������0����� �.���8�. �����������?��������������������������������0����FF��� ��0����#1 ��0����#1 ��0�#)����.������0�������������(������������0(����������(���(����� ���������!��������(������� �9 ��.��������������������9�������!) SEVENTH INTERNATIONAL WORKSHOP ON MARINE TECHNOLOGY, Martech 2016 Barcelona, October 26th, 27th and 28th - ISBN: 978-84-617-4152-6 Page 70