The Problem of Low Agreement among Automated Identification Programs for Acoustical Surveys of Bats

Authors

Cliff Lemen, University of Nebraska–LincolnFollow
Patricia W. Freeman, University of Nebraska-LincolnFollow
Jeremy A. White, University of Nebraska at OmahaFollow
Brett R. Andersen, University of Nebraska at Omaha

Document Type

Article

Date of this Version

2015

Citation

Western North American Naturalist (2015) 75(2): 218–225.

Comments

Copyright 2015. Published by Brigham Young University, Monte L Bean Life Science Museum. Used by permission.

Abstract

We compared four programs designed to identify species of bats from their echolocation calls (Bat Call ID, EchoClass, Kaleidoscope Pro, and SonoBat) using field data collected in Nebraska, USA (29,782 files). Although we did not know the true identity of these bats, we could still compare the pairwise agreement between software packages when identifying the same call sequences. If accuracy is high in these software packages, there should be high agreement in identification. Agreement in identification by species averaged approximately 40% and varied by software package, species, and data set. Our results are not consistent with the high accuracy often claimed by some software packages and may be a warning about the importance of understanding accuracy of acoustical identification in designing ecological experiments and interpreting results.

RESUMEN.—Comparamos cuatro programas diseñados para identificar especies de murciélagos a partir de sus llamados de ecolocalización (Bat Call ID, EchoClass, Caleidoscopio Pro, y SonoBat) utilizando datos de campo obtenidos en Nebraska (29,782 archivos). No sabemos la verdadera identidad de estos murciélagos, pero comparamos el acuerdo por pares entre los paquetes de software en la identificación de las mismas secuencias de llamados. Si la precisión entre estos paquetes de software es alta, debe haber un acuerdo en la identificación. El promedio en la identificación por especies fue en promedio el 40% y varió por paquete de software, por especies, y por conjunto de datos. Nuestros resultados no son consistentes con la alta precisión aclamada por algunos paquetes de software y pueden ser una advertencia acerca de la importancia de entender la exactitud de la identificación acústica en el diseño de experimentos ecológicos y en la interpretación de los resultados.