Puede ser un error de instalación??
O simplemente que no estás usando el formato de celda adecuado.
Prueba en una celda [Ctrl+1], pestaña números y selecciona el formato ‘general’ o algún otro con décimales y modifica el número de ellos según necesites.
Además de la ayuda de calc, que si haces una revisión general de la misma te derá mucha información, tienes la documentación oficial en inglés LibreOffice Calc Guide, también tienes algunas guias en español en Guías de calc
También puedes consultar este vídeo Tutorial de Formato de celdas en Calc
en Tutorial de Calc en español actualizado. El Tutorial completo lo tienes en : Curso de LibreOffice Calc - Tu Hoja de Cálculo
Te recomiendo que cambies el formato de la celda en la que realices la función y que, en caso necesario, arrastres dicho formato usando el cuadro de relleno.