Si quieres borrar una versión concreta, lista las versiones de java.

ls /Library/Java/JavaVirtualMachines/

Y borramos la que queramos:

sudo rm -fr /Library/Java/JavaVirtualMachines/jdk-1.8.0.jdk

Volviendo a listar el directorio anterior veremos que el la versión ha desaparecido.

Saludos!