Al igual que los artículos anteriores de cómo eliminar el background de un botón en Android y cómo mostrar minúsculas en un botón con Android, también por defecto el botón siempre tiene un padding vertical, para eliminarlo podemos hacerlo con:
android:minHeight="0dp" android:minWidth="0dp"
O como siempre, si tenemos un estilo propio para el botón: