mmc: uniphier: Drop useless check