柳田悠岐さん、日ハムを苦手としていた