田中広輔、護摩行の誘いをきっぱりと断る