鈴木雅之さん、不倫