تعجیل رفاعه و انتقاد از نحوه مدیریت مختار موجب شد او ناگهان در حلقه مخالفان مختار قرار بگیرد که میان آنها جمعی از قاتلان حضرت امام حسین(ع) در کربلا از جمله شمربن ذی‌الجوشن قرار داشتند.