الجولانی هرگز ارتباط خود را با جریان «سلفیه جهادی» به ویژه «گروه القاعده» که به شاخه آن در عراق پس از اشغال آمریکا در ۲۰۰۳ پیوسته بود، پنهان نکرد. او تحترهبری ابومصعب الزرقاوی و جانشینان او فعالیت میکرد و سپس با ایمن الظواهری، رهبر القاعده بیعت کرد و گفت طبق دستورات او عمل میکند تا اینکه در جولای ۲۰۱۶ اعلام کرد گروهش ارتباط خود را با القاعده قطع کرده است.