وكان سبب قتله الساحر أن الوليد بن عقبة بن أبي معيط لما كان أميرًا على الكوفة حضر عنده ساحر، فكان يلعب بين يدي الوليد يريه أنه يقتل رجلًا، ثم يحييه، ويدخل في فم ناقة ثم يخرج من حيائها، فأخذ سيفًا من صيقل واشتمل عليه، وجاء إلى الساحر فضربه ضربة فقتله، ثم قال له: أحي نفسك ثم قرأ: {أَفَتَأْتُونَ السِّحْرَ وَأَنتُمْ تُبْصِرُونَ} [الأنبياء/ 3] فرفع إلى الوليد فقال: سمعت رسول الله صَلَّى الله عليه وسلم يقول: "حَدُّ السَّاحِرِ ضَرْبَةٌ بِالسَّيْفِ"، فحبسه الوليد، فلما رأى السجان صلاته وصومه خلى سبيله، فأخذ الوليد السجان فقتله، وقيل: بل سجنه؛ فأتاه كتاب عثمان باطلاقه، وقيل: بل حبس الوليد جندبًا، فأتى ابن أخيه إلى السجان فقتله، وأخرج جندبًا فذلك قوله: [الطويل]

أَفِي مَضْرَبِ السَّحَّارِ يحُبَسُ جُنْدَبٌ وَيُقْتَـلُ أَصْحَابُ النَّبِيِّ الأَوَائِلُ

فَإِنْ يَكُ ظَنِّي بِابْنِ سَلْمَى وَرَهْطِـهِ هُوَ الحَقَّ يُطْلِـقْ جُنْدَبًا وَيُقَاتِـلُ

وانطلق إلى أرض الروم، فلم يزل يقاتل بها المشركين، حتى مات لعشر سنوات مضين من خلافة معاوية.