پادشاه خیبر، پس از دریافت پیام فرستاده پیمبر (ص) تقاضای مهلتی کرد تا بقیه زعماء خیبر در اینباره مشورت کند، و نظر ایشان را جویا شود، سپس مضمون دعوت نبوی را در مجمع بزرگان شهر مطرح کرد، و از ایشان خواست تا نظر خود را اعلام کنند.
سران خیبر متفقا با قبول این دعوت مخالفت کردند، و در تائید نظر خود گفتند محمد کسی نیست که فردی از یهود را بحکومت بگمارد، و برکرسی ریاست باقی بگذارد.
ولی اسیر با نظر موافقت نکرد، و تصمیم گرفت تا دعوت را بپذیرد و در تائید رأی خود گفت: این دعوت در اثر آن انجام گرفته است که محمد از ادامه جنگ خسته شده است.
از آنجا که اسیر بن زارم در مقام سلطنت بود بقیه زعماء خیبر ناگزیر رای او را پذیرفتند، و اعتراضی متوجه او نکردند، و اسیر بدنبال تصمیم خود با سی نفر از معتمدینش، در صحبت عبدالله بن رواحه و همراهان به آهنگ مدینه حرکت کرد، بر اینگونه که هر یک از همراهان عبدالله بن رواحه یکی از یاران اسیر را ردیف خود ساخت، و اسیر که فرمانروای خیبر بود با عبدالله بن انیس سوار شد، و او مردی شجاع و مبارزی بیباک بود.