در اين اثناء (جنگ یرموک)، حضرت ابوبكر در مدينه وفات يافت و حضرت عمر بن الخطاب به جاي او به خلافت رسيد. حضرت عمر فرداي آن شبي كه ابوبكر وفات يافت، وفاتش را توسط غلام خود يرفاء و همچنين عزل خالد و نصب ابوعبيده به جاي او را به وسيله محميه بن زينم و شداد بن اوس انصاري طي نامه‌اي به ابوعبيده اطلاع داد.

بعضي از روايات اين را مي‌رساند كه فرستادگان حضرت عمر كه حامل حكم عزل خالد بودند، صبح روزي كه نبرد يرموك درگرفته بود و مسلمين به شدت سرگرم جنگ بودند به آنجا رسيدند و فرمان عمر را به ابوعبيده تسليم نمودند؛ ولي ابوعبيده اين فرمان را تا پايان جنگ و فتح كامل مسلمين نزد خود نگه داشت؛

همچنين وفات ابوبكر را نيز به كسي اظهار نداشت و همين كه مسلمين به پيروزي قاطع رسيدند، مضمون نامه حضرت عمر را به خالد اطلاع داد و موضوع آن را و خبر وفات ابوبكر را به لشكر اعلام نمود. از اين پس فرماندهي كل لشكر را به جاي خالد به عهده گرفت.

بعضي ديگر مي‌گويند: ابوعبيده مضمون نامه حضرت عمر را پس از فتح يرموك نيز همچنان نزد خود نگه داشت و كماكان تحت فرمان خالد عازم دمشق گرديد. همين كه آنجا نيز فتح وبه تصرف كامل مسلمين در آمد، خبر فوت ابوبكر و فرمان عمر را درباره عزل خالد اعلام نمود و فرماندهي كل لشكر اسلام به عهده گرفت.

دكتر محمد حسين هيكل دانشمند مصري در كتاب خود به نام الفاروق مي‌گويد:

«به نظر من درست‌تر از همه اين روايات اين است كه ابوعبيده خبر عزل خالد را به كسي نگفت و چند روزي آن را پنهان نمود و در اين باره فكر كرد كه چه بايد كرد و چگونه آن را افشا نمايد، در اين اثناء خبر وفات ابوبكر در بين لشكر شيوع يافت و مطلع شدند كه حضرت عمر به خلافت رسيده است».

خالد از سابقه‌اي كه بين او و حضرت عمر وجود داشت، احساس مي‌كرد كه او را از فرماندهي كل لشكر بركنار خواهد كرد، لذا اين موضوع را با بعضي از معتمدين لشكر و نزديكان خود در ميان گذاشت. شايد هم با ابوعبيده در اين باره مذاكره كرده باشد، و ابوعبيده در اين فرصت مناسب فرمان عمر را به او اطلاع داده باشد.

به هر حال خالد طبق فرمان عمر از سرفرماندهي لشكر معزول گرديد، ولي او كسي نبود كه از اين پيش آمد دلتنگ شود و برنجد. او براي رضاي خدا و نفع مسلمين كار مي‌كرد، نه ريايي داشت، نه تفاخري مي‌كرد و نه بهره مادي به نفع خصوصي خود بر مي‌داشت.

خالد پس از اين با ميل و رغبت تحت امر ابوعبيده كار مي‌كرد و فرماندهي يكي از گروههاي لشكر را به عهده گرفته بود و انجام وظيفه مي‌كرد. كما آن كه ابوعبيده نيز آنگاه كه ابوبكر او را از فرماندهي كل لشكر معزول نمود و خالد را به جايش گذاشت، نرنجيد و با طيب خاطر تحت فرمان خالد انجام وظيفه نمود.

طبق دستور خالد قيادت قسمت قلب لشكر مسلمين را در يرموك به عهده گرفت و به سمت يك فرمانده جزء كار مي‌كرد.

چون تغيير فرماندهي كل از خالد به ابوعبيده پس از پيروزي قاطع مسلمين صورت گرفت، در نظام و نشاط لشكر اسلام هيچ گونه اثر نامطلوبي به بار نياورد و كماكان دلگرم كار بودند. (نقل از کتاب شیخین)