Yörede ne zamandan beri yerleşik hayata geçildiği bilinmemekle beraber, gerek tarih öncesinde gerekse tarihi devirlerde çeşitli uygarlıkların etkisi altında kaldığı bilinmektedir.
Eskişehir çevresinde yapılan prehistorik araştırmalar, bölgede Paleolitik (Eski Taş) döneminde yerleşmeler olduğunu ortaya çıkarmıştır.
Bizanslılar döneminde ilçemizin yer aldığı Orta Sakarya Vadisi’nin etkin olarak yerleşilen yerlerden biri olduğu bilinmektedir. Nitekim yörenin Bizanslılardan beri yerleşim yeri olduğu, çeşitli kesimlerinde bulunan ve günümüze kadar ulaşabilen bazı tarihi kalıntılardan (kale kalıntıları, taş ambar, su yolları, mezarlar, küpler ve süs eşyaları) anlaşılmaktadır.
Selçuklular döneminde, merkezi Eskişehir olan Sultanönü Sancağı’na bağlı olan yöredeki Sakarya Nehri boyundaki köylerin tamamı 1466 tarihinden beri bilinmektedir. Sözü edilen tarihlerde Bozaniç, Sakarıılıca, Demirciler ve Alpagut birer (yaya) köyü olarak; Karaoğlan ise (taycı) köyü olarak teşkilatlanmış olup ilçemizin eski adı Gümele’dir.
Ertuğrul Gazi’nin Söğüt’te Osmanlı Devleti’nin temellerini atarken, özellikle kış aylarında Sakarya Nehri boylarında askerlerini barındırdığı bilinmektedir. Yöre, 1292’de Müslümanlığı seçerek Osman Gazi ile birlikte çok sayıda sefere katılan Harmankaya Tekfuru Köse Mihal’e kılıç hakkı olarak verilmiştir. Bu nedenle ilçemiz Mihalgazi adını, halk arasında bilinen Abdullah Mihalgazi’den almıştır.
1944 yılına kadar Söğüt’e bağlı bir bucak iken, bu tarihten itibaren Eskişehir iline bağlanmış; 1958 yılında Sarıkaya’nın Sarıcakaya adıyla ilçe olmasından itibaren buraya bağlanmıştır. 1967 yılında Belediye Teşkilatı kurulmuş, 20.05.1990 tarih ve 3644 sayılı Kanun ile ilçe olmuş ve 14.08.1991 tarihinden itibaren de fiilen ilçe teşkilatı göreve başlamıştır.