جاء تشييد هذا المسجد في عام 1892 ليكون اللبنة الأولى في انطلاق عصر النهضة والتحديث في جوهور، فقد بني هذا المسجد في عصر السلطان الراحل أبي بكر، الأب الروحي لجوهور الحديثة. واستغرق بناء هذا المسجد 8 أعوام واكتمل بناؤه في عام 1900 وهو يتسع لإحتواء 2000 مصلٍ في آنٍ واحد هذا ويمزج المسجد بين العديد من الطرازات المعمارية ولكن يغلب عليه الطراز المعماري الفيكتوري، ويُقال: إن مآذنه تشبه أبراج الساعة البريطانية ويُصنف مسجد السلطان أبي بكر حاليًا كأحد المعالم التراثية التي تخضع لحماية دائرة المتاحف والآثار في ماليزيا