মক্কা থেকে মদিনা হিজরত করে মহানবী হযরত মোহাম্মদ (সঃ) সর্বপ্রথম ওমর ইবনে আওয়াফের গোত্রপতি কুলসুম ইবনুল হিদমের আতিথ্য গ্রহণ করেন এবং সেখানে ১৪ দিন অবস্থান করেন। এই সময় তিনি কুলসুম ইবনুল হিদম (রাঃ) এর খেঁঁজুর শুকানোর পতিত জমিতে মসজিদে কুবা নির্মাণ করেন।
মসজিদে হারাম, মসজিদে নববী এবং মসজিদে আকসার পরেই মসজিদে কুবার সম্মান। পবিত্র কুরআনের সূরা তাওবার ১০৮নং আয়াতে এই মসজিদের কথা উল্লেখ আছে।
মসজিদে কুবা নির্মাণের পর থেকে এখন পর্যন্ত কয়েক দফা সংস্কার এবং পুনঃনির্মাণ করা হয়েছে। ইস্লামের তৃতীয় খলিফা হযরত ওসমান (রাঃ) তার খেলাফতকালে সর্বপ্রথম মসজিদে কুবার সংস্কার এবং পুনঃনির্মাণ করেন। এরপর আরো সাত বার এর সংস্কার করা হয়। অনেক পুরনো হয়ে যাওয়ায় সর্বশেষ ১৯৮৬ সালে মসজিদটি পুনঃনির্মাণ করা হয়।
পুরো মসজিদে সাদা পাথর ব্যবহার করা হয়েছে। চার মিনার এবং দুতলা বিশিষ্ট মসজিদে কুবার ছাদে এক্টি বড় গম্বুজ ও পাঁচটি অপেক্ষাকৃত ছোট গম্বুজ রয়েছে। তাছাড়া ছাদের অন্য অংশে আছে গম্বুজের মতো ছোট ছোট অনেক অবয়ব। পাশে আছে হরেক খেঁজুরের বাগান। যা দেখলে চোখ জুড়িয়ে যায়।
মসজিদে নববীর দক্ষিণ-পশ্চিম দিকে অবস্থিত এই মসজিদের দুরত্ব মসজিদে নববী থেকে ৩।২৫ কিলোমিটার। মদিনায় রাসূল (সঃ) যে দশ বছর কাটিয়েছেন সে সময় তিনি পায়ে হেঁটে বা কুবা মসজিদে যেতেন।
মহানবী (সঃ) এর ইন্তেকালের পর মসজিদে কুবার সম্মান ও মর্যাদার কারণে অনেক সাহাবী এখানে এসে নফল নামাজ আদায় করতেন।