این مسجد به سبک هندی سنتی و به دست "یان یوزف اشواگرا" (Jan Josef Švagr) ساخته شده است. حمله اتمی آمریکا به دو شهر ناگازاکی و هیروشیما باعث شد منطقه کوبه نیز طی این حملات آسیب شدیدی دید و تا حد زیادی ویران شد.

در حالی که ساختمان های اطراف مسجد کوبه تقریبا با خاک یکسان شدند، این مسجد مستحکم و پابرجا ماند، و تنها ترک هایی روی دیوارهای بیرونی اش ایجاد شد و شیشه های آن شکست. نمای بیرونی مسجد بر اثر بمباران سیاه شد.

سربازان ژاپنی که در زیرزمین این مسجد پناه گرفتند از خطر بمباران جان سالم به در بردند. این مسجد به پناهگاهی برای قربانیان جنگ تبدیل شد. پس از اتمام جنگ، برخی دولت های اسلامی هزینه تعمیر و نوسازی مسجد را بر عهده گرفتند.

این مسجد در یک حادثه دیگر نیز استحکام خود را ثابت کرده است. زلزله ای که در ساعت 5:46 روز 17 ژانویه 1995 با نام زلزله "هانشین" رخ داد، تنها 20 ثانیه به طول کشید، اما حدود 6433 نفر ژاپنی را به کام مرگ کشاند، که اکثرشان ساکنان شهر کوبه بودند. اما مسجد کوبه در این زلزله ویران نشد.