מבנה המסגד הגדול (כיום מוזאון לתרבות האסלאם ועמי המזרח) נבנה בשנת 1906 כחלק מקבוצת מבני שלטון עות'מאניים הכוללת את הסראיה (בית השלטון המרכזי בטורקית) ואת בית המושל (כיום מוזאון הנגב לאמנות). המבנים רוכזו לאורך רחוב הכניסה הראשי המוביל למרכז העיר. המסגד נבנה אלכסונית לתוואי הרחוב כדי להתאים את כיוון התפילה למכה. רוב תושבי העיר העות'מנית היו ערבים מחברון ומעזה.
בתקופת המנדט הבריטי (1948-1917) היוו המוסלמים רוב מבחינה מספרית (כ 2790 מתוך 2960 תושבים בשנת 1931) והמסגד הגדול המשיך לשמש כמרכז דתי ומוקד משיכה לתושבים מכל האזור. באוקטובר 1948 חטיבת הנגב של הפלמ"ח כבשה את העיר מידי הצבא המצרי ובשנת 1950 נוסדה העיר העברית באר שבע. לאחר הקמת המדינה שימש המסגד כבית מעצר וכבית משפט.
בשנת 1952 הנהלת עיריית באר שבע החליטה להפוך את המסגד לשעבר למוזאון הנגב אשר "ישקף את הנגב מכל הבחינות". צבי עופר, מהנדס אזרחי של העירייה נתמנה למייסד המוזאון. מתכתובות בנוגע להקמת המוזאון עולה כי המוזאון ביקש בתחילה להיות מפעל חינוכי שיציג תיעוד של ההתיישבות בנגב ו"כיבוש השממה". החומרים בתערוכה הראשונה כללו תצלומים בכמה נושאים ובהם: גאולת הקרקע, מפעלי המים, עמל ושכרו וכן בולים ומפות של הנגב. לקרן הקיימת הוקצה כרבע משטח התצוגה. הכניסה עלתה 100 פרוטה ולמבקרים ניתנה האפשרות לעלות לצריח המסגד להשקיף על פני הסביבה. המוזאון נפתח באופן רשמי ב 19.11.1952.
במהלך פיתוח העיר התגלו ממצאים ארכאולוגיים ייחודיים וחשובים בנגב והובאו למוזאון. חפירות נוספות בשנות החמישים העשירו את האוסף בממצאים מהתקופות הכלקוליתית, הישראלית והביזנטית. עם השנים היה המסגד למוזאון ארכאולוגי ואתנוגרפי שהמוצגים שבו שיקפו את החיים והתרבות בנגב. בחצר המוזאון הוצגו ממצאים ארכאולוגים כגון כותרות לעמודים ורצפת פסיפס המתוארכת למאה החמישית-השישית. באולם התצוגה הוצג אוסף כלי צור מתקופת האבן, אוסף כלים ופסלונים מחפירות חורבת מטר ובאר צפד, שעון שמש עשוי אבן לבנה, שברי כתובת ביזנטית ועוד. הממצא החשוב ביותר בתצוגה היה מזבח קרנות גדול, שהתגלה בחפירת תל באר שבע בקיץ 1973. הממצאים הוצגו בסדר כרונולוגי החל באלף הרביעי לפני הספירה וכלה במאה השמינית לספירה. במוזאון היה אגף לאמנות חדשה והוצגו בו ציורים ורישומים מאוסף המוזאון ותערוכות מתחלפות. כמו כן היו גם חדר עיון וספרייה.
עם השנים נעשה ניסיון שיפוץ במבנה שהלך והתפורר אך זה לא עלה יפה והמבנה הוכרז כמסוכן לציבור. בשנת 1992 נלקח האוסף הארכאולוגי למשמרת על ידי רשות העתיקות. שיקום ושימור המבנה הצריך משאבים גדולים ותוכנית מוקפדת. העבודות החלו בשנת 2008 והסתיימו בשנת 2010. הפרויקט נוהל על ידי החברה הכלכלית לפיתוח באר שבע בע"מ וכלל ביצוע עבודות לשימור המבנה, החלפת תשתיות והתאמת המבנה לשימוש כמוזאון. עם סיום התהליך ביקשה העירייה לשוב ולהשתמש בו כמוזאון ארכאולוגי. מנגד, האגודה לסיוע ולהגנה על זכויות הבדווים, הוועד המוסלמי בנגב וגופים אחרים ביקשו להחזירו לייעודו המקורי כמסגד ופתחו במאבק ציבורי. במסגרת המאבק עתרו הפעילים לבית המשפט הגבוה לצדק (בג"ץ). ביוני 2011 קבע בג"ץ כי המבנה ישמש מוזאון המוקדש באופן ייחודי "לתרבות האסלאם ועמי המזרח".
עוד קודם להחלטת בית המשפט יזמה עיריית באר שבע תערוכה זמנית על "תולדות באר שבע 2011-1900" שאצר גואל דרורי. התערוכה הוצגה מנובמבר 2011 עד אוקטובר 2013 . במקביל, צוות המוזאון, המנהלת ד"ר דליה מנור והאוצרת ד"ר שרון לאור-סירק החלו להיערך לפתיחתו המחודשת. בדצמבר 2014 נפתח המוזאון בייעודו החדש כ"מוזאון לתרבות האסלאם ועמי המזרח" עם תצוגת קבע בחצר והתערוכה הזמנית "קשרים".