מבנה המסגד הגדול (כיום מוזיאון לתרבות האסלאם ועמי המזרח) נבנה בשנת 1906 כחלק מקבוצת מבני שלטון עות'מאניים הכוללת את הסראיה (בית השלטון המרכזי בטורקית) ואת בית המושל (כיום מוזיאון הנגב לאמנות). המבנים רוכזו לאורך רחוב הכניסה הראשי המוביל למרכז העיר. המסגד נבנה אלכסונית לתוואי הרחוב כדי להתאים את כיוון התפילה למכה. רוב תושבי העיר העות'מנית היו ערבים מחברון ומעזה.

בתקופת המנדט הבריטי (1948-1917) היוו המוסלמים רוב מבחינה מספרית (כ 2790 מתוך 2960 תושבים בשנת 1931) והמסגד הגדול המשיך לשמש כמרכז דתי ומוקד משיכה לתושבים מכל האזור. באוקטובר 1948 חטיבת הנגב של הפלמ"ח כבשה את העיר מידי הצבא המצרי ובשנת 1950 נוסדה העיר העברית באר שבע. לאחר הקמת המדינה שימש המסגד כבית מעצר וכבית משפט.

בשנת 1952 הנהלת עיריית באר שבע החליטה להפוך את המסגד לשעבר למוזיאון הנגב אשר "ישקף את הנגב מכל הבחינות". צבי עופר, מהנדס אזרחי של העירייה נתמנה למייסד המוזיאון. מתכתובות בנוגע להקמת המוזיאון עולה כי המוזיאון ביקש בתחילה להיות מפעל חינוכי שיציג תיעוד של ההתיישבות בנגב ו"כיבוש השממה". החומרים בתערוכה הראשונה כללו תצלומים בכמה נושאים ובהם: גאולת הקרקע, מפעלי המים, עמל ושכרו וכן בולים ומפות של הנגב. לקרן הקיימת הוקצה כרבע משטח התצוגה. הכניסה עלתה 100 פרוטה ולמבקרים ניתנה האפשרות לעלות לצריח המסגד להשקיף על פני הסביבה. המוזיאון נפתח באופן רשמי ב 19.11.1952.

במהלך פיתוח העיר התגלו ממצאים ארכאולוגיים ייחודיים וחשובים בנגב והובאו למוזיאון. חפירות נוספות בשנות החמישים העשירו את האוסף בממצאים מהתקופות הכלקוליתית, הישראלית והביזנטית. עם השנים היה המסגד למוזיאון ארכאולוגי ואתנוגרפי שהמוצגים שבו שיקפו את החיים והתרבות בנגב. בחצר המוזיאון הוצגו ממצאים ארכאולוגים כגון כותרות לעמודים ורצפת פסיפס המתוארכת למאה החמישית-השישית. באולם התצוגה הוצג אוסף כלי צור מתקופת האבן, אוסף כלים ופסלונים מחפירות חורבת מטר ובאר צפד, שעון שמש עשוי אבן לבנה, שברי כתובת ביזנטית ועוד. הממצא החשוב ביותר בתצוגה היה מזבח קרנות גדול, שהתגלה בחפירת תל באר שבע בקיץ 1973. הממצאים הוצגו בסדר כרונולוגי החל באלף הרביעי לפני הספירה וכלה במאה השמינית לספירה. במוזיאון היה אגף לאמנות חדשה והוצגו בו ציורים ורישומים מאוסף המוזיאון ותערוכות מתחלפות. כמו כן היו גם חדר עיון וספרייה.

עם השנים נעשה ניסיון שיפוץ במבנה שהלך והתפורר אך זה לא עלה יפה והמבנה הוכרז כמסוכן לציבור. בשנת 1992 נלקח האוסף הארכאולוגי למשמרת על ידי רשות העתיקות. שיקום ושימור המבנה הצריך משאבים גדולים ותוכנית מוקפדת. העבודות החלו בשנת 2008 והסתיימו בשנת 2010. הפרויקט נוהל על ידי החברה הכלכלית לפיתוח באר שבע בע"מ וכלל ביצוע עבודות לשימור המבנה, החלפת תשתיות והתאמת המבנה לשימוש כמוזיאון. עם סיום התהליך ביקשה העירייה לשוב ולהשתמש בו כמוזיאון ארכאולוגי. מנגד, האגודה לסיוע ולהגנה על זכויות הבדווים, הוועד המוסלמי בנגב וגופים אחרים ביקשו להחזירו לייעודו המקורי כמסגד ופתחו במאבק ציבורי. במסגרת המאבק עתרו הפעילים לבית המשפט הגבוה לצדק (בג"ץ). ביוני 2011 קבע בג"ץ כי המבנה ישמש מוזיאון המוקדש באופן ייחודי "לתרבות האסלאם ועמי המזרח".

עוד קודם להחלטת בית המשפט יזמה עיריית באר שבע תערוכה זמנית על "תולדות באר שבע 2011-1900" שאצר גואל דרורי. התערוכה הוצגה מנובמבר 2011 עד אוקטובר 2013 . במקביל, צוות המוזיאון, המנהלת ד"ר דליה מנור והאוצרת ד"ר שרון לאור-סירק החלו להיערך לפתיחתו המחודשת. בדצמבר 2014 נפתח המוזיאון  בייעודו החדש כ"מוזיאון לתרבות האסלאם ועמי המזרח" עם תצוגת קבע בחצר והתערוכה הזמנית "קשרים".