Khitan e il quattordicesimo anno (996 d.C.), il pellegrino arabo Na Luding giunse a Nanchino, costruì il tempio nella periferia meridionale, nel villaggio Liuhe, denominò la Moschea di Niujie. Gli edifici principali del tempio comprendono la Sala del Culto, nota anche come Sala Yao, ll Palazzo Bangge, il Padiglione delle Stele, l'Edificio per ammirare la Luna e il Salone (noto anche come le Sette Stanze). L'edificio principale del tempio è la Sala del Culto, che si affaccia a est da ovest e può ospitare un migliaio di persone in adorazione contemporaneamente. A ovest della Sala si trova un edificio a padiglione esagonale con tetto a punta. La nicchia nella Sala è piena di testi arabi e di fiori scolpiti, al lato nord-ovest della Sala c’è un pulpito dove gli imam predicano quando ricorrono i giorni di Jumah o le feste; il Palazzo Bangge è anche conosciuto come il Palazzo per proclamare il culto o il Palazzo di riscotimento, in quanto viene utilizzato per segnalare l'ora e chiamare i parrocchiani al culto prima della funzione al piano superiore; su entrambi i lati della piattaforma della Sala del Culto si trovano due padiglioni quadrati simmetrici in cui i monumenti furono eretti nel nono anno di regno di Hongzhi (1496); l'Edificio per ammirare la Luna si trova di fronte al tempio nel mezzo delle due porte, esagonale, è un edificio caratteristico nel tempio culto musulmano, servendo per ammirare la luna ai federi prima d’Eid al-Fitr.

Il tessuto architettonico della Moschea di Niujie  è regolare, la Grande Sala è semplice e magnifica, tutti i dettagli architettonici principali mostrano un forte stile decorativo arabo, estremamente raffinati.