Çüngüş ilçesinin yerleşim tarihine dair birçok etken bulunmaktadır, bunlar arasında dağlık coğrafyası, verimsiz toprakları ve ulaşım zorlukları gibi faktörler öne çıkmaktadır. Yerleşim, Türkmen boylarının 1040 yılında bölgeye gerçekleştirdiği akınlarla başlamıştır.

1183 yılında Artukluların hakimiyetine giren Çüngüş, İpek Yolu üzerinde stratejik bir konuma sahip olmuş ve Hindistan'a giden bu yol güven altına alınmıştır. 1475 yılında ilçede Tekkale, Kömeağaç, Pegler adında üç mahalle kurulmuş ve bir manastır inşa edilmiştir.

Çüngüş'ün devlet otoritesini sağlayan Kapıkıran Mehmet Ali Paşa, bölgeyi tutarsız bir şekilde değerlendirerek isminin Çüngüş olarak kalmasına neden olmuştur. Ermeni nüfusunun yoğun olduğu yöre, Ermeni isyanlarından sonra Ermenilerin göç etmesiyle boşalmıştır.

1880'de Elazığ İli Siverek Sancağı'na bağlı bir bucak olan Çüngüş, daha sonra Balkan ve Birinci Dünya Savaşları'ndan kaynaklanan nüfus azalması nedeniyle köy durumuna düşmüştür. Ancak, 1953 yılında ilçe statüsüne kavuşmuştur.

Türk tarihine göre, 1040 yılından itibaren Türkmen boylarının akınlarıyla hareketlenen Çüngüş, zamanla yerleşim yeri haline gelmiş ve Türkmenlerle yerli halk arasında bütünleşmiştir.

Çüngüş, 1085 yılında Büyük Selçuklu Devleti'nin etki alanına girmiş, sonra Suriye Selçuklularının topraklarına katılmıştır. 1183 yılında ise Artukluların egemenliği altına girmiştir. Bu dönemde, İpek Yolu'nun güvence altına alınmasıyla Çüngüş'ün önemi artmış, imar faaliyetleri ve küçük çaplı imalathaneler sayesinde canlanmıştır.

Osmanlı Devleti'nin ilk dönemlerinde Çüngüş kasabası, Kale, Pekler ve Kömağaç yerleşimlerinin birleştirilmesiyle kurulmuştur. 1518'deki Osmanlı tahrir defterine göre, Ergani Madem Sancağı'na bağlı bir bucak olarak kayıtlıdır.

1596'da Çüngüş'e gelen Osmanlı Paşası Kapıkıran Mehmet Ali Paşa, kalkınma için çaba sarf ederek dağınık yerleşmeyi sona erdirmiş ve toplu bir şehir kazandırmıştır. Mehmet Ali Paşa, yerli Ermeni ve Türklerle bütünleşmiş, içme suyu ve ulaşım şebekesini kurarak önemli çalışmalar yapmıştır.

Kurtuluş Savaşı ve Cumhuriyetin ilk yıllarında nüfusun azalması nedeniyle köy statüsüne düşen Çüngüş, 1934'te tekrar bucak statüsü kazanmış ve Diyarbakır iline bağlanmıştır. 3 Mart 1953'te Resmi Gazete'de yayımlanan 6068 Sayılı Kanunla ilçe haline gelmiştir.