Зелимхан Яндарбиев родился 12 сентября 1952 года в селе Выдриха, Казахстан. Позже переехал в Чеченскую республику, в свое родовое селение Старые Атаги. В возрасте семнадцати лет начал работать разнорабочим и каменщиком. В 1972 году призван на службу в армию. После демобилизации два года работал на буровой помощником бурильщика. Одновременно поступил на заочное отделение филологического факультета Чечено-Ингушского государственного университета, который окончил в 1981 году.
После окончания университета Яндарбиев работал корректором, а затем начальником производственного отдела Чечено-ингушского книжного издательства. Вступил в КПСС. В 1985 году занял должность председателя Комитета пропаганды художественной литературы Союза писателей СССР. В период перестройки занялся общественно-политической деятельностью. С 1989 года занимал должность литературного консультанта в Союзе писателей Чечено-ингушской республики. С этого же времени являлся председателем политической организации чеченского общества «Барт».
В мае 1990 года Зелимхан Абдулмуслимович организовал и возглавил Вайнахскую демократическую партию. После образования Общенационального конгресса чеченского народа стал заместителем Председателя исполкома конгресса. Председателем избран Джохар Дудаев. В 1991 году стал депутатом парламента Чеченской республики первого созыва, возглавлял Комитет по СМИ и свободе слова. Выступал как последовательный и жесткий сторонник независимости Чечни от Российской Федерации. В 1992 году возглавил делегацию парламента Ичкерии на переговорах с делегацией Верховного совета РСФСР. В этом же году совершил первый хадж в Мекку.
В апреле 1993 года Яндарбиев поддержал решения президента Джохара Дудаева о роспуске парламента, конституционного суда и Грозненского городского собрания. Позднее назначен вице-президентом Ичкерии, занимался в основном идеологическими вопросами. В должности вице-президента посещал Литву и Грузию. В этом же году на него совершено покушение - когда Яндарбиев выходил из машины возле своего дома, неизвестные выпустили в него две гранаты из подствольного гранатомёта, но никто при этом не пострадал.
Во время Первой чеченской войны Зелимхан Яндарбиев принимал участие в боевых действиях на стороне сепаратистов, руководил обороной центральной части Грозного. В 1996 году в связи с гибелью Джохара Дудаева стал исполняющим обязанности президента и верховным главнокомандующим вооружёнными силами республики. Позднее возглавлял чеченскую делегацию на переговорах в Москве.
После избрания в 1997 году президентом Чеченской республики Аслана Масхадова Яндарбиев примкнул к национал-радикальному крылу оппозиции, которое возглавлял Салман Радуев. Позже поддерживал оппозиционный Совет командующих, созданный Шамилем Басаевым и его сторонниками. Критиковал Масхадова за мягкость в отношениях с Россией. В октябре 1999 года назначен Масхадовым его личным посланником и полномочным представителем Ичкерии в мусульманских странах. В январе 2000 года дополнительно назначен представителем Чеченской республики в Афганистане. Сумел договориться с лидерами движения Талибан об официальном признании Афганистаном суверенитета республики.
В октябре 2001 года Зелимхан Абдулмуслимович Яндарбиев объявлен в международный розыск по линии Интерпола. В 2002 году против него возбуждено уголовное дело по статьям: участие в вооруженном мятеже, участие в незаконном вооруженном формировании и покушение на жизнь сотрудников правоохранительных органов. Позднее подал в отставку со всех официальных должностей в связи с несогласием со внешнеполитическим курсом Чеченской республики. С 2003 года постоянно проживал в Катаре, где был объявлен личным гостем эмира, катарские власти предоставили ему статус «беженца без права политической деятельности».
Комитет Совета безопасности ООН по санкциям в отношении талибов, организации «Аль-Каида» включил Яндарбиева в список лиц, подлежащих санкциям. Стал первым лидером чеченских боевиков, который по требованию России включен в данный список.
Зелимхан Яндарбиев погиб 13 февраля 2004 года в результате подрыва его автомобиля, когда возвращался домой после пятничной молитвы в центральной мечети Дохи.