Сергей Шахрай родился 30 апреля 1956 года в городе Симферополь, Республика Крым. После школы, в 1978 году с отличием окончил юридический факультет Ростовского государственного университета по программе «Государствоведение». Затем поступил в аспирантуру Московского государственного университета имени М.В. Ломоносова. Окончил ее в 1982 году.

В 2004 году получил дополнительное образование в Финансовой академии при Правительстве РФ. Через год успешно защитил диссертацию на соискание ученой степени доктора юридических наук в Санкт-Петербургском Университете Министерства Внутренних дел России по теме: «Федерализм и конституционное правосудие (проблемы теории, методологии и практики)». Удостоен звания профессора.

С 1982 по 1987 года Шахрай являлся ассистентом юридического факультета МГУ имени М.В. Ломоносова. Затем, до 1990 года заведовал лабораторией правовой информатики и кибернетики университета. Входил в состав КПСС до 20 августа 1991 года.

В 1989 году приглашен в качестве общественного консультанта в Комитет по законодательству Верховного Совета СССР. С марта 1990 по декабрь 1992 года избирался народным депутатом России по 10 Центральному избирательному округу Московской области. Входил в депутатскую группу «Смена». Один из основателей и лидеров группы «Левый центр». С 3 июля 1990 по 15 ноября 1991 года возглавлял Комитет Верховного Совета по законодательству.

С 8 декабря 1991 года принимал участие в разработке и подписании Беловежского соглашения о ликвидации СССР и образовании СНГ между Россией, Украиной и Республикой Беларусь. В июле 1991 года стал Государственным советником России по правовой политике. Являлся членом Государственного совета, заместителем Председателя Правительства РФ. Курировал Министерства юстиции, Агентства федеральной безопасности, Министерства внутренних дел, Государственный комитет по национальной политике.

С 25 февраля 1992 года Сергей Михайлович руководил деятельностью Министерства безопасности и Министерства внутренних дел РФ.  С декабря 1991 по май 1992 года возглавлял Государственно-правовое управление Президента РФ. С ноября по декабрь 1992 года занимал пост Главы Временной администрации на территориях Республики Северная-Осетия Алания и Республики Ингушетия, заместителя Председателя Правительства России, Председателя Государственного комитета по национальной политике. С 23 декабря являлся заместителем Председателя Совета Министров - Правительства РФ, Председателем Государственного комитета. До 1996 года входил в Совет Безопасности РФ.

Шахрай Сергей в мае 1993 года стал официальным представителем Президента РФ в Конституционной комиссии Съезда народных депутатов. В июне приступил к созданию Партии российского единства и согласия. Являлся представителем Совета Министров - Правительства РФ для участия в Конституционном совещании. Возглавлял Государственный комитет по делам федерации и национальностей. Избирался депутатом Государственной Думы по списку «ПРЕС». В 1994 году занимал должность Министра по делам национальностей и региональной политики. Входил в состав Президиума Правительства. С 7 апреля 1994 по 5 января 1996 года являлся заместителем Председателя Правительства РФ. 

С 24 августа 1995 года состоял в Совете по местному самоуправлению при Президенте. Победил на выборах в депутаты Государственной Думы II созыва от Пролетарского одномандатного избирательного округа №145, Ростовская область. Входил в состав комиссии Межпарламентской Ассамблеи государств - участников СНГ по правовым вопросам. С 16 января 1996 года по 22 января 1997 года являлся членом партии «Российские регионы». С 1996 по 1997 года входил в комитет Госдумы по Регламенту и организации работы Думы. 

С 7 декабря 1996 по 29 июня 1998 года занимал пост полномочного представителя Президента РФ в Конституционном Суде. С сентября 1997 года состоял в Межведомственной комиссии Совета Безопасности по федеральной конституционной безопасности. В октябре 1997 года стал членом Совета по вопросам совершенствования правосудия, затем членом Совета по местному самоуправлению.

В период с 1997 по 2000 года входил в состав Совета директоров ОАО «Газпром-Медиа». 

С октября 1998 года являлся Советником Председателя Правительства по юридическим вопросам. Через два года Сергей Михайлович назначен заместителем руководителя аппарата Счетной палаты России. Стал директором Государственного научно-исследовательского института системного анализа Счетной палаты РФ.

С 2003 по 2004 года занимал должности: заместителя председателя Совета, ответственного секретаря Российского союза налогоплательщиков; руководителя аппарата Счетной палаты. 

В 2005 году Сергей Михайлович Шахрай назначен Президентом Национальной федерации бадминтона России. В ноябре 2009 года формально покинул пост президента, оставив за собой представительские функции и возглавил вновь образованный наблюдательный совет.

С 5 сентября 2008 года являлся членом Совета при Президенте РФ по развитию физической культуры и спорта, спорта высших достижений, подготовке и проведению XXII Олимпийских зимних игр и XI Паралимпийских зимних игр 2014 года в городе Сочи. В следующем году вошел в состав Межведомственной комиссии по вопросам повышения качества высшего юридического образования. Позднее стал членом научного совета при Совете Безопасности.

Сергей Михайлович удостоен классного чина «Действительный государственный советник РФ I класса», звания «Заслуженный юрист РФ». Награжден орденом «За заслуги перед Отечеством» IV степени, орденом Дружбы, медалью «Защитнику свободной России», орденом преподобного С. Радонежского III степени. Шахраю объявлены Благодарности Президента Российской Федерации за достигнутые трудовые успехи и многолетнюю добросовестную работу. Отмечен почетными грамотами Президента РФ.