К середине 1780-х годов стало очевидно, что Статьи Конфедерации были неспособны обеспечить эффективное управление страной, а любые поправки к Статьям требовали единогласного одобрения всех тринадцати штатов, что делало реформы практически невозможными. Экономический хаос, обесценивание валюты, массовая задолженность фермеров и купцов, а также внутренние восстания, такие как восстание Дэниела Шейса в Массачусетсе в 1786-1787 годах, когда разорившиеся фермеры взялись за оружие против судов, угрожавших лишить их земель за долги, убедили политическую элиту в необходимости коренных реформ. Джордж Вашингтон, который в 1783 году добровольно ушел в отставку с поста главнокомандующего и жил в своем поместье Маунт-Вернон, с тревогой следил за событиями. В письме своему другу Дэвиду Хамфри в январе 1787 года он писал: «Стыд, не поддающийся выражению, охватывает меня всякий раз, когда я вижу тучи, сгустившиеся над самым светлым утром, которое когда-либо всходило над какой-либо страной… Что за триумф для сторонников деспотизма — обнаружить, что мы не способны управлять собой».

По инициативе Джеймса Мэдисона, который еще в 1786 году участвовал в Аннаполисской конвенции (собрании делегатов пяти штатов, которое призвало к более широкой встрече), в феврале 1787 года Континентальный конгресс пригласил штаты направить делегатов в Филадельфию для «единственной и важной цели — пересмотра Статей Конфедерации». В мае 1787 года начал работу Конституционный конвент.

В Филадельфии собрались 55 делегатов от двенадцати штатов. Род-Айленд отказался от участия. Состав делегатов был исключительно представительным: среди них были 39 бывших членов Континентального конгресса, 7 бывших губернаторов, 8 подписавших Декларацию независимости. Джордж Вашингтон, чье присутствие придавало конвенту легитимность и моральный авторитет, был единогласно избран председателем.

Сам Джеймс Мэдисон прибыл с детально проработанным планом, который он разработал за несколько месяцев до конвента, изучая историю республик от античности до современности. Он вел подробные записи всех заседаний (около 600 страниц), которые являются основным источником информации о работе конвента. Александр Гамильтон из Нью-Йорка выступал за сильное центральное правительство, которое, по его мнению, должно было даже включать элементы, напоминающие британскую конституционную монархию (пожизненный срок для президента и сенаторов). Бенджамин Франклин, старейший делегат, чья мудрость и авторитет помогали сглаживать конфликты, присутствовал на заседаниях, несмотря на плохое здоровье. Среди других видных делегатов были Джордж Мейсон из Вирджинии, автор Вирджинской декларации прав, который впоследствии отказался подписать Конституцию из-за отсутствия в ней Билля о правах; Роджер Шерман из Коннектикута, сыгравший ключевую роль в достижении «Великого компромисса»; и Элбридж Герри из Массачусетса, который также отказался подписать Конституцию. Примечательно, что Томас Джефферсон и Джон Адамс отсутствовали, потому что находились в дипломатических миссиях в Европе.

Делегаты быстро пришли к выводу, что незначительные поправки к Статьям Конфедерации не решат проблем, и 30 мая 1787 года приняли резолюцию о разработке совершенно новой конституции. Заседания проходили в условиях строгой секретности, даже окна здания, где заседал конвент были наглухо закрыты, а делегаты дали клятву не разглашать ход обсуждений до его завершения. Эта секретность позволяла делегатам свободно обмениваться мнениями, менять позиции и искать компромиссы без давления со стороны публики и местных законодательных собраний, которые могли бы отозвать делегатов, если бы те отклонились от инструкций. Когда в конце конвента одна из делегаток спросила Франклина, что они создали, Франклин ответил: «Республику, если вы сможете ее сохранить».

Главным препятствием на пути к созданию новой конституции стал конфликт между большими и маленькими штатами по вопросу о представительстве в законодательной власти. Согласно «Вирджинскому плану», предложенному Мэдисоном и поддержанному крупными штатами (Вирджиния, Пенсильвания, Массачусетс), представительство в обеих палатах Конгресса должно было определяться численностью населения штата или размером его вклада в федеральную казну. Этот план также предусматривал создание двухпалатного законодательного органа, сильной исполнительной власти и независимой судебной системы. Делегаты от маленьких штатов (Нью-Джерси, Делавэр, Коннектикут) выступили против этого плана, опасаясь, что их голоса будут полностью подавлены более крупными соседями. Делегат от Делавэра Джон Дикинсон прямо заявил: «Я не хочу, чтобы мои избиратели в один прекрасный день оказались под властью Вирджинии».

В ответ на «Вирджинский план» делегат от Нью-Джерси Уильям Патерсон 15 июня 1787 года предложил альтернативный «Нью-Джерсийский план». Этот план сохранял однопалатную структуру Конгресса, установленную Статьями Конфедерации, и принцип равного представительства штатов независимо от их размера и населения, но при этом расширял полномочия Конгресса — давал ему право собирать налоги, регулировать торговлю и создавать федеральные суды. Конвент оказался в тупике: дискуссии становились все более ожесточенными, и казалось, что переговоры могут провалиться. 18 июня Гамильтон выступил с 6-часовой речью, в которой предложил еще более радикальный план, предусматривавший пожизненный срок для президента и сенаторов и элементы, напоминавшие британскую конституционную монархию. Однако этот план не получил поддержки. 19 июня делегаты проголосовали за «Вирджинский план» как основу для дальнейших обсуждений, отвергнув «Нью-Джерсийский», но это не решило проблему представительства.

Разрешение кризиса предложил Роджер Шерман из Коннектикута, опытный политик, который был единственным человеком, подписавшим все четыре важнейших документа американской революции: Ассоциацию 1774 года (континентальную ассоциацию бойкота британских товаров), Декларацию независимости, Статьи Конфедерации и Конституцию. Его «Коннектикутский компромисс», известный также как «Великий компромисс», был представлен конвенту 5 июля 1787 года. Он предусматривал создание двухпалатного Конгресса: в нижней палате — Палате представителей — количество мест от каждого штата должно было определяться численностью его населения; в верхней палате — Сенате — каждый штат, независимо от размера и населения, получал по два представителя. Таким образом, штаты получали пропорциональное представительство в Палате представителей и равное в Сенате.

Кроме того, компромисс предусматривал, что все финансовые законопроекты должны исходить из Палаты представителей, что было уступкой большим штатам, которые контролировали бы большинство в нижней палате. Это предложение удовлетворило обе стороны. Большие штаты получили преимущество в Палате представителей (где доминировало население), а маленькие равное представительство в Сенате, который, как предполагалось, будет более стабильным и обдуманным органом. После долгих и напряженных дебатов, в ходе которых некоторые делегаты угрожали покинуть конвент, 16 июля 1787 года «Великий компромисс» был принят.

«Великий компромисс» стал не единственным компромиссом, который был достигнут на конвенте. Не менее спорным был вопрос о том, следует ли включать порабощенных афроамериканцев при расчете населения для определения представительства в Палате представителей. Южные штаты (Южная Каролина, Джорджия, Северная Каролина, Вирджиния), где рабство было основой плантационной экономики и где порабощенные составляли от 30 до 40% населения, настаивали на полном включении рабов в подсчет населения, что увеличивало бы их представительство в Конгрессе. Северные штаты, где рабство было распространено значительно меньше, напротив, требовали исключить рабов из подсчета или учитывать их только для налоговых целей, но не для представительства. Вопрос был чрезвычайно чувствительным, так как если бы рабы не учитывались, южные штаты теряли бы значительную часть политической власти; если бы учитывались полностью, северные штаты считали это несправедливым, поскольку рабы не имели права голоса и фактически рассматривались как собственность.

В результате был достигнут так называемый Three-Fifths Compromise, предложенный Джеймсом Уилсоном из Пенсильвании и Роджером Шерманом. При определении как представительства в Палате представителей, так и распределения прямых налогов между штатами каждый порабощенный человек учитывался как три пятых свободного человека. Это означало, что, например, в Южной Каролине, где проживало около 100 тысяч рабов, при расчете представительства они давали добавку, эквивалентную 60 тысячам свободных жителей. Компромисс, в котором термин «рабы» был заменен эвфемизмом «другие лица» (other persons), был принят 12 июля 1787 года. Кроме того, делегаты согласились на еще одну уступку южным штатам. Конгресс не будет запрещать работорговлю (ввоз рабов из Африки) в течение 20 лет до 1808 года. Эти компромиссы были необходимы для того, чтобы обеспечить поддержку Конституции южными штатами, но они заложили мину замедленного действия под основание республики, которая провозгласила, что «все люди созданы равными». Авраам Линкольн назовет Трехпятый компромисс одной из причин Гражданской войны.

Другим важным и сложным вопросом была процедура избрания президента. Делегаты опасались как прямых выборов президента народом из-за низкого уровня образования населения, отсутствия единого информационного пространства и опасений, что народ будет голосовать за популярных, но некомпетентных кандидатов, так и назначения президента Конгрессом, что лишало бы исполнительную власть независимости и делало бы ее марионеткой законодателей. После долгих дебатов, в ходе которых рассматривались различные варианты, была создана Коллегия выборщиков. Каждый штат назначал выборщиков в количестве, равном сумме его представителей в Палате представителей и Сенате (то есть число выборщиков от штата отражало его общую численность населения, поскольку представительство в Палате зависело от населения). Выборщики, которые, как предполагалось, будут «мудрыми и информированными» гражданами, избирали президента и вице-президента. Если ни один кандидат не получал большинства, выборы передавались в Палату представителей, где каждый штат имел один голос. Эта система сохраняется до сих пор, хотя принципы ее работы и критика в ее адрес остаются предметом споров.

Конституция также предусматривала разделение властей на три ветви — законодательную (Конгресс, состоящий из Палаты представителей и Сената), исполнительную (президент) и судебную (Верховный суд и нижестоящие федеральные суды, которые могут быть созданы Конгрессом). Система сдержек и противовесов не позволяла ни одной ветви узурпировать власть Президент мог наложить вето на законы Конгресса, но Конгресс мог преодолеть вето двумя третями голосов; президент назначал судей и министров, но Сенат должен был утверждать эти назначения; Верховный суд мог объявлять законы неконституционными (эта практика установилась позже). Мэдисон, которого называют «отцом Конституции», посвятил десятую статью «Записок федералиста» обоснованию того, что республика может процветать на большой территории, и что множественность фракций и интересов будет служить защитой от тирании большинства.

Конституция была подписана 17 сентября 1787 года. Но сразу после подписания началась ожесточенная борьба между федералистами (поддерживавшими Конституцию) и антифедералистами. Федералисты, в числе которых были Гамильтон, Мэдисон и Джей, опубликовали серию из 85 статей под названием «Записки федералиста», в которых подробно обосновывали положения Конституции, объясняли принципы разделения властей и необходимость сильного центрального правительства. Антифедералисты, среди которых были Патрик Генри, Джордж Мейсон и Ричард Генри Ли, публиковали свои статьи под псевдонимами (например, Брут, Катон), критикуя Конституцию за создание слишком могущественного центрального правительства, которое, по их мнению, угрожало правам штатов и свободам граждан. Главным требованием антифедералистов было включение в Конституцию Билля о правах, перечня неотъемлемых прав граждан, которые не могут быть нарушены федеральным правительством (свобода слова, печати, собраний, право на ношение оружия, защита от необоснованных обысков, право на справедливый суд и другие). Но в 1791 году, после того как первые десять поправок были ратифицированы штатами, опасения антифедералистов были в значительной степени сняты.