Кілька жителів півдня виступили проти цього, побоюючись дисбалансу вільних і рабських держав у разі анексії Канади. Антикатолицизм також змусив багатьох виступати проти анексії переважно католицької Нижньої Канади, вважаючи її франкомовних жителів непридатними «для республіканського громадянства».
І британські, і американські лідери справедливо вважали, що підтримка франко-канадців визначить володіння Канадою, оскільки було надто мало англо-канадців, щоб утримати територію, і надто мало американських солдатів, щоб захопити її.
Анексія ніколи не була дуже популярним вибором. Багато канадців були лояльними до Корони та Великої Британії, особливо нащадки лоялістів Об’єднаної імперії. Французькі канадці хвилювалися тим, що вони є ще меншою меншістю у більшому союзі, і були стурбовані американським антикатолицизмом.
Таким чином, Квебек мав п’ять причин залишатися лояльним: щедрий Квебекський акт, нездатність американців взяти Квебек військовим шляхом, опозиція Квебеку Новій Англії, відсутність традиції самоврядування та розмивання лояльності до Франції.
Фінансовий прибуток Британії від її канадських інвестицій зменшувався, і здавалося, що майбутнє принесе лише додаткові витрати та ризики. Маючи подібні настрої в Індії, Австралії та інших країнах, Британія не бачила переваг у продовженні повного панування над Канадою.
США вторглися в Канаду дві війни: Вторгнення до Канади (1775), Війна за незалежність США. Вторгнення в Канаду (1812), війна 1812 року.