Родился в семье чиновника Павла Алексеевича Ершова (1784—1834). Отец по делам, связанным со службой, часто переезжал. Ершовы пересекали цепь казачьих поселений, посещали места, где были ещё свежи предания о временах Ермака и Пугачёва. В 1824 году родители отправили Петра и его брата Николая в Тобольск учиться. Мальчики жили в купеческой семье Пиленковых — родственников матери, а когда окончили гимназию, отец перевёлся в Петербург, где братья поступили в Петербургский университет. В 1831—1835 годах учился на философско-юридическом отделении Петербургского университета. В студенческие годы Ершов сближается с профессором русской словесности Петром Плетнёвым, знакомится с Василием Жуковским, Александром Пушкиным… На их суд девятнадцатилетний студент отдаёт своё первое крупное произведение — сказку «Конёк-горбунок», прочитав которую Пушкин с похвалою сказал начинающему поэту: «Теперь этот род сочинений можно мне и оставить». Плетнёв во время одной из лекций с университетской кафедры прочитал отрывок из «Конька-горбунка» и представил изумленным слушателям автора чудесной сказки — их сокурсника Петра Ершова, сидевшего в аудитории.

Отрывок из «Конька-горбунка» появился в мае в «Библиотеке для чтения» (1834, т. 3), а в октябре 1834 года сказка Ершова была опубликована отдельным изданием. Успех сопутствовал молодому поэту: в декабре того же года к печати была одобрена первая часть «Сибирского казака», а затем и вторая часть этой «старинной были».

Приближающееся окончание университета было связано у молодого сибиряка с проблемами. Не смог он получить желаемую должность, приходилось расставаться с друзьями, которых у него было немного, порывать с литературной средой. Противоречивые чувства вызывало и прощание с самим Петербургом: многое здесь стало дорогим и слилось с душой поэта, а с другой стороны, Ершова манила к себе Сибирь, которую он называл «северной красавицей», мечтая об исследовании тогда ещё мало изученного края.

Вернувшись на родину летом 1836 года, работал учителем Тобольской гимназии, затем инспектор (с 1844 года) и директор (с 1857) гимназии и дирекции училищ Тобольской губернии. Один из его учеников — будущий химик Дмитрий Иванович Менделеев. Падчерица Ершова стала женой Менделеева.

Был инициатором создания любительского гимназического театра. В театре занимался режиссурой. Написал для театра несколько пьес: «Сельский праздник», «Суворов и станционный смотритель», комическую оперу «Якутские божки», «Черепослов».

Печатал свои стихотворения в Библиотеке для чтения Сенковского и в «Современнике» Плетнёва.

Умер Ершов 18 августа 1869 г. Похоронен в Тобольске на Завальном кладбище.