W procesie tworzenia tego systemu należy wskazać najpierw na problem tzw. upadłych chrześcijan. Chodzi o tych, którzy wyparli się wiary w Chrystusa podczas prześladowań wszczynanych przez władzę cesarską, a następnie pragnęli powrócić do Kościoła. Problem ten z całą ostrością nastąpił za panowania Decjusza, podczas prześladowania w latach 250-251. Po jego zakończeniu niektórzy z odstępców pragnęli powrotu do życia w Kościele, ale bez poddania się wymaganej pokucie lub uciekając się do form zastępczych. Taką formą były tzw. listy pokoju, czyli listy polecające wystawiane upadłym przez wyznawców, to znaczy tych, którzy podczas prześladowań wytrwali w wierze. Dochodziło przy tym do różnych nadużyć. Ważną postacią okazał się w tamtym trudnym dla Kościoła czasie św. Cyprian, biskup Kartaginy, późniejszy męczennik. Bronił on zasady, że to biskup otrzymał władzę pojednania grzeszników i nakazał, aby upadli pragnący ponownego przyjęcia do Kościoła odbywali należytą pokutę w zależności od ciężkości przewinienia. Postanowienia te zostały potwierdzone na synodzie kartagińskim w 251 r. oraz przez inne Kościoły, w tym również przez Rzym. Byli również i tacy (w Afryce Północnej i w Rzymie) którzy uważali, że w Kościele świętym nie ma miejsca dla odstępców od wiary i dlatego nie można im udzielić daru przebaczenia grzechów. Takie radykalne postawy wobec pokuty doprowadziły do powstania wspólnot poza Kościołem katolickim, jak chociażby w Rzymie z antypapieżem Nowacjanem na czele.

Kontrowersja związana z upadłymi uruchomiła proces krystalizacji systemu pokutnego. Chociaż najważniejsze zasady zostały wypracowane w związku z grzechem odstępstwa od wiary, to były one stosowane także w przypadkach innych ciężkich grzechów skutkujących wyłączeniem z Kościoła. W IV wieku mamy do czynienia z okresem rozkwitu pokuty kanonicznej, czyli opartej na kościelnych normach prawnych wyrażonych w kanonach synodalnych i soborowych, na którą składały się trzy istotne momenty: wejście do stanu pokutników, okres pokuty i pojednanie. Była to wówczas normalna droga pojednania grzesznika z Bogiem i Kościołem.

Decyzja dopuszczenia do stanu pokutników była podejmowana przez biskupa. W przypadku grzechów powszechnie znanych lub zadenuncjowanych sam biskup występował z inicjatywą poddania grzesznika pokucie, natomiast gdy grzechy nie były znane publicznie, wejście do stanu pokutników miało miejsce po wyznaniu win przed biskupem. On musiał najpierw rozeznać, czy w danej sytuacji istnieje możliwość odbycia pokuty, a jeśli tak, to zdecydować o jej sposobie i długości. Wejście w okres pokuty było związane z obrzędem liturgicznym, na który składało się publiczne uznanie się penitenta za grzesznika, nałożenie rąk przez biskupa i wyłączenie ze wspólnoty Kościoła, a dokładniej z prawa przyjmowania Komunii św. (ekskomunika). Lokalnie penitenci przywdziewali włosiennicę, w której chodzili przez cały okres pokuty. Od VI wieku obrzęd przyjęcia do stanu pokutników w liturgii rzymskiej odbywał się w środę przed I Niedzielą Wielkiego Postu. Za czasem dołączyło doń posypanie głów popiołem.

Wyróżniano cztery klasy pokutników, w zależności od ich sposobu uczestnictwa w Eucharystii: „płaczący” – stojący przy wejściu do kościoła i prosili wchodzących o modlitwę; „słuchający” – uczestniczyli w samej liturgii słowa; „klęczący” – podczas liturgii eucharystycznej klęczeli i „stojący” – uczestniczyli w liturgii w postawie stojącej. Penitent podczas trwania pokuty był zobowiązany do wypełniania dzieł pokutnych o charakterze ogólnym (modlitwa, post, jałmużna), rytualnym (modlitwa w postawie klęczącej; grzebanie zmarłych) i dyscyplinarnym (w przypadku mężczyzn dożywotni zakaz przyjmowania święceń). Pokutnicy byli otoczeni nieustanną modlitwą Kościoła.

Zwieńczeniem drogi pokutnej było pojednanie. Miało ono charakter publiczny i liturgiczny. Jego istotnym znakiem było nałożenie rąk biskupa połączone z modlitwą za penitenta. Odtąd mógł on przyjmować Eucharystię. W Rzymie ustalonym dniem pojednania pokutników stał się Wielki Czwartek. Dzięki temu mogli przeżywać uroczystości paschalne w pełnej jedności z Kościołem. Osoba, której życie było zagrożone, otrzymywała pojednanie bez oczekiwania na ten dzień. Z czasem ustabilizował się obrzęd pojednania i został umieszczony w księgach liturgicznych, podobnie jak obrzęd wejścia do stanu pokutników.