История представляет собой рассказ обитателя дома престарелых «Джорджия Пайнз» — Пола Эджкомба своей приятельнице Элейн Коннелли.

1935 год. Пол Эджкомб работает главным надзирателем в блоке «Е» федеральной тюрьмы «Холодная гора», штат Луизиана, где содержат заключённых, ожидающих смертной казни на электрическом стуле. Осуждённых провожают в последний путь по «Зелёной миле» — коридору блока, пол которого выкрашен в светло-зелёный цвет. Пол болен циститом.

Среди прочих надзирателей в блоке «Е» выделяется трусливый и подлый Перси Уэтмор. Жестоко издеваясь над заключёнными, Перси уверен в своей вседозволенности, поскольку является племянником жены губернатора штата. Устав от бесконечных выходок и жестокости Перси, Эджкомб и его коллеги заключают с ним договор — ему разрешат провести казнь заключённого, но после этого он должен написать заявление о своём переводе в психиатрическую лечебницу Брайр-Ридж на административную должность.

Однажды в блок привозят безобидного и добродушного афроамериканца-гиганта Джона Коффи. Суд приговорил Коффи к смерти за изнасилование и убийство двух маленьких девочек: его арестовали рядом с их безжизненными телами. В том же блоке находятся и другие смертники — индеец Арлен «Вождь» Биттербак и француз Эдуард Делакруа, приручивший сообразительного мышонка, которому он дал прозвище «Мистер Джинглс» и обучил разным трюкам. Позже в блок переводят убийцу и грабителя Уильяма «Дикого Билла» Уортона, известного своей непредсказуемостью и признанного вменяемым, несмотря на его постановочную драку с четырьмя надзирателями.

Тем временем оказывается, что Джон Коффи наделён сверхъестественными способностями — с помощью наложения рук он исцеляет Эджкомба от цистита, что налаживает половую жизнь последнего, а затем возвращает к жизни Мистера Джинглса, которого растоптал Перси в отместку Делакруа. С этого момента Эджкомб, который и до того сомневался в виновности Коффи, понимает, что такой мягкий и добрый человек не может быть убийцей.

Во время проведения казни Делакруа садист Перси специально не мочит в солёной воде губку, накладываемую на голову осуждённого для лучшей проводимости тока, из-за чего Делакруа умирает в страшных мучениях. Один из надзирателей, возмущенный таким садизмом, разбивает Перси лицо. Эджкомб заявляет, что не станет больше покрывать Перси, несмотря на все связи последнего…