Las actividades políticas de Defoe junto con su activismo panfletista conllevaron su arresto y su exposición a la picota el 31 de julio de 1703, debido principalmente a un panfleto titulado "El Camino más corto con los Disidentes" (en inglés The Shortest Way with Dissenters). En este panfleto parodiaba a los Tories de la Iglesia, aparentando la argumentación sobre el exterminio de los "disidentes". La publicación de su poema "Himno a la Picota" (en inglés Hymn to the Pillory), provocó, sin embargo, que el público congregado alrededor de la propia picota le lanzara flores en lugar de objetos dañinos y nocivos, y que bebiera a su salud.