Issu du deuxième album de Madness, Baggy Trousers traite avec nostalgie des bons souvenirs des jours d'école en se remémorant tout ce que les enfants font à l'école, y compris les mauvais comportements. Les paroles rappellent la vie dans une école polyvalente et se concentrent particulièrement sur le manque de discipline et sur les enfants (et les enseignants) qui enfreignent les règles.
La chanson était une réponse au succès de Pink Floyd Another Brick in the Wall et voulait s'éloigner de leur vision paranoïaque pour décrire une réalité scolaire plus insouciante. Selon Suggs, le chanteur de Madness, qui a co-écrit Baggy Trousers en se basant sur ses propres années d'école c'était le plus souvent les enfants qui donnaient du fil à retordre aux enseignants de sa propre école, et de ce fait il a entrepris de rétablir l'équilibre avec une approche plus amusante.
Coté anecdote : A noter la petite inspiration pour l'intro d'un titre des Lord Rockingham's XI, Hoots Mon.