Родился 3 (15) января 1891 года в Варшаве, в семье купца первой гильдии еврейского происхождения. В 1897 Мандельштамы переехали в Петербург, где Осип получил образование. Вначале он окончил Тенишевское училище, затем был отправлен на учебу в Сорбонну. Там познакомился с основоположником акмеизма Гумилевым и увлекся французской литературой, особенно поэзией.

К 1911 году семья Осипа была разорена и более не могла оплачивать его обучение за границей. Вернувшись в Петербург, он получил квоту на поступление в университет, но учился безалаберно, так и не окончив историко-филологический факультет.

Первая публикация поэта состоялась в 1910 году в журнале «Аполлон», где были напечатаны пять его стихотворений. В 1912 году он познакомился с А. А. Блоком и вступил в кружок акмеистов. Дебютная книга стихов Мандельштама под названием «Камень» издавалась трижды. Первое издание относится к 1913 году. Ранние стихи поэта наполнены тревогой за судьбу человека. Осип входит в группу «акмеистов», дружит с Гумилевым и Ахматовой, близко сходится с Мариной Цветаевой.

С началом мировой войны поэт стремится на фронт, но по состоянию здоровья не подлежит призыву. Не удается поступить даже санитаром Красного Креста. Октябрьская революция им была встречена с воодушевлением. Мандельштам работает в системе Наркомата просвещения, много ездит. Впечатления времен империалистической войны и двух русских революций легли в основу сборника «Tristia», который выходил отдельными частями в Берлине и Харькове. Личная жизнь поэта, после разрыва с Цветаевой налаживалась. В 1922 году он женился на Надежде Хазиной (сразу же влюбившись в актрису Арбенину). Именно благодаря Хазиной сохранились многие стихи Осипа Эмильевича.

С 1925 по 1930 год поэт не писал стихов. Он сочинял детские книги, занимался переводами, литературоведением. Отношения с властью становились все более напряженными. Написанная им эпиграмма на Сталина и его окружение становится причиной ареста. Но приговор неожиданно мягок – ссылка.

Послереволюционное творчество поэта затрагивало тему неустроенности быта, постоянные поиски заработка, отсутствие читательской аудитории, и было пронизано чувством потерянности и страха. Его трагические предчувствия отразились в сборнике «Стихотворения» (1928), ставшем его последним изданием при жизни.

В 1930 году, по ходатайству Н. И. Бухарина, Мандельштам был отправлен в командировку на Кавказ, вернувшись из которой, он снова приступил к написанию стихов. Несмотря на то, что его писательский дар достиг расцвета, его нигде не печатали. А в связи с публикацией его работы «Путешествие в Армению» (1933) в некоторых газетах появились разгромные статьи. Тогда же он написал антисталинскую эпиграмму, после чего в мае 1934 года поэта арестовали и сослали в Чердынь.

В ссылке Мандельштам попытался покончить с собой, выбросившись из окна. Поэт выжил, а его супруга, заручившись поддержкой Бухарина и самого Сталина, добилась для него привилегии самостоятельного выбора места ссылки. Мандельштам выбрал Воронеж, где они с женой жили в нищете и одиночестве, так как почти все друзья отвернулись от поэта. Там он пишет цикл стихотворений, ставший вершиной его творчества.

В 1937 году, с окончанием срока ссылки, чета возвращается в Москву. Через год Осип Эмильевич был вновь арестован за «похабные и клеветнические» эпиграммы. На этот раз его отправили по этапу на Дальний Восток. Скончался писатель в декабре 1938 года от тифа в пересыльном лагере на Второй речке (сейчас окрестности Владивостока). Место захоронения поэта неизвестно.

Знатоки творчества Мандельштама считают, что он каким-то образом предвидел свою трагическую судьбу, о чем упоминал во многих своих стихах.

Произведение ставшее причиной ареста. Посвящено И.В. Сталину:

Мы живем под собою не чуя страны,..

Мы живем под собою не чуя страны,
Наши речи за десять шагов не слышны,
А где хватит на полразговорца, -
Там помянут кремлевского горца.
Его толстые пальцы, как черви, жирны,
И слова, как пудовые гири, верны,
Тараканьи смеются усища,
И сияют его голенища.
А вокруг него сброд тонкошеих вождей,
Он играет услугами полулюдей.
Кто свистит, кто мяучит, кто хнычет,
Он один лишь бабачит и тычет.
Как подкову, дарит за указом указ --
Кому в пах, кому в лоб, кому в бровь, кому в глаз.
Что ни казнь у него -- то малина
И широкая грудь осетина.