Si bien en sus primeros años de vida el café fundado por Gumersindo Gómez no pasó de ser un local agradable y de barrio, tras la Guerra Civil Española comenzó a cobrar fama entre los intelectuales de la ciudad, convirtiéndose en un lugar de encuentro indispensable para cualquiera que visitara los círculos culturales de la capital.
Situado en el Paseo de Recoletos, su decoración seguía la de los grandes cafés europeos, con abundante madera, dorados y mesas de mármol. A principios del siglo XX no era raro ver en su terraza o en el local a destacados miembros de la política o la cultura, como José Canalejas, Ramón y Cajal o Ramón del Valle-Inclán.
En 1916, mientras el resto de Europa se veía envuelta en la Gran Guerra, el Café Gijón cambiaba de dueño y comenzaba a ser frecuentado por numerosos exiliados, diplomáticos y espías. Se cuenta que incluso la famosa Mata Hari llegó a visitar el café, aumentando así su fama.

La propiedad del café cambió, pero no su espíritu. Antes de la Guerra Civil eran habituales autores como García Lorca o Jardiel Poncela, pero carecía de la fuerza como para tener su propia tertulia literaria, algo que sí habían logrado otros locales. La época dorada como café literario del Café Gijón surgió con la llegada de Eugenio D’Ors, Poncela, Camilo José Cela o Gerardo Diego, entre otros. Se formaron grupos de novelistas y poetas, algunos de ellos concienciados políticamente, lo que hizo que, de una manera sutil, estas tertulias fueran vigiladas por miembros del régimen franquista.
Esto hizo famoso al café, que pudo, poco a poco, ir haciendo algunas reformas que lo situaron como uno de los lugares más conocidos de la ciudad de Madrid, convirtiéndose en un modelo que intentaron imitar numerosos establecimientos que fueron abriendo en los años 50.

Un punto de inflexión en la fama del Café Gijón fue la creación en 1949 del Premio de Novela Corta Café Gijón, que hizo famoso el local a nivel nacional. Todos los que querían ser alguien en el mundo cultural visitaban sus mesas, y en los años 50 aparecieron autores como Celaya, Caballero Bonald o López Salinas. Las estrellas extranjeras también, siendo sonada la presencia de Truman Capote y muchos actores de Hollywood.
La fuerza del Gijón no decayó, y cada nueva generación de escritores se iba sumando a las tertulias hasta mediados de los años 80, momento en que, de nuevo, hubo que cerrar el local para reformarlo en profundidad. Hoy en día, el Café Gijón se mantiene abierto, aunque el tiempo de las grandes tertulias casi haya desaparecido por completo. Aun así, el Café sigue siendo un lugar dedicado a la cultura y la gastronomía, donde se puede respirar el mismo ambiente que inspiró a cientos de creadores durante más de cien años.