A cidade era composta por duas fortalezas construídas em argila. Embora a maior parte tenha desabado, ainda é possível observar os trechos leste e norte da fortaleza norte. A parte remanescente tem quatro metros de altura por dois metros de espessura. Os pequenos furos com que a fortaleza é pontilhada supostamente serviam para observação do exterior desde o interior. Na fortaleza norte estava um grande templo circundado por leões. As ruínas de Baibalik ficam a 14 km do centro de Khutagöndör. O sítio é protegido pelo Estado como patrimônio histórico desde 1998.

Como muitos vestígios na Mongólia, as ruínas de Baibalik são simultaneamente as de uma fortaleza xiongnu e as de uma importante cidade uigur. Os mongóis tinham o hábito de reutilizar antigas fortalezas, razão pela qual é difícil desenterrar vestígios exclusivamente xiongnu. No sum de Saikhan, província de Bulgan, encontra-se uma inscrição relativa à fundação de Baibalik gravada em uma estela e atribuída ao rei uigur Myunchur. Na 44ª linha, está efetivamente indicado:

Os historiadores acreditam, portanto, que a cidade foi construída pelo Rei Myunchur e numerosos mercadores tadjiques e chineses, assim como pregadores maniqueístas, se cruzaram ali. Cidade próspera, era considerada um centro cultural na Ásia Central.

A cidade foi destruída pelos quirguizes em 840. Todos os livros de sutras foram então queimados.