县城不允许随意建房的原因是多方面的，主要包括以下几点：
土地管理法律法规及政策限制
县城的土地主要分为集体土地和国有土地。如果是集体土地，建房需要符合土地管理法律法规及政策，否则是不被允许的。
即使是国有土地，建房也需要通过政府出让取得土地使用权。
人口支撑问题
县城的人口规模相对较小，无法支撑过多的高层住宅。随着大量人口外出打工，县城的人口数量进一步减少，导致住房供过于求。
经济因素
高层住宅的建造成本较高，而县城的土地相对便宜，因此盖高楼并不划算。此外，县城的土地资源相对充足，盖高楼的经济效益不高。
市场供需关系
根据一些统计数据，县城的住房空置率较高，说明存在住房过剩的现象。如果继续大量盖房，市场需求可能会进一步减少。
开发商资金管理能力
很多在县城盖楼的开发商规模较小，资金管理能力一般，一旦资金链断裂，可能导致烂尾现象，给业主带来严重损失。
环保和可持续发展
在当前背景下，政府加强对乡村和城乡结合部区域的土地利用计划管理和控制，出台相关法规限制乱占耕地、野蛮集约开发等行为，以确保可持续使用土地并防止过度利用或破坏环境。
政策导向
某些政策可能鼓励人们去城里买房，从而减轻县城的住房压力。例如，通过贷款买房将人们绑定在城市，使其长期为银行打工。
综上所述，县城不允许随意建房的原因是多方面的，涉及土地管理、人口支撑、经济因素、市场供需、开发商资金管理能力、环保和可持续发展以及政策导向等多个层面。这些因素共同作用，使得县城的建房活动受到严格限制。
