Basicamente, quando um moderador está envolvido, dependendo do caso, quem arbitra o caso será um outro moderador, eis um exemplo recente (e diga-se de passagem, na minha opinião, o moderador envolvido agiu de forma correta). Os moderadores do SOpt são (em ordem alfabética) o bfavaretto, o bigown, o Math, o rray, o Sergio e o utluiz.
Dependendo da complexidade do caso, ele pode ser escalado para os "Community Managers" (CM) que são funcionários assalariados da Stack Exchange que tem a finalidade de gerenciar e cuidar das comunidades, inclusive dos moderadores. Aqui no SOpt temos o Gabe com essa função. Se por algum motivo, o Gabe estiver envolvido ou não puder lidar com a situação e os moderadores regulares também não, talvez o JNat, que também é CM e também fala português, possa resolver. Se a situação extrapolar tudo isso, aí vai ter que ser escalado aos CMs gringos. A lista completa e atualizada dos "Community Managers" pode ser encontrada aqui.
No último dos últimos casos, quando todos os moderadores estiverem envolvidos ou não puderem atuar e uma boa parte dos CMs estiverem na mesma situação, a situação pode chegar até a diretoria do Stack Exchange, onde há o JaydlesJaydles e o Joel SpolskyJoel Spolsky. Deve haver outros na diretoria da SE, mas não sei ao certo.
Quanto mais, casos onde a coisa foge totalmente do controle e acabam saindo das mãos dos moderadores são bastante raros, e a maior parte deles ocorrem nos bastidores sem o conhecimento do público em geral.
O único caso que sei aqui no SOpt que virou uma batata quente nas mãos dos CMs foi o da proposta do SUpt, mas esse teve uma participação mínima dos então moderadores, e escalou por outros motivos.
Em outros sites da rede, só conheço quatro casos graves (e bem graves) envolvendo moderadores: dois deles no site de ficção científica e fantasia, onde no primeiro, um moderador foi destituído e no segundo, um moderador renunciou e abandonou o site e um outro ex-moderador também apagou a sua conta; Um outro no site de engenharia elétrica em que um moderador renunciou e suspendeu a si mesmo; e no puzzling, onde ocorreu um escândalo em que todos os moderadores estavam envolvidos, vários CMs acabaram por ter que se envolver também e o caso chegou na diretoria da SE. O bigown também citou um quinto caso de um moderador da comunidade de engenharia de software que desistiu e sua conta hoje está deletada. Espero nunca ter casos cabeludos e complicados como esses por aqui.
Quanto a democracia, eu diria que o SOpt é significativamente democrático. Entretanto, não se engane achando que é uma democracia absoluta, pois não é. Em 99% das vezes, tudo ocorre de forma democrática. Mas nesse 1%, se a Stack Exchange decidir por tomar alguma decisão de forma unilateral, eles vão tomar, estejam eles corretos ou não. Eles podem e vão ouvir a comunidade, mas não vão se submeter ou concordar com ela sempre.