KVM上で動かすNTPサーバは下手に設定すると安定しない

CentOS6 の KVM 上で VyOS1.0.4 を動かして、その上で NTP サーバを有効にして…
その NTP サーバを LAN 内マシンが参照して同期をとるって環境作ってたんだけど、
不安定でした。 offset は大きいわ jitter 荒れてで、毎日 QNAP の NAS が

 Level:  Error
 Failed to synchronize the time from NTP server.

とエラー通知を上げてくる始末。

LAN内機（含むホスト機） NTP -> VM上のVyOS NTP -> NICT NTP な参照関係にしてたけれど、VMのクロックはホスト機が与えてるわけで、循環参照みたいになってそりゃ安定しない罠。

LAN内機 -> VM上のVyOS NTP -> ホスト機 NTP -> NICT NTP

という形で物理マシンの同期を確実にしてやればほぼ安定しましたとさ。