На самом деле ключ даст много чего, например можно спуффить ип/uuid и обходить авторизацию, подключаясь к backend серверам, подключив свой velocity.
Но почти все сервера защищены Фаерволом. При грамотной настройке, например UFW и самих VDS, никто посторонний не сможет критично навредить даже зная Ключ.