Para começar, é necessário um editor de texto e o compilador de ponei.
Ou se estiver numa plataforma não suportada ou não quiser instalar o compilador, pode utilizar o Pony's Playground.

Embora se possa escrever código usando qualquer editor de texto, é bom usar um com algum suporte para a linguagem.

O compilador O Pony é uma linguagem compilada, e não interpretada. Na realidade, vai ainda mais longe: Pony é uma linguagem compilada antecipadamente (AOT), em vez de uma linguagem compilada just-in-time (JIT).

O que isto significa é que, uma vez construído o seu programa, pode executá-lo repetidamente sem precisar de um compilador ou de uma máquina virtual, ou de qualquer outra coisa. É um programa completo, tudo por si só.

Mas também significa que precisa de construir o seu programa antes de poder executá-lo. Numa linguagem interpretada ou numa linguagem compilada JIT, tende-se a fazer coisas como esta para executar o seu programa:
$ python helloworld.py

Ou talvez coloque um shebang no seu programa (como #!/usr/bin/env python), depois chmod para definir a parte executável, e depois faça:
$ ./helloworld.py.