A princípio tive alguns problemas, pois a forma com que eu a instalava era um pouco diferente da atual. Mas após uns cinco minutos de busca, encontrei a melhor forma, após isso apenas executei os seguintes passos, e já comecei a usar.
Tudo foi executado com a ferramenta de instalação RVM (Ruby Version Manager).
Primeiro instalei a ferramenta e a linguagem com o comando:
curl -sSL https://get.rvm.io | bash -s stable --ruby
E em seguida atualize as variáveis de ambiente para carregar os pacotes recém-instalados.
source /home/username/.rvm/scripts/rvm
Depois de executar esses dois passos simples, apenas comecei a utilizar o que eu queria.
OBS: Em alguns casos será preciso instalar alguns pacotes do Linux, mas basta utilizar as ferramentas de instalação padrão da distribuição utilizada para instalar as dependências.