Расставим знаки препинания.
Наедине с тобою, (1) брат, (2)
Хотел бы я побыть:
На свете мало, (3) говорят, (4)
Мне остаётся жить!
Поедешь скоро ты домой:
Смотри ж... Да что? моей судьбой, (5)
Сказать по правде, (6) очень
Никто не озабочен.
Запятые 1 и 2 выделяют обращение; запятые 3 и 4, 5 и 6 выделяют вводные.

Глагол «говорят» не является сказуемым. Без запятых вышло бы: На свете мало говорят Мне остаётся жить! И где тут смысл? Глагол играет роль вводного слова.

Ответ: 123456.