Имя собственное «Власов»  — это фамилия. Чтобы понять суть правила, представим себе город с таким же именем: город Власов, так мы сможем понять разницу в окончании имён собственных. Итак, фамилия (с кем?) пишется в окончании с гласной «ы»: с Власовым (Петровым, Пушкиным). А не-фамилии будут писаться с буквой «о»: с (чем?) с городом Власовом (Петровом, Пушкином) у меня связано много воспоминаний. Запишем слово правильно в предложение:

Мы с Пашей Власовым прошлым летом вместе отдыхали в лагере.

Ответ: Власовым.