Devo preocupar-me com a quantidade de peso que levanto?

Inicialmente, não. O mais importante para um novato é aprender a técnica de cada exercício adequadamente. No entanto, o princípio básico da musculação é o sobrecarregamento progressivo. Deve aumentar o peso (carga) de modo a que o músculo seja forçado a adaptar-se ao aumento de tensão.
"Balançar" e mover os pesos muito rapidamente não manterá a tensão muscular e não provocará o crescimento e esforçará as articulações desnecessariamente. Lembre-se que, para culturistas, a meta não é levantar os pesos. O halterofilismo, para culturistas, é meramente um método de esforçar os músculos. Um culturista deve trabalhar o músculo, ou o grupo muscular, focado em cada exercício, não tente levantar o peso de qualquer forma. Há uma diferença entre levantar um peso e trabalhar um músculo, embora basicamente se baseiam em usar uma forma e técnica adequadas. Por exemplo, se os seus dorsais inferiores encontram-se sob tensão ao fazer curls (de bíceps), você deve considerar prestar mais atenção em trabalhar os bíceps, e não tentar levantar demasiado peso atirando as costas para trás.
Comparar-se a outros culturistas é também desnecessário. Toda a gente começa num nível diferente.