阿伦·艾弗森小时候最爱的运动是橄榄球，他认为打篮球的人“太软”。高中时期艾弗森在球场上能打多个，从跑卫到四分卫都很擅长，此外，他的偶像是小熊队的传奇跑卫沃尔特·佩顿，最喜欢的球队是达拉斯牛仔。
1993年，17岁的艾弗森与一群黑人同学卷入与一群白人同学的斗殴中。艾弗森事后被用椅子一名白人女孩，并被判15年。1995年，艾弗森在里呆了4个月后因不足被判无罪，但从贝塞尔高中转学到理查德·米尔本高中，一所专门给问题少年准备的学校。的是，2003年贝塞尔高中退役了艾弗森的球衣。
艾弗森期间，母亲安·艾弗森拜访了乔治城大学主帅约翰·汤普森。汤普森事后说，安是他唯一帮助艾弗森的原因。不过，汤普森是一位相当严厉的主帅，在他手下效力的球员一般必须打满四年才能离校，艾弗森是史上首位在汤普森手下提前参选NBA的球员，并且这一决定得到了的支持。