1920年8月,在共产国际的帮助下,上海首先建立了党的早期组织。在筹建过程中,的发起人李大钊、陈独秀要在青年中培养和挑选预备党员,发展青年运动。因此,党的早期组织一成立,陈独秀便指派小组内最年轻的成员俞秀松组建社会主义青年团。8月22日,上海社会主义青年团由俞秀松、施存统、袁振英(震赢)、叶天底、金家凤等8人正式发起建立,俞秀松担任书记。团机关就设在当时上海法租界的一个普通民居中--霞飞路渔阳里6号。
为了联系和团结进步青年,这里开办了中国党、团组织的第一所培养青年革命者的学校--外国语学社。除学习外语外,学社还传授马列主义基本知识,组织一些革命活动,并在学社学员中发展青年团员。1921年春,外国语学社先后有20多人分三批赴苏俄学习。后来成为中国第一代领导集体成员的刘少奇、任弼时二人就是从这里踏上革命征程的。