1980年初，当17岁的陈小军在共和公社农村信用社，为三五十元的农业贷款收不回来而苦恼不已时，他一定没有意识到，这是他银行家生涯的开始。
1988年初，一张报纸上报道了温州农民成立信用社的消息，读完之后，“我也可以做”的念头便缠住了陈小军。只是，四处询问之后，答复让人沮丧：温州是国家特批的，路桥不行。
但陈小军的沮丧没有持续太久，转机来自街头的一次偶然碰面。1988年初的一个下午，有人从车上向路边的陈小军打招呼，请他晚上到家里来一趟，“有好消息”。打招呼的是黄岩县人行副行长蔡明亮，当晚，陈小军从他那儿得知，上面出了政策，允许在路桥开办城市信用社。
为了快一些成立，陈小军选择了金融服务社的形式，1988年6月6日，银座金融服务社在路桥的一间临街小屋挂牌。到年底，银座存款有170多万元，利润有1万多元，活下来的信心开始有了。
1995年开始，陈小军专注于内部制度重建，到1997年，决策体系、实施体系、监督体系分离，客户经理制、绩效考核制等现代银行制度基本成型，“到1995年我们才开始成为真正的银行，这之前，我们就是大钱庄。”陈小军坦言。
此时外部环境却发生着显著变化，1995年国家开始清理整顿城市信用社，“到1997年，许多信用社被撤销、合并，随时有可能调整到我们，我们的危机感很强，” 但与当初一样，陈选择了走下去——不忍让一个好好的银行毁在自己手里，不能做违背职业道德的事情。
命运的转折点出现在2000年。那一年上半年，上海人行某官员在温州开会，陈小军赶去，请他考虑由银座全部承担其他信用社的不良资产，并提出政府不相对控股的城市商业银行组建方案。对方没有完全回绝，使陈小军感到一线希望。
下半年，上海人行领导到台州，准备决定城市信用社的改制方案。“当天中午，市长在会见人行领导前给我半个小时的时间，问我能不能接下其他几家城市信用社的不良资产。当时我预计不良资产顶多一个多亿，而银座的年利润已经有5000万，最多两年时间就能把不良资产消化掉。我毫不犹豫地保证，我能接下来。”谈话实际只有20分钟，在这个20分钟里，陈小军掌握了自己的命运。