是否可以凭借失业证到新单位办理入职手续？

我去年离职，然后到社区办理了失业证和个人缴纳社保事宜，后来去一家单位上班，向对方提供了原单位的`离职证明。但是一直没办理转为单位缴纳社保，还是个人交。现在，我想去新的一家公司，但是，上一家公司以各种理由推脱不愿意给我办理离职证明，我想问一下：我是否可以凭借失业证到新单位办理入职手续？就是按照先前是失业状态办理，省去了要求上一家单位开具离职证明的麻烦。请明白的人士指点，不胜感激！