丈夫借给妻子的钱离婚时可以要回。离婚时，男方可以收集借条、转账记录等证据，准备起诉状和相关证件材料到法院提起诉讼，要求女方返还借款，有约定利息的，返还利息。根据《民法典》第六百七十五条的规定，借款人应当按照约定的期限返还借款。对借款期限没有约定或者约定不明确，依据本法第五百一十条的规定仍不能确定的，借款人可以随时返还；贷款人可以催告借款人在合理期限内返还。