塔利班掌握政权后曾邀请卡尔扎伊担任阿富汗驻联合国代表，卡尔扎伊对此婉言谢绝。卡尔扎伊性情温和，喜欢思考，对宗教、妇女和社会问题都持温和的观点，他支持妇女的权利，反对宗教极端政策，因而和塔利班政权格格不入。
大约在1998年前后，卡尔扎伊在奎达遇到了他未来的妻子吉娜特，不久便结婚了。
1999年，卡尔扎伊的父亲在奎达市被塔利班及其外国支持者暗杀。父亲的死促使他加入了反塔利班的行动。
“9．11” 事件前，卡尔扎伊主要在阿富汗的邻国进行一些外围活动。“9．11”事件后，他秘密返回阿富汗，在阿南部坎大哈省集结反塔武装，成为普什图族伯帕扎伊部落的领袖。他领导的武装力量曾攻占坎大哈邻近的乌鲁兹甘省特林图特地区。与此同时，他通过游说活动获得了国内外的信任。