2GPU+2CPU就可以在本地微調自己的DeepSeek 671B / Kimi K2 1TB超大模型了。
這就是前兩天量子位介紹的明星開源項目KTransformers,吸引了很多伙伴的關注。畢竟誰不想在本地跑個自己的貓娘呢(誤)。
KTransformers如何實現更低成本的LoRA微調?與其他技術方案有什么不同?低成本高性能的微調方案對于大模型落地意味著什么?
于是,我們邀請到了KTransformers項目的兩位重要成員——
章明星,清華大學計算機系副教授,KTransformers項目主要指導老師
李沛霖,趨境科技KTransformers項目核心參與者
帶大家上手實踐如何用KTransformers+LLaMA-Factory在本地微調超大模型,也一起聊聊項目背景與最新進展。
歡迎在「量子位」視頻號預約&觀看直播
直播嘉賓
章明星
清華大學計算機系副教授
章明星教授是KTransformers項目主要指導老師。其主要研究方向為計算機系統機構領域,相關成果在包括OSDI、SOSP、ASPLOS、HPCA、FSE、VLDB、ATC、EuroSys等國際頂級會議和期刊上發表論文二十余篇。曾獲ACM SIGSOFT 杰出論文獎,IEEE TCSC、ACM SIGOPS等組織頒發的優秀博士畢業論文獎。獲得國家自然科學基金青年科學基金及博士后基金一等項目資助。博士畢業后進入清華大學與深信服聯合培養的博士后計劃,負責創新業務孵化,擔任深信服首席算法技術專家,后任職創新研究院院長。