سیدعبدالکریم موسوی اردبیلی ۸ بهمن ۱۳۰۴ هجری شمسی  در شهر اردبیل، در خانواده‏‌ای روحانی متولد شد. پدرشان از روحانیون محترم بودند که به جهت مخالفت با سیاستهای ضد مذهبی رضاشاه، سال‌ها زیر فشار مامورین حکومتی به سر برده و از جمله حدود سه سال در منزل خود به صورت محبوس زندگی می‌کردند.

    ایشان تحصیلات خود را تحت نظر پدر آغاز نمودند و تا سن ۱۸ سالگی در زادگاه خود ادبیات فارسی، ریاضیات، مقدمات و بخشی از دروس سطح حوزوی را فراگرفتند.

    در سال ۱۳۲۲ به قم مهاجرت کردند و در حوزه علمیه به تحصیل مشغول شدند و باقی دروس سطح را نزد اساتیدی چون حضرات آیات گلپایگانی، سید احمد خوانساری، میرزا مهدی مازندرانی و سلطانی فرا گرفتند و سپس در دروس خارج فقه و اصول حضرات آیات  بروجردی، سید محمد داماد و حجت کوه‌کمری حاضر شدند و همزمان، به تدریس دروس سطوح عالی پرداختند. در سال ۱۳۲۴ برای استفاده از حوزه علمیه نجف اشرف، به عراق عزیمت کردند و در آن شهر به مدت دو سال در دروس حضرات آیات عظام خویی و حکیم و شیرازی حاضر شدند.

    در سال ۱۳۲۷ به جهت بیماری پدر به ایران مراجعت کرده و در حوزه علمیه قم تحصیلات خود را ادامه دادند. در سال ۱۳۳۹ در پی ابتلا به بیماری سختی، ناچار به اردبیل مراجعت کرده و در آن شهر به تدریس و تربیت طلّاب و انجام فعّالیت‌های اجتماعی پرداختند.

    آیت الله موسوی اردبیلی از اوان جوانی به همراه تحصیلات حوزوی خود، مجدّانه در فعّالیت‌های اجتماعی و سیاسی شرکت می‌کردند. خطابه‌های پرشور او در مساجد شهرهای مختلف از جمله ارومیه، همدان، اردبیل، بابل، بندر انزلی در طول سال‌های دهه‌های ۲۰ و ۳۰ در ایجاد تحرّکات سیاسی و اجتماعی آن شهرها، تاثیر بسیاری برجای گذاشت.

    پس از بازگشت به اردبیل این مجاهدات شکل جدّی‌تری به خود گرفت به طوری که او به عنوان کانون تحرکات ضدحکومتی در اردبیل و آذربایجان شناخته شده و از سوی سازمان امنیت رژیم شاه تحت تعقیب قرار گرفت. به این ترتیب مجبور به خروج از اردبیل و مهاجرت به تهران شدند. از هنگام مهاجرت به تهران در سال ۱۳۴۷ تا پیروزی انقلاب اسلامی ایران در سال ۱۳۵۷، او در کنار تلاش‌های علمی خود، با تاسیس و اداره مراکزی چون موسسه مکتب امیرالمومنین(ع)، کانون توحید و مدارس مفید، به تربیت جوانان و دانشجویان مسلمان پرداخته و ضمن آشنا کردن آنان با مبانی اسلامی، در کنار سایر همرزمان خویش، از جمله آیت الله شهید مطهری و آیت الله شهید بهشتی، بذر انقلاب را در دل جوانان مسلمان کاشته و کادرهای اجرایی آینده انقلاب را تربیت کردند. بسیاری از آن جوانان، پس از پیروزی انقلاب اسلامی عهده‌دار مسؤولیت‌های مهمّی از جمله وزارت، نمایندگی مجلس، استانداری یا سفارت شدند و نقش چشمگیری در اداره کشور ایفا کردند.

    با اوج‌گیری انقلاب اسلامی و مهاجرت امام خمینی (ره) به پاریس در سال ۱۳۵۷، شورای انقلاب اسلامی تشکیل شد و ۵ نفر از مهم‌ترین شخصیت‌های انقلابی، از جمله آیت الله موسوی اردبیلی، از سوی امام به عضویت این شورا منصوب شدند. این شورا رهبری انقلاب اسلامی را تا پیروزی آن و همچنین اداره کشور را تا استقرار نهادهای برخاسته از قانون اساسی به عهده گرفت.

    امام خمینی (ره) نخست آیت الله موسوی اردبیلی را به دادستانی کل کشور و پس از شهادت آیت الله بهشتی، به ریاست دیوان عالی کشور منصوب کردند.

به این ترتیب تا چند ماه پس از وفات امام خمینی(ره) در سال ۱۳۶۸ ریاست قوه قضاییه ایران را بر عهده داشتند. از مهم‌ترین اقدامات وی در این مدت، تجدید نظر و بازنویسی قوانین قضایی ایران و تطبیق آن با فقه شیعه بود. از جمله سایر سمت‌های وی در این سال‌ها می‌توان به عضویت در نهادهای مهمی چون مجلس خبرگان قانون اساسی، شورای بازنگری قانون اساسی، مجلس خبرگان رهبری، شورای عالی انقلاب فرهنگی و هیات امنای فرهنگستان علوم اشاره کرد.