في الحديث عن تاريخ نشأة الاتحاد كان المجمع العلمي العربي بدمشق أول مجمع علمي عربي أسس عام 1919م، ثم أنشأت مصر مجمع اللغة العربية بالقاهرة عام 1932م، وتبعها العراق بإنشاء المجمع العلمي العراقي عام 1947، وقد قامت هذه المجامع الثلاثة تؤدي مهامها في العناية باللغة العربية والعمل على تطويرها، وتتابع جهودها في وضع المصطلحات التي تقابل المستحدثات العصرية، كي تظل العربية مواكبة لركب الحضارة، كما قدمت هذه المجامع دراساتها وأبحاثها في تطوير اللغة العربية وإيجاد الوسائل التي تساعد على تنميتها وتيسير تعلُّمها.

وإزاء هذه المطالب فكر عدد من العلماء العرب في ضرورة إقامة تعاون بين المجامع الثلاثة لتنسيق جهودها في العمل على ترقية اللغة والمحافظة على سلامتها، مع مسايرتها للحياة.

وقد أشار إلى ذلك الدكتور إبراهيم مدكور رئيس الاتحاد الأسبق في كلمته الافتتاحية لنشرة اتحاد المجامع اللغوية العلمية العربية في خمس عشرة سنة حين قال: ترجع فكرة اتحاد المجامع اللغوية العلمية العربية إلى العقد الرابع من القرن الماضي.

فقد دعت إليها الإدارة العامة للثقافة بالجامعة العربية في لقاء نُظِّم بدمشق، ولكنها لم توضع موضع التنفيذ إلا في أوائل العقد الثامن. وبدأ الاتحاد عام واحد وسبعين وتسع مئة وألف حياته في نشاط كان القائمون عليه يودون أن ينمو ويمتد على مر الزمن. ولكن لظروف خارجة عن إرادة المجمعيين، اعترضت سير الاتحاد في أداء مهمته، فلم يعقد في الخمس عشرة سنة الأولى إلا خمسة لقاءات تتابعت بعدها الاجتماعات بواقع اجتماع كل عام تقريبًا.

وقد تألَّف الاتحاد عند إنشائه من:

• مجمع اللغة العربية بدمشق
• المجمع العلمي العراقي في بغداد
• مجمع اللغة العربية بالقاهرة

وكان أول من انضم إلى هذه الكوكبة مجمع اللغة العربية الأردني بعد تأسيسه عام 1976 حيث أصبح عضوا في العام التالي 1977.

وقد انضم لهذه الكوكبة مجمع اللغة العربية بالشارقة الذي تم تأسيسه بمرسوم أميري رقم (96) لسنة 2016م أصدره صاحب السمو الشيخ الدكتور سلطان بن محمد القاسمي عضو المجلس الأعلى حاكم الشارقة، ووضع رؤيته بأن يكون منارة أكاديميّة لغويّة تهدفُ للتّمكين للغة العربيّة، وتوثيق أواصر التّعاون العلمي والمعرفي بين المجامع اللغويّة والعلميّة في العالمين العربي والإسلامي.