هوش مصنوعی چندوجهی در ۲۰۲۶: وقتی مدل ها هم می بینند، هم می شنوند

چند سال پیش، گفت وگو با هوش مصنوعی یعنی نوشتن یک متن و گرفتن یک متن در جواب. امروز همان گفت وگو می تواند با یک عکس، یک فایل صوتی یا یک ویدئو شروع شود. مدل های چندوجهی (Multimodal) یاد گرفته اند که دنیا را نه فقط از راه کلمات، بلکه از راه تصویر، صدا و ویدئو هم بفهمند. اما «چندوجهی» یک برچسب واحد نیست؛ هر مدل، ترکیب متفاوتی از رسانه ها را می فهمد و تولید می کند. این یادداشت، بر پایه مستندات رسمی مدل های پیشرو در سال ۲۰۲۶، تصویری دقیق از این وضعیت می دهد.

چندوجهی یعنی چه؟

مدل چندوجهی مدلی است که دست کم دو نوع ورودی یا خروجی متفاوت را با هم ترکیب می کند: متن، تصویر، صوت، ویدئو یا سند. نکته ای که خیلی ها از آن غافل می شوند این است که «چندوجهی بودن» به این معنا نیست که هر مدل همه رسانه ها را هم دریافت می کند و هم تولید می کند. یک مدل ممکن است تصویر را بفهمد اما نتواند تصویر بسازد، یا صوت را بشنود اما فقط با متن جواب بدهد. پس پیش از انتخاب مدل، باید قابلیت دقیق همان نقطه پایانی (endpoint) و همان شناسه مدل را بررسی کرد؛ نام خانواده مدل به تنهایی مشخصات کافی نیست.

مدل های پیشرو در ۲۰۲۶ چه می کنند؟

خانواده GPT-5 از OpenAI ورودی متن و تصویر را می گیرد و خروجی متنی می دهد؛ همین ترکیب در مستندات GPT-5 و GPT-5.4 آمده است. صوت و ویدئو، ورودی بومی این نقاط پایانی نیستند و OpenAI برای صوت بلادرنگ، مدل های جداگانه دارد. بد نیست بدانیم که GPT-5 با شناسه gpt-5-2025-08-07 منسوخ شده و GPT-5.4 با شناسه gpt-5.4-2026-03-05 جای آن را گرفته است؛ یعنی حتی در دل یک خانواده، نسخه ها با هم فرق می کنند و باید دقیقا دانست با کدام نسخه کار می کنیم.

گوگل Gemini از نظر گستره ورودی، کامل ترین گزینه هاست: متن، تصویر، صوت، ویدئو و سند را درک می کند. پرسش درباره یک ویدئو می تواند جریان دیداری و شنیداری را با هم ترکیب کند و به زمان دقیق (timestamp) یک صحنه ارجاع دهد. قابلیت های صوتی آن شامل رونویسی، ترجمه، خلاصه سازی و تفکیک گویندگان است. تعامل بلادرنگ از Live API انجام می شود و تولید ویدئو هم ابزار جداگانه ای دارد؛ برای نمونه Veo 3.1 ویدئوی هشت ثانیه ای با کیفیت 720p ،1080p یا 4K تولید می کند.

مدل های Claude از Anthropic ورودی متن و تصویر دارند و خروجی متنی می دهند و پردازش PDF هم پشتیبانی می شود؛ اما ورودی بومی صوت یا ویدئو برای API استاندارد Messages مستند نشده است. پس اگر کاری به صوت یا ویدئو نیاز دارد، Claude گزینه مناسبی نیست، ولی برای تحلیل تصویر و سند، انتخاب قدرتمندی است.

در دنیای متن باز هم حرکت جدی دیده می شود. Qwen3-VL خانواده ای متن باز و قابل دانلود از مدل های بینایی-زبان است که در چند اندازه عرضه می شود و برای استقرار شخصی و کنترل کامل روی وزن های مدل مناسب است. Qwen3-Omni یک گام جلوتر می رود: ورودی متن، تصویر، صوت و ویدئو را می گیرد و خروجی متن و گفتار می دهد و نسخه های عمومی آن با مجوز Apache 2.0 منتشر شده اند. این یعنی توسعه دهنده ای که به حریم خصوصی یا استقرار داخلی اهمیت می دهد، دیگر مجبور نیست همه کارها را به سرویس های ابری بسپارد.

سه کاربرد واقعی که همین امروز کار می کنند

۱. آموزش: تصور کنید دانش آموزی نمودار کتاب درسی را عکس می گیرد و مدل آن را قدم به قدم توضیح می دهد؛ یا سخنرانی یک استاد خلاصه می شود و هر نکته به اسلاید یا دقیقه مشخصی از ویدئو ارجاع داده می شود. رونویسی و ترجمه مطالب گفتاری هم یادگیری زبان را از حالت صرفا متنی بیرون آورده است. برای یک معلم زبان، این یعنی تمرین شنیداری و گفتاری می تواند با بازخورد فوری همراه شود.

۲. برنامه نویسی: برنامه نویس از رابط کاربری اسکرین شات می گیرد و مدل، کد آن را پیاده می کند؛ تصویر خطا را کنار لاگ و کد می گذارد تا ریشه مشکل سریع تر پیدا شود؛ یا ضبط صفحه را تحلیل می کند وقتی باگ به توالی کلیک ها و تعامل ها وابسته است. GPT-5-Codex به طور مشخص ورودی تصویر را با کدنویسی عامل محور ترکیب می کند؛ یعنی مدل نه فقط کد می نویسد، بلکه تصویر را هم می بیند و بر اساس آن عمل می کند.

۳. دسترس پذیری: توصیف تصویر، نمودار و اسکرین شات برای کسی که نمی بیند؛ رونویسی یا ترجمه گفتار؛ پاسخ گفتاری؛ و پاسخ به پرسش درباره یک ضبط صوتی یا ویدئویی بدون اینکه لازم باشد کل آن را تماشا کرد یا گوش داد. این ها کاربردهایی هستند که فناوری را برای همه در دسترس تر می کنند، نه فقط برای متخصصان.

محدودیت هایی که باید جدی گرفت

نخست، درک دیداری می تواند با اطمینان اشتباه باشد. مستندات Claude هشدار می دهد که در تصاویر بی کیفیت، چرخیده یا خیلی کوچک، خطا و توهم بیشتر می شود و مختصات اعلام شده تقریبی است. پس جواب مدل درباره یک تصویر را، به ویژه وقتی تصمیم مهمی بر آن استوار است، باید با چشم خودمان هم بررسی کنیم.

دوم، پشتیبانی از ویدئو به معنای بررسی تک تک لحظه ها نیست. پردازش پیش فرض Gemini ویدئو را با نرخ یک فریم در ثانیه نمونه برداری می کند؛ پس رویدادی که فقط چند صدم ثانیه طول می کشد، ممکن است از قلم بیفتد و برای چنین مواردی تنظیمات دیگری لازم است.

سوم، وضوح تصویر با هزینه بده بستان دارد. تصاویر به توکن های دیداری تبدیل می شوند و ورودی های بزرگ تر ممکن است کوچک شوند یا هزینه بیشتری ببرند. پس ارسال عکس با بالاترین وضوح همیشه بهترین انتخاب نیست؛ وضوح کافی، به علاوه برش دقیق ناحیه مهم، معمولا نتیجه بهتری می دهد.

چهارم، همان طور که گفته شد، قابلیت رسانه ای بر حسب نقطه پایانی و نحوه استقرار متفاوت است. مدلی که در چت بات شرکت سازنده ویدئو می فهمد، ممکن است در API همان شرکت این قابلیت را نداشته باشد. پس پیش از ساختن یک محصول روی یک مدل، مستندات همان نسخه و همان نقطه پایانی را بخوانید.

چطور هوشمندانه از مدل های چندوجهی استفاده کنیم؟

- کار را با رسانه مناسب شروع کنید: اگر مسئله دیداری است، تصویر بدهید؛ اگر گفتاری است، صوت. متن به تنهایی همیشه بهترین ورودی نیست.
- تصویر را تمیز بدهید: نور کافی، بدون چرخش، و با برش روی ناحیه مهم. هرچه ورودی تمیزتر باشد، جواب دقیق تر است.
- از مدل بخواهید به منبع ارجاع دهد: مثلا «کدام دقیقه ویدئو؟» یا «کدام بخش تصویر؟»؛ این کار توهم را کمتر می کند.
- نتیجه را راستی آزمایی کنید: به ویژه در عددها، مختصات و نقل قول از تصویر یا ویدئو، جواب مدل را با منبع اصلی بسنجید.
- هزینه را در نظر بگیرید: ویدئو و تصویر با وضوح بالا توکن بیشتری مصرف می کنند؛ برای کارهای روزمره، وضوح متوسط کافی است.

جمع بندی

هوش مصنوعی چندوجهی در ۲۰۲۶ از مرحله نمایشی گذشته و به ابزار کاری روزمره تبدیل شده است: Gemini گستره وسیعی از رسانه ها را می فهمد، GPT-5 و Claude در ترکیب متن و تصویر قدرتمندند، و مدل های متن بازی مثل Qwen3-Omni امکان استقرار شخصی را فراهم کرده اند. اما قدرت واقعی این مدل ها وقتی آشکار می شود که بدانیم هر کدام دقیقا چه می توانند و چه نمی توانند؛ مدلی که همه چیز می فهمد هنوز ساخته نشده است. کسی که رسانه درست را به مدل درست بدهد و جوابش را هم با دقت بسنجد، امروز می تواند کاری کند که تا چند سال پیش فقط در فیلم های علمی-تخیلی دیده می شد: با ماشینی حرف بزند که هم می بیند، هم می شنود و هم می فهمد.

منابع: مستندات رسمی OpenAI برای GPT-5 و GPT-5.4، مستندات Anthropic، مستندات Google AI for Developers درباره درک ویدئو، صوت و سند، و مخزن GitHub و مقاله Qwen3-Omni (یافته ها از طریق Perplexity بررسی شده اند).