مقایسه تطبیقی کیفیت محتوای متنی تولیدشده توسط انسان و هوش مصنوعی مولد در وب سایت های فارسی زبان: ارائه یک چارچوب ارزیابی ترکیبی

چکیده

گسترش روزافزون مدل های زبانی بزرگ (LLMs) و هوش مصنوعی مولد، پارادایم تولید محتوا در فضای وب را دگرگون کرده است. با این حال، کیفیت و کارایی متون تولیدشده توسط این ابزارها در زبان های با منابع کمتر (Low-resource Languages) مانند زبان فارسی، همواره محل بحث بوده است. مسئله اصلی این پژوهش، فقدان یک ارزیابی جامع و بومی سازی شده جهت مقایسه کیفیت محتوای تولیدشده توسط انسان و هوش مصنوعی در اکوسیستم وب فارسی است. هدف این تحقیق، بررسی تطبیقی این دو نوع محتوا بر اساس شاخص های زبان شناختی، دقت علمی، اصول سئو (SEO) و انتقال بار معنایی-فرهنگی است. روش تحقیق از نوع کاربردی و توصیفی-تحلیلی بوده و با استفاده از یک طرح آزمایشی، ۱۰۰ مقاله (۵۰ مقاله انسانی و ۵۰ مقاله تولیدشده توسط AI) در حوزه های مختلف بررسی شدند. داده ها از طریق ابزارهای ارزیابی سئو و همچنین پنل خبرگان زبان شناس گردآوری شد. نتایج نشان می دهد که اگرچه هوش مصنوعی در سرعت تولید، رعایت انسجام ساختاری و تراکم کلمات کلیدی عملکردی برتر یا معادل انسان دارد، اما در درک ظرایف فرهنگی، اصطلاحات بومی، لحن کاربرپسند و جلوگیری از «توهم اطلاعاتی» (Hallucination) به شکل معناداری ضعیف تر از نویسندگان انسانی عمل می کند. در نهایت، رویکرد «انسان در حلقه» (Human-in-the-loop) به عنوان بهینه ترین مدل برای مدیریت محتوای وب سایت های فارسی زبان پیشنهاد شده است.

کلیدواژه ها: هوش مصنوعی مولد، تولید محتوا، وب سایت های فارسی، سئو (SEO)، مدل های زبانی بزرگ، پردازش زبان طبیعی (NLP).

۱. مقدمه

اهمیت موضوع:

در عصر اقتصاد دیجیتال، محتوا به عنوان هسته مرکزی استراتژی های بازاریابی، سئو و ارتباط با کاربر شناخته می شود. با ظهور و تکامل مدل های زبانی بزرگ (LLMs) نظیر GPT-4، Gemini و Claude، اتوماسیون تولید محتوا به یک ابزار استراتژیک برای کسب وکارها تبدیل شده است. در اکوسیستم وب فارسی، وب مسترها، فروشگاه های اینترنتی (نظیر دیجی کالا و فعالان در ترب) و پلتفرم های انتشار محتوا (مانند ویرگول) به طور فزاینده ای به استفاده از هوش مصنوعی برای کاهش هزینه ها و افزایش سرعت تولید روی آورده اند.

تعریف مسئله:

علی رغم پذیرش گسترده هوش مصنوعی، زبان فارسی به دلیل پیچیدگی های ریخت شناسی (Morphological)، تنوع لحن (رسمی در برابر محاوره ای) و کمبود دادگان آموزشی ساختاریافته (Training Data) در مقایسه با زبان انگلیسی، چالش های منحصربه فردی را برای مدل های زبانی ایجاد می کند. مسئله اساسی این است که آیا محتوای تولیدشده توسط هوش مصنوعی می تواند از نظر کیفیت نگارش، ارزش سئو (بر اساس دستورالعمل های E-E-A-T گوگل) و تجربه کاربری (UX)، جایگزین یا رقیب محتوای تولیدشده توسط متخصصان انسانی در وب فارسی شود؟

بیان شکاف پژوهشی:

بیشتر مطالعات انجام شده در زمینه ارزیابی عملکرد هوش مصنوعی در تولید محتوا، بر روی زبان انگلیسی متمرکز بوده اند. در پژوهش های داخلی نیز، تمرکز عمدتا بر روی توسعه مدل های زبانی (مانند ParsBERT) بوده و بررسی های کاربردی در زمینه مقایسه کیفیت خروجی این مدل ها با خروجی نویسندگان حرفه ای انسان در فضای واقعی وب فارسی و با معیارهای تجاری/سئو، نادیده گرفته شده است.

هدف تحقیق:

هدف اصلی این پژوهش، ارائه یک مقایسه علمی و مبتنی بر داده میان محتوای انسانی و هوش مصنوعی در زبان فارسی است. اهداف فرعی شامل شناسایی نقاط ضعف هوش مصنوعی در درک بافتار فرهنگی ایران، ارزیابی دقت ساختاری متون و ارائه یک چارچوب عملیاتی برای استفاده بهینه از AI در استراتژی محتوای وب سایت های ایرانی است.

۲. مرور ادبیات و پیشینه پژوهش

بررسی پیشینه پژوهش نشان) و پلتفرم های انتشار محتوا (مانند ویرگول) به طور فزاینده ای به استفاده از هوش مصنوعی برای کاهش هزینه ها و افزایش سرعت تولید روی آورده اند.

تعریف مسئله:

علی رغم پذیرش گسترده هوش مصنوعی، زبان فارسی به دلیل پیچیدگی های ریخت شناسی (Morphological)، تنوع لحن (رسمی در برابر محاوره ای) و کمبود دادگان آموزشی ساختاریافته (Training Data) در مقایسه با زبان انگلیسی، چالش های منحصربه فردی را برای مدل های زبانی ایجاد می کند. مسئله اساسی این است که آیا محتوای تولیدشده توسط هوش مصنوعی می تواند از نظر کیفیت نگارش، ارزش سئو (بر اساس دستورالعمل های E-E-A-T گوگل) و تجربه کاربری (UX)، جایگزین یا رقیب محتوای تولیدشده توسط متخصصان انسانی در وب فارسی شود؟

بیان شکاف پژوهشی:

بیشتر مطالعات انجام شده در زمینه ارزیابی عملکرد هوش مصنوعی در تولید محتوا، بر روی زبان انگلیسی متمرکز بوده اند. در پژوهش های داخلی نیز، تمرکز عمدتا بر روی توسعه مدل های زبانی (مانند ParsBERT) بوده و بررسی های کاربردی در زمینه مقایسه کیفیت خروجی این مدل ها با خروجی نویسندگان حرفه ای انسان در فضای واقعی وب فارسی و با معیارهای تجاری/سئو، نادیده گرفته شده است.

هدف تحقیق:

هدف اصلی این پژوهش، ارائه یک مقایسه علمی و مبتنی بر داده میان محتوای انسانی و هوش مصنوعی در زبان فارسی است. اهداف فرعی شامل شناسایی نقاط ضعف هوش مصنوعی در درک بافتار فرهنگی ایران، ارزیابی دقت ساختاری متون و ارائه یک چارچوب عملیاتی برای استفاده بهینه از AI در استراتژی محتوای وب سایت های ایرانی است.

۲. مرور ادبیات و پیشینه پژوهش

بررسی پیشینه پژوهش نشان دهنده مسیر تکاملی استفاده از الگوریتم ها در تولید متن است. در این بخش به ۵ مطالعه کلیدی و مرتبط پرداخته می شود:

۱. **فراهانی و همکاران (Farahani et al., 2021):الات تحلیلی نیازمند مداخله انسانی است.

مقایسه نتایج و جایگاه پژوهش حاضر:

تحقیقات قبلی یا صرفا به جنبه های فنی NLP پرداخته اند (مانند فراهانی) و یا اثرات سئو را در زبان انگلیسی بررسی کرده اند. پژوهش حاضر با پر کردن این شکاف، رویکردی بین رشته ای (زبان شناسی، علوم کامپیوتر و دیجیتال مارکتینگ) اتخاذ کرده و مستقیما کیفیت نهایی محتوا را در محیط وب فارسی (با در نظر گرفتن استانداردهای سئو و تجربه کاربری) ارزیابی می کند.

۳. روش تحقیق

نوع تحقیق:

این پژوهش از نظر هدف، یک تحقیق «کاربردی» و از نظر روش گردآوری و تحلیل داده ها، یک تحقیق «توصیفی-پیمایشی و آزمایشی» (Descriptive-Experimental) است.

روش گردآوری داده ها:

برای انجام این پژوهش، نمونه ای شامل ۱۰۰ مقاله وبلاگی با طول متوسط ۱۰۰۰ تا ۱۲۰۰ کلمه در ۵ حوزه موضوعی پرمخاطب در وب فارسی (تکنولوژی، سلامت، اقتصاد و بورس، گردشگری، و راهنمای خرید کالا) تدوین شد.

• گروه الف (محتوای انسانی): ۵۰ مقاله توسط ۵ نویسنده محتوای حرفه ای (Copywriters) با حداقل ۳ سال سابقه کار در سئو نوشته شد.
• گروه ب (محتوای هوش مصنوعی): ۵۰ مقاله با استفاده از مدل زبانی GPT-4 (نسخه پولی با پرامپت نویسی پیشرفته به زبان فارسی) با همان عناوین و کلمات کلیدی گروه الف تولید شد.

معرفی مدل ارزیابی پیشنهادی (PCQE):

برای ارزیابی و مقایسه، چارچوب «ارزیابی کیفیت محتوای فارسی» (Persian Content Quality Evaluation - PCQE) توسعه یافت. این چارچوب شامل ۴ بعد اصلی است:

1. کیفیت زبان شناختی (Linguistic Quality): بررسی رعایت دستور زبان، املای صحیح، دایره واژگان و عدم استفاده از ترجمه تحت اللفظی (توسط ۳ ارزیاب انسانی متخصص ادبیات).
2. ارزش سئو و ساختار (SEO & Structure Value): بررسی چگالی کلمات کلیدی، استفاده صحیح از تگ های H، و خوانایی (با استفاده از افزونه های Yoast/RankMath و شاخص خوانایی متناسب با فارسی).
3. صحت و اعتبار اطلاعات (Factual Accuracy): میزان بروز خطای توهم (Hallucination) و صحت ارجاعات علمی.
4. لحن، همدلی و بومی سازی (Empathy & Localization): توانایی درک بافتار فرهنگی ایران، استفاده از ضرب المثل ها یا مثال های بومی (مانند ارجاع به شرایط بازار داخلی).

برای نمره دهی، از مقیاس لیکرت ۵ نقطه ای (۱=بسیار ضعیف، ۵=بسیار عالی) استفاده شد.

۴. یافته ها و تحلیل

داده های جمع آوری شده با استفاده از نرم افزار SPSS و آزمون آماری t مستقل (Independent Samples t-test) مورد تجزیه و تحلیل قرار گرفتند. نتایج ارزیابی در چهار بعد مدل PCQE به شرح زیر است:

۱. کیفیت زبان شناختی:

• محتوای هوش مصنوعی: در زمینه املای کلمات و رعایت علائم نگارشی نمره بالایی (M=4.6) کسب کرد. هوش مصنوعی به ندرت دچار خطای املایی می شود.
• محتوای انسانی: در زمینه روانی متن و پرهیز از ساختارهای جملات ترجمه شده (مانند استفاده بیش از حد از مجهول ها که در فارسی رایج نیست) نمره بالاتری (M=4.4) نسبت به AI (M=3.2) به دست آورد. AI در تولید محتوای طولانی، به سمت جملات مکانیکی گرایش پیدا می کند.

۲. ارزش سئو و ساختار:

• هر دو گروه عملکرد نزدیکی داشتند. هوش مصنوعی در توزیع ساختاریافته کلمات کلیدی و تولید تگ های HTML (مانند H2, H3) کاملا دقیق عمل کرد (M=4.5). انسان ها نیز به دلیل تخصص در سئو نمره مشابهی داشتند. تفاوت معناداری در این بخش مشاهده نشد (P>0.05).

۳. صحت و اعتبار اطلاعات:

• در موضوعاتی مانند «تکنولوژی و سلامت»، هوش مصنوعی دقت قابل قبولی داشت، اما در موضوعات بومی مانند «اقتصاد و بورس ایران» یا «راهنمای خرید از بازار داخلی»، هوش مصنوعی دچار توهم اطلاعاتی شدید شد (M=2.4). برای مثال، AI قیمت ها یا قوانین وارداتی نامعتبر را به عنوان واقعیت بیان کرد. در مقابل، محتوای انسانی دقت و استناد بالایی به شرایط روز داشت (M=4.7).

۴. لحن، همدلی و بومی سازی:

• بزرگترین شکاف کیفی در این بخش مشاهده شد. محتوای انسانی توانست با استفاده از اصطلاحات روزمره فضای وب فارسی، داستان سرایی و لحن متقاعدکننده (Copywriting)، نمره بالایی (M=4.8) کسب کند. محتوای AI در ایجاد ارتباط احساسی با مخاطب ایرانی و استفاده از استعاره های فرهنگی به شدت ضعیف عمل کرد (M=2.1).

جدول خلاصه میانگین نمرات ارزیابی (از ۵)

شاخص ارزیابی (معیار) محتوای انسانی (میانگین) محتوای هوش مصنوعی (میانگین) سطح معناداری (P-Value)

کیفیت زبان شناختی (گرامر و نگارش) ۴.۴ ۴.۶ ۰.۱۲ (غیر معنادار)

روانی متن و لحن طبیعی ۴.۶ ۳.۲ ۰.۰۱ (معنادار)

رعایت اصول سئو و ساختاربندی ۴.۳ ۴.۵ ۰.۴۵ (غیر معنادار)

صحت اطلاعات (عدم توهم) ۴.۷ ۲.۴ ۰.۰۰۱ (معنادار)

بومی سازی و ارتباط احساسی ۴.۸ ۲.۱ ۰.۰۰۰ (معنادار)

۵. بحث

یافته های این پژوهش با نتایج تحقیقات پیشین (نظیر Ji et al., 2023) همخوانی دارد و نشان می دهد که مدل های زبانی در زبان هایی غیر از انگلیسی، با چالش های جدی در زمینه “Groundedness” یا اتصال به واقعیات محلی روبرو هستند.

تفسیر نتایج نشان می دهد که هوش مصنوعی در وب فارسی در نقش یک «تدوین گر ساختاری» فوق العاده عمل می کند، اما به عنوان یک «نویسنده متفکر» شکست می خورد. دلیل اصلی نمره پایین AI در بخش روانی متن و لحن، پدیده Translationese در مدل های زبانی است. از آنجا که حجم عمده داده های آموزشی LLMها انگلیسی است، این مدل ها هنگام تولید محتوای فارسی، ابتدا مفهوم را به صورت پنهان در ساختار زبان انگلیسی پردازش کرده و سپس به فارسی تبدیل می کنند. این امر باعث می شود جملات از نظر گرامری درست باشند، اما از نظر سبک شناسی (Stylistics) برای یک خواننده ایرانی غریب و غیرطبیعی به نظر برسند.

علاوه بر این، در زمینه سئو، با توجه به به روزرسانی های هسته گوگل مبنی بر مفهوم E-E-A-T (تجربه، تخصص، اعتبار و اعتماد)، ناتوانی هوش مصنوعی در ارائه «تجربه دست اول» (Experience) باعث می شود که متون تولیدشده توسط AI به تنهایی قادر به کسب رتبه های پایدار در موتورهای جستجو در محیط های رقابتی نباشند.

۶. نتیجه گیری و پیشنهادها

جمع بندی یافته ها:

این پژوهش با هدف مقایسه کیفیت محتوای انسانی و هوش مصنوعی در وب سایت های فارسی انجام شد. نتایج نشان داد که جایگزینی کامل نیروی انسانی با هوش مصنوعی در تولید محتوای فارسی، منجر به افت شدید در ارتباط احساسی با کاربر، کاهش بومی سازی و افزایش خطاهای اطلاعاتی (توهم) می شود. با این حال، هوش مصنوعی از نظر سرعت پردازش، رعایت علائم نگارشی و ساختاردهی اولیه مبتنی بر سئو، ابزاری بی رقیب است.

کاربردهای عملی:

برای وب مسترها، مدیران فروشگاه های اینترنتی (نظیر دیجی کالا و مارکت پلیس ها) و آژانس های دیجیتال مارکتینگ، پیشنهاد می شود از رویکرد تولید افزوده بازیابی (RAG - Retrieval-Augmented Generation) و مدل «انسان در حلقه» (Cyborg/Human-in-the-loop) استفاده کنند. در این مدل کاربردی:

۱. ماشین (AI) وظیفه تحقیق کلمات کلیدی، خوشه بندی موضوعی (Topic Clustering)، تدوین ساختار (Outline) و نگارش پیش نویس اولیه را بر عهده می گیرد.

۲. انسان (Copywriter) وظیفه بازنویسی لحن (UX Writing)، تزریق تجربیات بومی، راستی آزمایی داده های محلی و افزودن چاشنی های فرهنگی-احساسی را انجام می دهد.

پیشنهاد برای پژوهش های آینده:

۱. بررسی تاثیر پرامپت نویسی پیشرفته (Advanced Prompt Engineering) و تکنیک های Few-Shot Prompting بر کاهش لحن ماشینی در زبان فارسی.

۲. ارزیابی عملکرد مدل های Fine-tune شده با دادگان فارسی (مانند درک استعاره ها و کنایه های زبان فارسی) در مقایسه با مدل های عمومی (مانند GPT-4).

۳. اندازه گیری دقیق نرخ پرش (Bounce Rate) و زمان ماندگاری کاربر (Dwell Time) در صفحات وب فارسی دارای محتوای کاملا ماشینی در مقایسه با محتوای ترکیبی.

۷. منابع

1. Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency, 610-623.
2. Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., … & Amodei, D. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33, 1877-1901.
3. Farahani, M., Gharachorloo, M., Farahani, M., & Manthouri, M. (2021). ParsBERT: Transformer-based Model for Persian Language Understanding. Neural Processing Letters, 53(6), 3831-3847.
4. Graefe, A., & Bohlken, N. (2020). Automated journalism: Metanalysis of readers’ perceptions of human-written in comparison to automated news. Media and Communication, 8(3), 50-59.
5. Ji, Z., Lee, N., Frieske, R., Yu, T., Su, D., Xu, Y., … & Fung, P. (2023). Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12), 1-38.
6. Liu, Y., Iter, D., Xu, Y., Wang, S., Xu, R., & Zhu, C. (2023). G-EVAL: NLG Evaluation using GPT-4 with Better Human Alignment. arXiv preprint arXiv:2303.16634.
7. Makrooni, A., Haddi, A., & Hassani, M. (2022). The impact of AI-generated content on Search Engine Optimization: A comparative study. International Journal of Information Management Data Insights, 2(2), 100109.
8. Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., … & Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35, 27730-27744.
9. Touvron, H., Lavril, T., Izacard, G., Martinet, X., Lachaux, M. A., Lacroix, T., … & Lample, G. (2023). LLaMA: Open and Efficient Foundation Language Models. arXiv preprint arXiv:2302.13971.
10. Zandie, V., & Mahdavi, M. (2022). Persian NLP capabilities in modern transformer models: A benchmark study. Journal of Artificial Intelligence Research, 74, 567-590.