هوش مصنوعی مولد را درست بفهم

مدل ذهنی درست از مدل زبانی: پیش‌بینی توکن، کانتکست، هزینه، الگوهای خطا و انتخاب آگاهانه مدل و ارائه‌دهنده.

آنچه یاد می‌گیری

  • توضیح رفتار مدل زبانی با مفاهیم پیش‌بینی توکن، دانش آموخته‌شده و کانتکست
  • اندازه‌گیری توکن و برآورد هزینه یک کار تکراری، با توجه به متن فارسی
  • تشخیص هفت الگوی رایج خطا و اجرای سه آزمون سریع پیش از اتکا به خروجی
  • انتخاب مدل و ارائه‌دهنده با فیلترهای قانونی و داده، و ارزیابی کوچک روی کار خود

پیش‌نیاز

    ابزارها

    • دفترچه آزمایش (صفحه‌گسترده یا فایل متنی)
    • صفحه‌گسترده
    • یک مسیر اجرای مشروع

    شروع و مدل ذهنی

    موقعیت (ساختگی): یک آموزشگاه زبان می‌خواهد پاسخ اولیه به پیام‌های ثبت‌نام را با کمک مدل زبانی آماده کند. روزی حدود ۱۲۰ پیام فارسی می‌رسد. آموزشگاه یک متن «قواعد ثبت‌نام» دو صفحه‌ای دارد. گفتگوها به‌طور میانگین چهار نوبت دارند. سه بخش تحویل بده: ۱) از کجا می‌آید؟ برای سه نوع پرسش رایج (شهریه دوره، تاریخ شروع ترم، «کدام سطح برای من مناسب است؟») بنویس پاسخ باید از دانش مدل بیاید یا از کانتکست، و اگر از کانتکست، چه متنی باید آنجا باشد. ۲) چقدر هزینه دارد؟ با یک نمونه پیام واقعی‌نما، توکن‌های ورودی (دستور، قواعد، تاریخچه، پیام) و خروجی را با مسیر اجرای خودت اندازه بگیر و هزینه یا زمان ماهانه را حساب کن. یک راه کاهش هم پیشنهاد بده. ۳) با چه مسیری؟ مسیر اجرای مناسب این آموزشگاه را با دو دلیل انتخاب کن (یکی درباره داده متقاضیان).

    • پاسخ‌های وابسته به داده آموزشگاه (شهریه، تاریخ) را از کانتکست می‌داند و متن لازم را مشخص می‌کند (2)
    • برای پرسش «کدام سطح» محدودیت را می‌بیند (نیاز به آزمون تعیین سطح یا قاعده آموزشگاه، نه حدس مدل) (1)
    • اندازه‌گیری توکن واقعی است و تاریخچه چهارنوبتی در ورودی آمده (2)
    • ورودی و خروجی با نرخ جدا حساب شده‌اند و عدد ماهانه درست است (2)
    • راه کاهش، ریسک کیفیت خودش را دارد (1)
    • انتخاب مسیر اجرا مشروع است و به داده شخصی متقاضیان توجه دارد (2)

    محدودیت‌ها و انتخاب آگاهانه

    موقعیت (ساختگی): یک دفتر خدمات مالیاتی کوچک می‌خواهد از مدل زبانی برای دو کار استفاده کند: (الف) پیش‌نویس پاسخ به پرسش‌های عمومی مشتریان درباره مدارک لازم، بر پایه یک راهنمای داخلی ده‌صفحه‌ای؛ (ب) خلاصه پرونده هر مشتری برای کارشناس، که شامل اطلاعات مالی شخصی است. دو بخش تحویل بده: ۱) پروتکل بررسی برای هر دو کار: سطح ریسک، دو الگوی شکست محتمل، آزمون‌ها و مسئول تأیید. ۲) کارت تصمیم برای هر دو کار: نیازها، فیلترهای سخت برای دو گزینه (یکی میزبانی‌شده و یکی محلی)، و انتخاب با برنامه خروج. فرض کن ارزیابی شش‌موردی روی کار (الف) نشان داده گزینه میزبانی‌شده ۱۰ از ۱۲ و گزینه محلی ۷ از ۱۲ گرفته، و گزینه محلی یک خطای جدی داشته است.

    • کار (ب) را پرخطر و کار (الف) را دست‌کم متوسط تشخیص می‌دهد (2)
    • برای (الف) گم‌شدن در میانه راهنمای ده‌صفحه‌ای یا پرکردن جای خالی را می‌بیند و نقل‌قول مستقیم می‌خواهد (2)
    • برای (ب) داده مالی شخصی را فیلتر سخت می‌داند و بررسی انسانی کامل را الزامی می‌کند (2)
    • فیلترهای سخت دو گزینه را با منبع و تاریخ بررسی می‌کند (2)
    • در انتخاب (الف)، خطای جدی گزینه محلی را مهم‌تر از اختلاف امتیاز می‌بیند، یا انتخاب ترکیبی مستدل می‌کند (1)
    • برنامه خروج سه‌بندی دارد (1)

    آزمون عبور از دوره

    یک کار تکراری فارسی‌زبان از کار خودت (یا موقعیت ساختگی «پاسخ به پیام مشتریان یک فروشگاه با ۲۰۰ پیام در روز») را انتخاب کن و در حدود ۴۵ دقیقه این سه خروجی را تحویل بده: ۱) برآورد هزینه یا زمان ماهانه با توکن ورودی و خروجی اندازه‌گیری‌شده، تاریخچه گفتگو، و قیمت ورودی و خروجی جدا؛ ۲) یک پروتکل بررسی با سطح ریسک، دو الگوی شکست محتمل و آزمون‌های لازم؛ ۳) یک کارت تصمیم مدل با فیلترهای سخت (منطقه و شرایط، سیاست داده، مجوز) و نتیجه ارزیابی دست‌کم شش‌موردی.

    • برآورد، توکن را اندازه‌گیری کرده (نه با قاعده انگلیسی) و تاریخچه و نرخ جدای خروجی را دارد.
    • پروتکل بررسی با سطح ریسک سازگار است و برای هر الگوی شکست، آزمون مناسب دارد.
    • کارت تصمیم برای هر گزینه منبع فیلترهای سخت را با تاریخ آورده است.
    • ارزیابی دست‌کم یک مورد لبه و تعریف خطای جدی دارد.
    • هیچ بخش از کار به دورزدن محدودیت منطقه‌ای یا شرایط استفاده تکیه ندارد.