Magic Pointer گوگل؛ وقتی ماوس شروع به فهمیدن می‌کند

نشانگر ماوس سال‌هاست تقریباً بدون تغییر باقی مانده؛ ابزاری ساده برای کلیک‌کردن، انتخاب متن یا بازکردن فایل‌ها. اما گوگل حالا می‌خواهد همین ابزار قدیمی را وارد دنیای هوش مصنوعی کند.

قابلیتی به نام Magic Pointer گوگل در حال توسعه است که با کمک تیم DeepMind ساخته شده و هدفش این است که کامپیوتر فقط محل اشاره کاربر را نبیند، بلکه بفهمد چرا آن نقطه برای کاربر اهمیت دارد.

به بیان ساده‌تر، نشانگر ماوس دیگر صرفاً یک فلش روی صفحه نیست؛ بلکه تبدیل می‌شود به راهی برای انتقال نیت کاربر به سیستم.

Magic Pointer گوگل دقیقاً چیست؟

Magic Pointer سیستمی مبتنی بر هوش مصنوعی است که موقعیت نشانگر را با تحلیل محتوای بصری و زمینه صفحه ترکیب می‌کند. یعنی وقتی کاربر روی بخشی از صفحه مکث می‌کند، سیستم سعی می‌کند متوجه شود آن عنصر چه چیزی است و کاربر احتمالاً چه کاری می‌خواهد انجام دهد.

این پروژه با همکاری تیم Google DeepMind توسعه داده شده؛ همان تیمی که بسیاری از پروژه‌های پیشرفته هوش مصنوعی گوگل را هدایت می‌کند.

تفاوت اصلی این فناوری با تعاملات سنتی این است که کاربر دیگر مجبور نیست همه چیز را در قالب دستورهای متنی دقیق توضیح دهد. گاهی فقط اشاره‌کردن کافی است.

چرا گوگل به سراغ چنین ایده‌ای رفته است؟

ابزارهای هوش مصنوعی قدرتمند شده‌اند، اما هنوز یک مشکل کوچک دارند: کاربران باید دقیقاً بدانند چه چیزی را چطور درخواست کنند.

گوگل می‌خواهد این فاصله را کوتاه کند. اگر سیستم بتواند از طریق اشاره‌گر، تصویر صفحه و حتی فرمان صوتی، زمینه را درک کند، درخواست‌ها می‌توانند بسیار کوتاه‌تر و طبیعی‌تر شوند.

این رویکرد درواقع بخشی از تلاش گسترده‌تر گوگل برای ادغام عمیق AI در مرورگر و سیستم‌عامل است. مثلاً اخیراً قابلیت‌هایی معرفی شده که به جمنای اجازه می‌دهد کارهای مرور وب را هم انجام دهد. اگر آن خبر را ندیده‌اید، در مقاله Auto Browse در کروم اندروید؛ جمنای حالا به‌جای شما وب‌گردی می‌کند دقیق‌تر توضیح داده‌ایم که این قابلیت چگونه تجربه جستجو را تغییر می‌دهد.

نمونه‌هایی از کاربرد Magic Pointer

خلاصه‌سازی سریع فایل‌های PDF

فرض کنید یک فایل PDF طولانی دارید و باید نکات اصلی آن را در یک ایمیل ارسال کنید. در نسخه نمایشی گوگل، کاربر فقط نشانگر را روی فایل نگه می‌دارد و از سیستم می‌خواهد یک خلاصه بولت‌پوینتی آماده کند.

هوش مصنوعی محتوا را تحلیل می‌کند و نتیجه را طوری آماده می‌کند که مستقیم در ایمیل یا گزارش قابل استفاده باشد.

تبدیل جدول داده به نمودار

در مثال دیگری، کاربر نشانگر را روی یک جدول آماری نگه می‌دارد و از سیستم می‌خواهد آن را به نمودار دایره‌ای تبدیل کند. سیستم ابتدا ساختار داده را تشخیص می‌دهد و سپس نمودار مناسب می‌سازد.

اگر چنین چیزی در ابزارهای اداری و مرورگرها جا بیفتد، احتمالاً بسیاری از مراحل کارهای تحلیلی کوتاه‌تر می‌شوند.

ویرایش سریع دستور پخت

در یکی از دموهای ساده‌تر، کاربر روی یک دستور پخت غذا اشاره می‌کند و از سیستم می‌خواهد مقدار مواد اولیه را دو برابر کند. هوش مصنوعی متن دستور را تحلیل می‌کند و همه مقادیر را به‌طور خودکار تغییر می‌دهد.

این شاید یک مثال کوچک باشد، اما دقیقاً همان نوع استفاده‌ای است که در زندگی روزمره زیاد اتفاق می‌افتد.

تشخیص مکان داخل ویدیو

یکی از جذاب‌ترین نمایش‌ها مربوط به یک ویدیوی سفر بود. کاربر ویدیو را متوقف می‌کند و نشانگر را روی رستورانی که در تصویر دیده می‌شود قرار می‌دهد. سیستم مکان را شناسایی می‌کند و لینک رزرو آن را نمایش می‌دهد.

این قابلیت ترکیبی از تحلیل تصویر، جستجوی آنلاین و درک زمینه است؛ چیزی که گوگل طی سال‌های اخیر روی آن سرمایه‌گذاری زیادی کرده است.

ارتباط Magic Pointer با Gemini و کروم

گوگل اعلام کرده که این نوع تعامل قرار است وارد مرورگر Chrome هم شود. کاربران می‌توانند روی بخش خاصی از یک صفحه وب اشاره کنند و مستقیماً درباره همان قسمت از Gemini سؤال بپرسند.

به‌جای اینکه متن را کپی کنند یا توضیح بدهند «منظورم این بخش از صفحه است»، سیستم خودش می‌فهمد دقیقاً کدام قسمت مدنظر کاربر است.

جزئیات بیشتری از توسعه فناوری‌های هوش مصنوعی گوگل را می‌توان در بخش رسمی AI در بلاگ گوگل هم دنبال کرد؛ جایی که گوگل مرتب درباره پروژه‌های جدیدش توضیح می‌دهد.

چالش‌هایی که این فناوری با آن روبه‌روست

با وجود جذاب بودن ایده، اجرای دقیق آن کار ساده‌ای نیست. سیستم باید هم محتوای صفحه را بفهمد، هم رفتار کاربر را تفسیر کند و هم پاسخ درستی ارائه دهد.

اگر تشخیص نیت کاربر اشتباه باشد، تجربه استفاده خیلی سریع آزاردهنده می‌شود. مخصوصاً در محیط‌های کاری که کاربران انتظار دقت بالا دارند.

به همین دلیل احتمالاً مدتی طول می‌کشد تا چنین قابلیتی به‌طور گسترده وارد محصولات مصرفی شود.

سوالات متداول

Magic Pointer گوگل چیست؟

قابلیتی مبتنی بر هوش مصنوعی است که علاوه بر موقعیت نشانگر ماوس، زمینه اطراف آن را تحلیل می‌کند تا نیاز کاربر را بهتر درک کند.

آیا Magic Pointer فقط در گوگل‌بوک ارائه می‌شود؟

فعلاً گوگل این فناوری را در ارتباط با لپ‌تاپ‌های گوگل‌بوک و مرورگر Chrome معرفی کرده، اما احتمال دارد در آینده به محصولات دیگر هم برسد.

Magic Pointer چه ارتباطی با Gemini دارد؟

Gemini مدل هوش مصنوعی گوگل است و Magic Pointer راهی برای تعامل طبیعی‌تر با این مدل از طریق اشاره‌گر و محیط صفحه محسوب می‌شود.

جمع‌بندی

Magic Pointer شاید در ظاهر فقط یک تغییر در رفتار نشانگر ماوس باشد، اما پشت آن ایده مهمی قرار دارد: اینکه کامپیوتر بتواند نیت کاربر را از روی رفتار او بفهمد، نه فقط از روی دستورهای متنی.

اگر این فناوری به‌درستی پیاده‌سازی شود، احتمالاً در آینده تعامل با کامپیوترها بیشتر شبیه اشاره‌کردن و صحبت‌کردن خواهد بود تا تایپ‌کردن دستورهای طولانی.