中文 定位:PreView 是面向 GUI grounding 的预处理方案,通过裁剪放大与视觉线索增强小控件定位,适合需要从截图理解界面的 Agent 场景。
核心能力
- 先裁剪目标区域再放大,让密集界面中的小控件在输入图像中占据更多像素。
- 用视觉线索标注候选控件位置,把定位问题从全图搜索收窄到局部判断。
- 预处理与模型推理解耦,可套在现有 GUI grounding 流程前,不改模型结构。
适用人群:做 GUI Agent、屏幕理解或多模态定位的研究与工程人员,需具备 Python 环境与多模态模型调用权限。
注意:裁剪会丢失全局上下文,需与全图信息配合使用。
日本語 用途:PreView は GUI grounding 向けの前処理手法で、スクリーンショット内の小さなコントロールを裁剪と拡大で目立たせ、自然言語指示が指す対象を特定しやすくする。
できること
- 対象領域を先に切り出して拡大し、密な画面でも小さなコントロールの画素数を増やす。
- 候補コントロールの位置を視覚キューで示し、全画面探索を局所判断に置き換える。
- 前処理をモデル推論から分離し、既存の GUI grounding パイプラインの前段に差し込める。
利用シーン:GUI Agent や画面理解、マルチモーダル位置特定に取り組む研究・開発者。Python 環境とマルチモーダルモデルの呼び出し権限が必要。
注意:裁剪により全体文脈が失われるため、全体画像との併用が前提。
한국어 용도:PreView는 GUI grounding을 위한 전처리 방식으로, 스크린샷 속 작은 컨트롤을 잘라 확대해 자연어 지시가 가리키는 대상을 찾기 쉽게 만든다.
할 수 있는 것
- 대상 영역을 먼저 잘라 확대해 복잡한 화면에서도 작은 컨트롤의 픽셀 비중을 높인다.
- 후보 컨트롤 위치를 시각 단서로 표시해 전체 화면 탐색을 국소 판단으로 좁힌다.
- 전처리를 모델 추론과 분리해 기존 GUI grounding 파이프라인 앞단에 붙일 수 있다.
적용 상황:GUI Agent, 화면 이해, 멀티모달 위치 찾기를 다루는 연구·개발자. Python 환경과 멀티모달 모델 호출 권한이 필요하다.
주의:자르기 과정에서 전체 맥락이 줄어들 수 있어 전체 이미지 정보와 함께 써야 한다.
English What it is: PreView is a preprocessing approach for GUI grounding that crops and enlarges local regions and adds visual cues, helping locate small controls in cluttered screenshots.
Key capabilities
- Crops the target region before enlargement so small controls take up more pixels in the model input.
- Marks candidate control positions with visual cues, narrowing full-screen search to local judgment.
- Keeps preprocessing separate from inference, so it can sit in front of an existing GUI grounding pipeline.
Who it is for: Researchers and engineers working on GUI agents, screen understanding, or multimodal localization, with a Python environment and access to a multimodal model.
Caveats: Cropping removes global context, so results should be combined with full-screen information.