extractTextWithAI

Trích xuất dữ liệu có cấu trúc từ màn hình bằng khả năng thị giác của AI.

Thử nghiệm, cần AI CLI

Command này dùng mô hình AI nên cần một AI CLI được cấu hình trong Settings → AI. Xem Trợ lý AI. AI có thể trả lời khác nhau giữa các run.

Command extractTextWithAI dùng mô hình AI đọc một đoạn text từ màn hình hiện tại và lưu vào một biến. Mặc định biến này là aiOutput.

AI trả về text đúng như hiển thị trên màn hình, hoặc giá trị rỗng nếu text không có ở đó.

Dùng chuỗi cho truy vấn đơn giản:

yaml

- extractTextWithAI: CAPTCHA value
- inputText: ${aiOutput}

Hoặc dùng map để có thêm option:

yaml

- extractTextWithAI:
    query: 'CAPTCHA value'
    outputVariable: 'theCaptchaValue'
- inputText: ${theCaptchaValue}

Parameter	Type	Mô tả
`query`	string	Bắt buộc. Mô tả bằng ngôn ngữ tự nhiên về text cần trích xuất.
`outputVariable`	string	Không bắt buộc. Biến nhận text. Mặc định `aiOutput`.
`optional`	boolean	Không bắt buộc. Khi là `true`, step fail sẽ hiện màu đỏ nhưng flow vẫn tiếp tục. Mặc định `true`.
`timeout`	number	Không bắt buộc. Thời gian tối đa chờ AI, tính bằng mili giây. Mặc định 60000.

Đọc tiêu đề của kết quả đầu tiên rồi chạm vào nó. Với optional: false, flow dừng nếu AI không tìm được tiêu đề:

yaml

- extractTextWithAI:
    query: Title of the first item on this page
    optional: false
- tapOn: ${aiOutput}

Dùng command này khi selector không khả thi, ví dụ:

Nó không thay thế selector. Khi có thể, hãy ưu tiên ID hoặc text ổn định với các command như tapOn.

Step này gửi một yêu cầu AI kèm ảnh chụp màn hình và danh sách phần tử UI, dùng provider và model đã chọn ở Settings → AI → Mặc định → Lệnh AI trong flow.
Sau khi một step nhập giá trị bí mật (ví dụ inputText: ${PASSWORD}), các step AI sau đó không gửi ảnh chụp màn hình cho đến khi app được mở lại. Xem Không có ảnh chụp màn hình sau khi nhập giá trị bí mật.

extractTextWithAI ​