Đặt tên ý nghĩa cho ảnh của bạn với AI

Hai dấu sao (**) trong Python được sử dụng trong các cuộc gọi hàm để giải nén các từ điển và truyền các mục trong từ điển như đối số từ khóa cho hàm. **inputs đang giải nén từ điển inputs và truyền các mục của nó như các đối số cho mô hình.

• fn: hàm để bao bọc giao diện người dùng (UI)
• inputs: thành phần nào để sử dụng cho đầu vào (ví dụ: “text”, “image” hoặc “audio”)
• outputs: thành phần nào để sử dụng cho đầu ra (ví dụ: “text”, “image” hoặc “label”)

• Đảm bảo bạn đã cài đặt các thư viện cần thiết. Chạy lệnh pip install gradio transformers Pillow để cài đặt Gradio, Transformers và Pillow.
• Import các thư viện cần thiết

import gradio as gr
import numpy as np
from PIL import Image
from transformers import AutoProcessor, BlipForConditionalGeneration

• Tài model và processor đã được huấn luyện:

processor = # write your code here
model = # write your code here

• Khởi tạo hàm caption_image nhận hình ảnh đầu vào và trả về chú tích:

def caption_image(input_image: np.ndarray):
    # Convert numpy array to PIL Image and convert to RGB
    raw_image = Image.fromarray(input_image).convert('RGB')
    
    # Process the image
    

    # Generate a caption for the image


    # Decode the generated tokens to text and store it into `caption`
    

    return caption

• Dùng lớp gr.Interface để tạo giao diện ứng dụng web:

iface = gr.Interface(
    fn=caption_image, 
    inputs=gr.Image(), 
    outputs="text",
    title="Image Captioning",
    description="This is a simple web app for generating captions for images using a trained model."
)

iface.launch()

• Lưu mã hoàn chỉnh vào một tệp Python. Ví dụ: image_captioning_app.py.
• Mở terminal hoặc command prompt, điều hướng đến thư mục nơi tệp được lưu và chạy lệnh

python3 image_captioning_app.py

• Ứng dụng web sẽ bắt đầu chạy và hiển thị một URL có thể truy cập giao diện..
• Mở URL được cung cấp trong trình duyệt web (trong terminal).
• Bạn sẽ thấy một giao diện với một khung tải hình ảnh lên.

1. Các nhà báo viết bài báo của họ và chọn các hình ảnh liên quan đến câu chuyện.
2. Những hình ảnh này sau đó được đưa vào chương trình tạo chú thích hình ảnh (thay vì phải nhập mô tả thủ công cho từng hình ảnh).
3. Chương trình xử lý các hình ảnh này và tạo ra một tệp văn bản với các chú thích đề xuất cho từng hình ảnh.
4. Các nhà báo hoặc biên tập viên xem xét các chú thích này. Họ có thể sử dụng chúng như vậy hoặc chỉnh sửa để phù hợp hơn với ngữ cảnh của bài báo.
5. Những chú thích đã được phê duyệt này sau đó phục vụ hai mục đích:
• Tăng cường khả năng tiếp cận: Các chú thích được tích hợp dưới dạng văn bản thay thế (alt text) cho các hình ảnh trong bài báo trực tuyến. Người khiếm thị, sử dụng các trình đọc màn hình, có thể hiểu ngữ cảnh của các hình ảnh thông qua các mô tả này. Điều này giúp họ có trải nghiệm tiêu thụ nội dung tương tự như người nhìn thấy, tuân thủ các nguyên tắc thiết kế bao gồm và tiếp cận.
• Cải thiện SEO: Hình ảnh được chú thích đúng cách với các từ khóa liên quan cải thiện SEO của bài báo. Các công cụ tìm kiếm như Google xem xét văn bản thay thế khi lập chỉ mục, điều này giúp bài báo xuất hiện trong các kết quả tìm kiếm liên quan, do đó thu hút lưu lượng truy cập tự nhiên đến trang web của cơ quan. Điều này đặc biệt hữu ích cho kết quả tìm kiếm hình ảnh.
6. Sau khi các chú thích được phê duyệt, chúng được thêm vào hình ảnh trong bài báo trực tuyến.

# URL of the page to scrape
url = "https://en.wikipedia.org/wiki/IBM"

# Download the page
response = requests.get(url)

# Parse the page with BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')

Việc này được thực hiện đồng bộ trong việc triển khai hiện tại của bạn là điều quan trọng cần lưu ý. Điều này có nghĩa là mỗi hình ảnh được tải xuống một cách tuần tự, điều này có thể chậm đối với các trang web có số lượng hình ảnh lớn. Để có một phương pháp hiệu quả hơn, bạn có thể khám phá các phương pháp lập trình bất đồng bộ hoặc thư viện concurrent.futures để tải xuống nhiều hình ảnh cùng lúc.

# Find all img elements
img_elements = soup.find_all('img')

# Iterate over each img elements
for img_element in img_elements:
...

import requests
from PIL import Image
from io import BytesIO
from bs4 import BeautifulSoup
from transformers import AutoProcessor, BlipForConditionalGeneration

# Load the pretrained processor and model
processor = # fill the pretrained model
model = # load the blip model

# URL of the page to scrape
url = "https://en.wikipedia.org/wiki/IBM"

# Download the page
response = requests.get(url)
# Parse the page with BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')

# Find all img elements
img_elements = soup.find_all('img')

# Open a file to write the captions
with open("captions.txt", "w") as caption_file:
    # Iterate over each img element
    for img_element in img_elements:
        img_url = img_element.get('src')

        # Skip if the image is an SVG or too small (likely an icon)
        if 'svg' in img_url or '1x1' in img_url:
            continue

        # Correct the URL if it's malformed
        if img_url.startswith('//'):
            img_url = 'https:' + img_url
        elif not img_url.startswith('http://') and not img_url.startswith('https://'):
            continue  # Skip URLs that don't start with http:// or https://

        try:
            # Download the image
            response = requests.get(img_url)
            # Convert the image data to a PIL Image
            raw_image = Image.open(BytesIO(response.content))
            if raw_image.size[0] * raw_image.size[1] < 400:  # Skip very small images
                continue
            
            raw_image = raw_image.convert('RGB')

            # Process the image
            inputs = processor(raw_image, return_tensors="pt")
            # Generate a caption for the image
            out = model.generate(**inputs, max_new_tokens=50)
            # Decode the generated tokens to text
            caption = processor.decode(out[0], skip_special_tokens=True)

            # Write the caption to the file, prepended by the image URL
            caption_file.write(f"{img_url}: {caption}\n")
        except Exception as e:
            print(f"Error processing image {img_url}: {e}")
            continue

import glob
...
# Specify the directory where your images are
image_dir = "/path/to/your/images"
image_exts = ["jpg", "jpeg", "png"]  # specify the image file extensions to search for

# Open a file to write the captions
with open("captions.txt", "w") as caption_file:
# Iterate over each image file in the directory
    for image_ext in image_exts:
        for img_path in glob.glob(os.path.join(image_dir, f"*.{image_ext}")):
            # Load your image
            raw_image = Image.open(img_path).convert('RGB')
            ...