Katmera ile Edge AI: NPU Kullanarak Gömülü Sistemlerde Yapay Zeka Uygulamaları

Yapay zeka artık yalnızca veri merkezleri ve bulut sunucularına özgü değil. Katmera kartlarındaki entegre NPU (Neural Processing Unit) sayesinde derin öğrenme modellerini doğrudan uç noktada çalıştırmak mümkün — daha düşük gecikme, daha az bant genişliği ve tam veri gizliliği ile.

NPU Nedir ve Neden Önemlidir?

Geleneksel CPU/GPU Yaklaşımının Sınırları

Yüksek güç tüketimi: GPU tabanlı çıkarım işlemleri watt-saat açısından maliyetlidir.

Bulut bağımlılığı: İnternet kesintisinde sistemler işlevsiz kalır.

Gecikme problemi: Buluta veri gönderip yanıt almak ms'lerden saniyeye uzanır.

NPU'nun Avantajları

Yüksek TOPS (Tera Operations Per Second): Rockchip RK3576 ve RK3588 işlemcilerde 6–10 TOPS NPU performansı.

Düşük güç tüketimi: CPU'ya kıyasla %70'e varan enerji tasarrufu.

Paralel çıkarım: Çoklu modeli eş zamanlı çalıştırma desteği.

RKNN Toolkit ile Model Geliştirme

Kurulum

bash
Python ortamı oluştur

python3 -m venv rknn-env
source rknn-env/bin/activate
RKNN Toolkit2 kur

pip install rknn-toolkit2

PyTorch Modelini RKNN Formatına Dönüştürme

python
from rknn.api import RKNN
rknn = RKNN(verbose=True)
rknn.config(
    mean_values=[[123.675, 116.28, 103.53]],
    std_values=[[58.395, 57.12, 57.375]],
    target_platform='rk3576'
)
rknn.load_onnx(model='yolov8n.onnx')
rknn.build(do_quantization=True, dataset='dataset.txt')
rknn.export_rknn('./yolov8n.rknn')
rknn.release()
print("Model başarıyla dönüştürüldü!")

Katmera'da Gerçek Zamanlı Nesne Tespiti

python
import cv2
import numpy as np
from rknnlite.api import RKNNLite
rknn_lite = RKNNLite()
rknn_lite.load_rknn('./yolov8n.rknn')
rknn_lite.init_runtime(core_mask=RKNNLite.NPU_CORE_AUTO)
cap = cv2.VideoCapture(0)
while True:
    ret, frame = cap.read()
    if not ret:
        break
    img = cv2.resize(frame, (640, 640))
    img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
    img = np.expand_dims(img, axis=0)
    outputs = rknn_lite.inference(inputs=[img])
    cv2.imshow("Edge AI - Nesne Tespiti", frame)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
cap.release()
rknn_lite.release()

Desteklenen Modeller ve Kullanım Alanları

| Model | Görev | FPS (RK3576 NPU) |
|-------|-------|-----------------|
| YOLOv8n | Nesne tespiti | ~45 FPS |
| MobileNetV3 | Görüntü sınıflandırma | ~120 FPS |
| DeepLab v3+ | Semantik segmentasyon | ~25 FPS |
| PaddleOCR | Metin tanıma | ~30 FPS |
| InsightFace | Yüz tanıma | ~50 FPS |

Uygulama Senaryoları

1. Akıllı Kamera Sistemleri

Fabrika hattında kusur tespiti

Güvenlik kameralarında yüz tanıma

Tarımda bitki hastalığı tespiti

2. Sesli Asistan (Offline)

Whisper modeli ile internet bağlantısı olmadan yerel ses tanıma

NPU üzerinde düşük güç tüketimi ile 7/24 dinleme modu

3. Anomali Tespiti

Üretim hatlarında sensör verilerini analiz ederek makine arızalarını önceden tespit edin. LSTM veya Autoencoder modelleri NPU üzerinde düşük güçle çalışır.

Performans İpuçları

Model Küçültme ve Kuantizasyon

INT8 kuantizasyon ile model boyutunu %75 küçültün

Pruning ile gereksiz nöronları temizleyin

Knowledge distillation ile küçük-hızlı modeller elde edin

Çoklu NPU Çekirdeği Kullanımı

python
RK3576 üç NPU çekirdeğine sahiptir

rknn_lite.init_runtime(
    core_mask=RKNNLite.NPU_CORE_0 | RKNNLite.NPU_CORE_1 | RKNNLite.NPU_CORE_2
)

Sonuç

Katmera kartları, Edge AI uygulamaları için güçlü bir platform sunar. NPU birimi sayesinde gerçek zamanlı nesne tespiti, ses tanıma ve anomali tespiti gibi uygulamaları bulut bağlantısı olmadan güvenli ve düşük gecikmeli şekilde çalıştırabilirsiniz.