Matlab görüntü işleme konusunda da diğer birçok konuda olduğu gibi oldukça gelişmiş araçlara sahip bir programdır. Bu yazıda matlab içinde bulunan bu fonksiyonları kullanarak kameradan gerçek zamanlı nesne takibi yapan bir proje geliştireceğiz. Projenin özellikleri ise şu şekilde olacak.
- Gerçek zamanlı takip
- Birden fazla objenin ayırt edilebilmesi
- Görüntüde tek bir obje varsa hareketinin (engel arkasında görünmeme durumunda) tahmini
- Bulunan objelerin gösterilmesi
Bir nesneyi takip etmek için çeşitli görüntü işleme teknikleri birbiri ardına kullanılarak, görüntüler daha işlenebilir ve anlaşılabilir hale getirilmektedir. Bu kapsamda sırasıyla hangi işlemler yapacağımıza bakalım. Öncelikle kameradan aşağıdaki gibi bir görüntü elde ettiğimizi varsayalım ve buradan mavi renkli objeleri takip etmek istediğimizi düşünelim.
Kameradan bu görüntüyü alabilmek için yazmamız gereken kod şu şekildedir.
hardwareInfo=imaqhwinfo; % Kamera donanımı hakkında gerekli bilgilerin alınması [camera_name, camera_id, format]=cameraInfo(hardwareInfo); % Donanım bilgilerinden kameranın özelliklerinin ayıklanması memoryInfo=imaqmem; % Bilgisayarın bellek bilgisinin alınması imaqmem(memoryInfo.AvailPhys); % Kullanıma müsait bütün belleğin görüntü işleme işlemleri için kullanılabilir hale getirilmesi video = videoinput(camera_name, camera_id, format); % Kamera özelliklerine göre video objesinin oluşturulması set(video, 'FramesPerTrigger', Inf); % Videonun sürekli frame alması için gerekli düzeltme set(video, 'ReturnedColorspace', 'rgb'); % Videonun rgb uzayda dönmesi için gerekli ayarlama video.FrameGrabInterval = 1; % Videodan ne kadar sıklıkla frame çekileceği. start(video); % Videonun başlatılması data = getsnapshot(video);
Buradan mavi renkleri ayıklamak için birkaç adım gereklidir. Öncelikle 3 renk katmanından (RGB) oluşan bu resmin mavi katmanını ayıklamak ve gri katmana göre farkına bakmak bize oldukça iyi bir tahmin verecektir. Resmin mavi katmanı aşağıdaki gibidir. Bu katman data değişkeninin 3. boyutunda tutulmaktadır ve erişmek için data(:,:,3) yazılması yeterlidir. Resmin gri renkli hali için ise Matlab içinde bulunan rgb2gray() fonksiyonu kullanılabilir.
Daha sonra bulunan mavi ve gri katmanlar birbirinden imsubtract() fonksiyonu ile çıkartılıp, aşağıdaki fark elde edilir.
Bu resme “Median Filtresi” uygulanarak tuz-biber gürültüsü adı verilen karıncalanmaların giderilmesi sağlanabilir. Bu işlem 2 boyutlu median filtresi fonksiyonu olan medfilt2() fonksiyonu ile yapılabilir.
Daha sonra eşik değerine göre resim içindeki renkler ayırt edilip, resim daha kolay çalışılabilir hale getirilmiştir. Bu işlemler şöyle yapılmaktadır.
img(img<threshold) = 0; img(img>=threshold) = 255;
Dikkat edilirse burada sol alt köşeye doğru küçük bir obje vardır. Bu objenin görüntüde takip edilmesi istenmemektedir. Bu yüzden resim içindeki bağlı bileşenler bulunarak, alanı belli bir değerin altındaki objeler ayıklanabilir. Bu işlem Matlab içerisindeki bwareaopen() fonksiyonu ile kolaylıkla yapılabilir.
Şimdiye kadar yapılan işlemlerin resim üzerine eklenmesi ile elde edilen sonuç şu haldedir.
Bu işlemlere ek olarak bulunan nesnelerin kenarlarının bulunması için Canny kenar bulma yöntemi ve biraz da makyaj yapmak için bulunan sonuca dilation işlemi uygulanabilir. Bu işlemlerin sonucu ise şöyle olmaktadır.
Ancak bu işlemlerin yapılması bilgisayarın performansına bağlı olarak gerçek zamanlı takibi olumsuz kılabilmektedir. Bu yüzden bu kısımlar projede bulunmamaktadır. Bu işlemlerden sonra bulunan objelerin işaretlenmesi, konumlarının ve hızlarının bulunması işlemi gelmektedir. Bu işlem şu şekilde yapılabilir.
stats = regionprops(logical(Label),'BoundingBox','Centroid','FilledImage','Area'); % Bağlı bileşenlerin özelliklerinin çıkarılması
if(exist('stats','var')) % Herhangi bir obje bulunması durumunda
for object = 1:length(stats) % Bulunan her obje için
if(object < 16 && object > 0) % Obje sayısı sınırlaması
boundingBox{object} = stats(object).BoundingBox; % Objeyi çevreleyen dikdörtgenin koordinatları
centroid{object} = stats(object).Centroid; % Objenin merkez noktası koordinatları
area(object,2) = stats(object).Area; % Objenin alanı
if(area(object,2) >= 0) % Objenin alanının kontrolüne göre önceki alan bilgisinin güncellenmesi
area(object,1) = area(object,2);
end
% Objenin bir önceki konumundan ne kadar uzaklaştığının hesaplanması
dx=round(objPosition(2,1,object)-objPosition(1,1,object));
dy=round(objPosition(2,2,object)-objPosition(1,2,object));
filledImage{object} = stats(object).FilledImage; % Objenin küçük resminin alınması
rectangle('Position',boundingBox{object},'EdgeColor','r','LineWidth',2,'Parent',hmain) % Objenin etrafına dikdörtgen çizilmesi
plot(hmain,centroid{object}(1),centroid{object}(2), ' ys','MarkerSize',6,'MarkerFaceColor','y') % Merkez noktasına sarı işaretçi konulması
imshow(filledImage{object},'Parent',hsub(object)) % Bulunan küçük resimlerin ikinci grafiğe çizilmesi
title(hsub(object),[num2str(object) '. Obje']); % Objelerin başlıklarının atanması
objPosition(1,:,object) = objPosition(2,:,object); % Objenin eski konumunun güncellenmesi
objPosition(2,:,object) = [centroid{object}(1),centroid{object}(2),area(object,2)/imgSize]; % Objenin yeni konumunun bulunması
if(length(stats) == 1) % Tek obje bulunması durumunda
% Objenin konumlarının bulunması
x = boundingBox{object}(1);
y = boundingBox{object}(2);
% Gürültüden veya objenin engel arkasına gitmesinden dolayı alandaki değişikliklerin ekarte edilmesi
if(area(object,2)/area(object,1) >= 0.9 && area(object,2)/area(object,1) <= 1.1)
theImage = stats(object).FilledImage;
end
else % Birden fazla obje olması durumunda
% Hız, Konum, Alan bilgilerinin kullanıcıya gösterilmesi
txtInfo = text(centroid{object}(1)+15,centroid{object}(2), [num2str(object)...
'. X: ' num2str(round(centroid{object}(1))) ' Y: ' num2str(round(centroid{object}(2)))],'Parent',hmain);
txtSpeed = text(centroid{object}(1),centroid{object}(2)+15, [' dx: ' num2str(dx)...
' dy: ' num2str(dy) ' area: ' num2str(round(area(object,2)/100)*100)],'Parent',hmain);
set(txtInfo, 'FontName', 'Arial', 'FontWeight', 'bold', 'FontSize', 12, 'Color', 'yellow');
set(txtSpeed, 'FontName', 'Arial', 'FontWeight', 'bold', 'FontSize', 12, 'Color', 'yellow');
end
end
end
end
Burada yapılan işlemleri kısaca özeltemek gerekirse, öncelikle regionprops() fonksiyonu ile bağlı bileşenlerin ve bu bileşenlerin istenen özelliklerinin elde edilmesi sağlanmaktadır. Daha sonra bulunan bu özelliklere göre her bir objenin alanını çevreleyen bir sınır çizilip, merkez noktası belirlenerek bu noktanın yanında cisimle ilgili bilgiler gösterilmektedir. Bu işlemlerin sonucu aşağıdaki gibidir.
Sahnede tek bir obje olması durumunda eğer obje bir engelin arkasına giriyorsa çalışan kod şu şekildedir.
% Objenin bilgileri varsa fakat ekranda hiç obje yoksa cismin
% hareketinin tahmini
if(exist('object','var') && exist('x','var') && exist('y','var') && length(stats) <= 1)
% Cismin sabit hızla aynı yönde gittiği tahmin edilerek bir sonraki
% konumunun hesaplanması
x=x+dx;
y=y+dy;
% Bulunan konuma küçük resmin çizilmesi
image(x,y,theImage*255,'Parent',hmain);
end
Böylece cismin konumu ve hızı tahmin edilmekte, bulunan değerlere göre tahmini rotası çizilmektedir.
Bulunan bütün objeler ise ek bir pencerede gösterilmektedir.
Son olarak ise performans sağlamak için alınan verilerin bellekten silinmesi işlemi vardır.
if mod(video.FramesAcquired,100)==0
flushdata(video);
end
Döngü bittikten sonra verilerin tamamen silinmesi ise şu kodlar ile sağlanmaktadır.
stop(video); flushdata(video);
Projenin bütün kodlarına ulaşmak için aşağıdaki bağlantıyı kullanabilirsiniz.
