copy of jadid

پردازش و ماشين بينايیتصوير

ملکیان حامدمدنی حسین 1387پائیز•محمد

بینایی حس

انسان • حس ترين پيچيدهما 70%• بينايی اشناخت حس با محيط زفيزيکی • تماس بدون اشياء شناخت امکانپردازش • رو چشم از رسيده اطالعات چگونه ما مغز

!؟دميکن

هنوز •مشخص

نیست!

هنوز •مشخص

نیست!

•. داریم نیاز دیجیتال تصویر به پردازش برای•: دیجیتال تصویر انواع

– : اعداد از ماتريسی سفيد و سياه تصوير–: رنگی تصوير ترکیب عکس وسفید سه سیاه–: باينری 1عکس 0،

روباتیک در تصویر

1 pixel

•: سفید و سیاه تصویرشدت – عنوان به عدد یک اختصاص

.Intensityروشنایی) پیکسل( هر بهروشنایی – 8bitبرای 255تا 0میزان

•: رنگی تصویر–RGB :مقادیر برای عدد سه پیکسل R,G,Bاختصاص هر به

–YUV :مشکلRGB تراز ساده وهمچنین ندارد میباشدHSIرا

رباتیک:• .کاربرد

–Y’U’V’: ی شده YUVاصالح

–HIS( :گرافیکی کارهای برای و...(photoshopمناسب

•RGB• ).... ( مانیتورو تصویر یک نمایش برای مناسب•! نیست مناسب تصویر روی پردازش برای اما

های: • مولفه از کدام هر تغییر با دلیل(Red,Green,Blue “ تغییر( ” آن رنگ تنها نه تصویر یک

“ “ “ بودن ” وروشن تیره و روشنایی میزان بلکه میکند “ ” . را پیکسل یک قرمزیت اگر مثال میکند تغییر هم آن

پیکسل شدن قرمزتر بر عالوه دهیم افزایش ) ( نامطلوب اثر میابد افزایش هم آن روشنایی شدت

: نظیر رنگ سیستمهای سایر از استفاده حل HSIراه

•RGB• ).... ( مانیتورو تصویر یک نمایش برای مناسب•! نیست مناسب تصویر روی پردازش برای اما

های: • مولفه از کدام هر تغییر با دلیل(Red,Green,Blue “ تغییر( ” آن رنگ تنها نه تصویر یک

“ “ “ بودن ” وروشن تیره و روشنایی میزان بلکه میکند “ ” . را پیکسل یک قرمزیت اگر مثال میکند تغییر هم آن

پیکسل شدن قرمزتر بر عالوه دهیم افزایش ) ( نامطلوب اثر میابد افزایش هم آن روشنایی شدت

: نظیر رنگ سیستمهای سایر از استفاده حل HSIراه

تصویر ی ذخیره

اعداد • ی )R,G,Bذخیره خام صورت (RAWبه

وتبدیل • سازی فشرده–JPEG–TIFF–…

می • بین از را عکس از اطالعاتی سازی فشردهبرد.

سنسورهای • تصویر: انواع–CCD–CMOS

CCD

تصویر • سنسور ترین استفاده پرازفتوسل: • بعدی دو شبکه ساختمانمتصل: • نوری دیود فتوسل

خازن یک بهبین • .µF40تا 5خازنها

• : خازنها دشارژ کار اساسدریافتی متناسب نور شدت با

بین • Mp 20تا 0.2رزولوشن

سطری • پردازش• ( نزدیک پایین های فرکانس به نسبت حساسیت

قرمز(. باالتراست

•: ها فتوسل 10000تا 50بین ISOحساسیت

CCD رنگی

• : هر از استفاده اول عنوان 4روش به 1سلپیکسل.

سبز – برای سل دو و قرمز و آبی برای سل یک–. شود: ¼ می رزولوشن عیب

•: دوم یک روش از استفادهCCD . رنگ هر برایدیسک – از استفاده

منشور – از استفاده

–. بودن: گرانقیمت عیب

White Balance:رنگ – مرجع تنظیم

CCDعیوب •دینامیک – نور در نامناسب تصویر–Bloomingبه – نسبت باال CMOSقیمت

CMOSComplementary Metal-oxidesemiconductor) )

از شبکه• cmosایcmosمزایای •

– ( انرژی محدودیت مصرفتر کم و ارزانتر ) روباتیک درکوچکتر – ی اندازه– ( از نیاز بی موازی پردازش memoryو clock )

:معایب•– ( معموال پایین (100حساسیت کمتر یاپایین – یا svga 800x600معموال (رزولوشن

xvga1024x768)

روباتیک • و موبایل های گوشی در کاربرد

تصویر سنسور خروجی

آنالوگ.1–NTSC –PAL

دیجیتال.2–Usb,usb2.0–IEEE1394–( سریال RS-232)پورت

در تصویر پردازش کاربردهایمکاترونیک

•Mobile Robotsمحیط – درکسنجی – موقعیتسنجی – فاصلهسنجی – جابجاییاشیاء – با تعاملخاص – شخص یا شی تشخیص

....-

صنعتی • روباتهای–( کیفیت QC)کنترلمحصول – شمارشمعیوب – محصول شناسایی

Vision انواع

•Passive visionثابت – گر مشاهده

•Active Vision–. دارد تعامل محیط با گر مشاهده–zoom,diaphragm,field of vision . است تغییر قابل

سنجی فاصله

•. است مهم بسیار متحرک های روبات در( vision based،لیزری،تصویری)Ultrasonicانواع: •

تصویر کمک به سنجی فاصله

•. : کند می حذف را عمق دوبعدی عکس اصلی ی مسئلهاطالعات آبدست • ک 3وردن بعدی دو عکس از ر ابعدی

!ستسختي• : تصویر یک جای به تصویر چند یا دو از استفاده حل راه

–. باشند متفاوت حرکت الگوریتم دید ی زاویه در تصویر دو•Depth from stereo

میدان )– عمق در تصویر .focusدو باشند ( متفاوت•Depth from focus•Depth from defocus

Depth from focus

•1/f=1/p+1/q اتوماتیک • دیجیتال های دوربین عملکرد مشابه

به – تا میکند تغییر تصویر ی صفحه و لنز ی فاصله.برسیم sharpnessبیشترین

–q=Lδ/2r

) (. موتور: سرو از استفاده است کند روش این عیب : دوربین چند از استفاده حل راه

. ثابت و مختلف کانونی فاصله باسنکرون – صورت به دوربینها

. گیرند می ثانیه در عکس چند

و شده تقسیم قسمت چند به عکس هر هر sharpnessمعموال. میشود محاسبه جداگانه قسمت

تخمین و برخورد از جلوگیری برای و نیست دقیق روش این. شود می استفاده فاصله

Depth from Defocus

عکس • یکسان زاویه یک از متفاوت دوربین دومیگیرند.

مزایا:•–). ( ندارد سرچ الگوریتم به نیازی زیاد بسیار دقت و سرعتوجود – دوربینها از یکی در جسم تصویر نداشتن مشکل

). گیرند. ) می عکس زاویه یک از دوربین دو ندارد

را • دوربینها از یکی pinhole apertureمعموال(. کنیم می ( L=0فرض

مجهول – یک معادله یک به محاسبات تقلیل–. است دقیق میکروسکوپی های اندازگیری برای روش این

(97)%–. شود می کم دقت فاصله افزایش بادر – نور شدت بودن کم normalizeنیازبه ) pinholeمشکل

کردن(

Depth from Stereo Vision

روباتیک • در مشاهده روش کاربردترین پرانسان • چشم مشابه ساختار

می – عکس مختلف زاویه دو از مشابه دوربین دوگیرند.

عکس – 3Dبه 2Dتبدیلدر – ولی است متغیر عدسی دو زاویه چشم در

. موازیند عدسی دو معموال روباتیک

مقایسه

P

P’ P’’

Fixationpoint F

:stereo visionخصوصیات •دوربین disparityافزایش – دو ی فاصله افزایش با

نداشتن: • احتمال دوربین دو ی فاصله افزایش با محدودیت. شود می بیشتر آنها از یکی در تصویر

–Disparity. دارد عکس نسبت فاصله با عکس دو

–( تصویر دو روی متناظر های نقطه Conjugateزوجpair )رویepipolar line. دارند قرار

Stereo VisionStereo Vision

داشتن با جسم فضایی تصویر تشکیل آن 2چگونگی از تصویر

تصویر • صفحهسمت دوربین

چپ

تصویر • صفحهسمت دوربین

راست

کانون کانون

Stereo VisionStereo Vision

Stereo VisionStereo Vision

Stereo VisionStereo Vision

Stereo VisionStereo Vision

Stereo VisionStereo Vision

Stereo VisionStereo Vision

Stereo VisionStereo Vision

•:a راست و چپ تصویر•b :لبه فیلتر اعمال•d:disparity) فاصله) میزان

در اصلی ی stereo visionمسئله

را • تصویر دو در متناظر نقاط چگونه روباتدهد؟ تشخیص

جستجو – الگوریتم از معموال تشخیص روشهای: کنند می استفاده

•zero crossing of laplacian of gaussian•Gray lavel matching•Epipolar lineروشنایی • شدت تطبیق

سنجی جابجایی

•Motion field :شده داده اختصاص سرعت بردار. تصویر از نقطه هر به

توان • می تصویر روش به سنجی جابجایی برایسنجش .optical flowاز کرد استفاده

•Optical Flow :با تصویر روشنایی الگوی تغییر. نور منبع یا گر مشاهده یا جسم حرکت

کنیم • می optical flowبا motion fieldفرض. است متناسب

•: نیست صحیح همواره فرض این البته

•(u,v) :بردارMotion field

•Et=0•Ex,Ey معلومبردار • .(u,v)جهت آید می بدست

)Color tracking رنگ )تشخیص

یابی • موقعیت کاربرد برای اشیاء تشخیص ودارد.

سایر: • و دروازه توپ، فوتبالیست روبات مثال: دهد می تشخیص رنگ روی از را ها روبات

•: رنگ تشخیص مهم امتیاز دوو – مطابقت دارد،مشکالت نیاز عکس یک به تنها

. ندارد را جستجو الگوریتمدارد – تصویر سنسورهای سایر از مستقل عملکردی

. گیرد قرار آنها کنار در میتواند و

•: رنگ تشخیص سنسور انواع–: افزاری سخت

•Cognachrome color-tracking system •CMUcam robotic vision sensor

–: افزاری نرم•CMVision color tracking software library•Halkon library

Cognachrome color-tracking system

قدرتمند • و سریع بسیارمحاسبه • فریم 25قدرت هر در آیتم

( FR:60Hz,Res:800x600)رنگ • RGBسیستم•Constant tresholding :را رنگ هر حداقل و حداکثر کاربر

(. فضای در مکعب یک کند می (RGBمشخصفتوشاپ – جادویی عصای ابزار شبیه

•. کند نمی اعمال اصلی ی پردازنده بر باری سنسور این– (. مثل دارد مخصوص ی (Motorola 68332پردازنده

•. است گرانقیمت بسیار

CMUcam Robotic vision system

•. قبل سیستم از ارزانتر بسیارسنسور • از cmosاستفاده•FR:20Hz,Res:143x80رنگ • YUVیا RGBسیستممجزا • ی SX28پردازنده

CMVison color tracking library

گرافیکی • کتابخانه از Intel computer visionبخشیlibrary

سازی • و CMUcamپیاده افزاری نرم صورت به. اصلی ی پردازنده از استفاده

رنگ • YUVسیستم•FR:30Hz,Res 160x120 (کامپیوتر یک (pentium300Mhzبا

دیگر • مهم گرافیکی ی Halcon library(C++)کتابخانه

باينری به تبديل

◦ ! اطالعات دادن ازدست يکنواخت؟ کونتيزاسيون◦ patterning◦Dethering◦diffusion

ست • دوبعدی سيگنال يک کلی حالت در تصويرسيگنال سر که باليی هر خوبی تقريب با 1و

: بياريم ميتونيم هم سرعکس مياوريم بعدیفوريه • تبديلکانولوشن•کردن • فيلتر•..…

کانولوشن

دی کانولوشن

پایین فیلترگذر

نگذر • پایین فیلتر

سینوسی

سینوسیفرکانس

باالتر

حوزه درفرکانس:

Sin با متناظر2) نقطه) ضربه

عکس • مکانی دوران

فرکانس حوزه در دوران

گسسته کانولوشن

پیوسته کانولوشن

نويز گذر حذف پايين فيلترگيری • ( sink )متوسطآل ايده•گوسی•باترورث•

111111111

*9/1

Original Uniform Gaussian

گيری • مشتق

•) دوم) مشتق الپالسينلبه کاربرد:– تشخيصتصوير – های لبه کردن (image sharpeningimage sharpening))تيز

SEGMENTATION

تصوير • مختلف های قسمت کردن جدا–) ( تصوير اجزاء بين مرز لبه کردن edge detectionپيدا

خوب • الگوريتم يه معيارندهد – دست ازنويز – وجود با لبه دقيق محل–! دهد تشخيص لبه تشخیص) يک لبه چند را لبه یک نویز وجود با

ندهد(

لبه تشخيص های :الگوريتم

–Canny–Susan–Contour (snake)–Sobel) مشتق)–....

Corner Detectors مقایسهOperatorDetection RateLocalizationRepeatability RateRobustness to

NoiseSpeed

BeaudetFairFairPoor for scaling,good for affine transformations

PoorGood

MoravecFairGoodFairFairGood

Kitchen & RosenfeldFairFairFairFairPoor

ForstnerGoodGoodExcellent for affine transformations,fair for scaling

GoodPoor

Plessey

GoodGood for L-junctions, poor for all other types

Excellent for affine transformations if isotropicgradient calculations are used,fair for scaling

FairPoor

DericheFair (?)GoodGoodPoorGood

Wang & BradyGoodGoodGoodFairGood

SUSANGoodBad for blurred images,very good otherwise

Good for scaling, poor for affine transformations

ExcellentGood

CSS

GoodGoodExcellentGoodHighly dependent onedge detector used

Trajkovic & Hedley (4-neighbours)

PoorGoodFair(not rotationally invariant)

Poor

Excellent

Trajkovic & Hedley(8-neighbours)

FairGoodFair+(not rotationally invariant)

GoodExcellent

Zheng & WangGoodGood for L-junctions, fair for all other types

Excellent for affine transformations,fair for scaling

FairFair

صاف خطوط تشخيص

•Hough transform•Radon trf•Split and merge•Linear regression•Nondeterministic

–RANSAC (Random Sample Consensus.)–Expectation-Maximization

•Incremental (Line-Tracking)

عکس peakاین در خط یک با متناظرمیباشد

Houghمیشود نقطه یک به تبدیل خط .هر

Split-and-merge is the fastest, best real-time applications.

Incremental is also good candidate for SLAM by its low FalsePos.

–Morphologyمجموعه :اساس– نظريه

•Dilation چاق•Erosion الغر•Opening چاق بعد الغر اول•Closing برعکس حاال•Hit and miss خاص الگوي يک مطابقت•Thining

–Skeltanize

Dilation Erosion Opening ClosingOpening IoB= )IB)BDilatation IBErosion IBImage I

Closing I•B= )IB)B TopHat)I)= I - )IB) BlackHat)I)= )IB) - IGrad)I)= )IB)-)IB)

حذف •سیمهای

تصویر aبرقتصویر bدر

حذف •سیمهای

تصویر aبرقتصویر bدر

حذف •خطوط

تصویر افقیوسط

حذف •خطوط

تصویر افقیوسط

Skletanizeبه رسیدن تا جسم های لبه استخوان تراشیدن

(!)

های • segmentationالگوريتم–Histogram–Region based seg.

•Seed growing•Region split•Watershed•Pattern recognition

▫texture

Cognition•Cognitionو هدفمندانه گیری تصمیم از است عبارت

هدف یک به نیل برای سیستم یک توسط آن اجرای.باال سطح

این روبات یک در• navigation مسئله متوجه امر متحرک اطالعات داشتن با روبات تا میشود باعث که است موقعیت به بتواند سنسورها مقادیر و محیط از جزئی.برسد هدف

•Navigation برای عمليات سری یک اجرای شامل (planing )میشود هدف به رسیدن

Path planning امر یک متحرک روباتهای برای مسیریابی مسئله•

صنعتی رباتهای برای از قبل اما است اساسی زمینه این در زیادی مطالعات و بوده مطرح نیز

.است شدهعلت • روباتهای آزادی درجات محدودیت به

از تر ساده آنها برای مسئله این متحرک.میباشد صنعتی روباتهای

Obstacles

Free Space

Robot

x,y

Obstacles

Free Space

Robotشود ( می درنظرگرفته نقطه عنوان x,y)به

Path Planning داشته وجود محیط از مناسب نقشه یک که میشود فرض•

:باشدتوپولوژیک• متریک•دو از ترکیبی یا• این

گسسته نقشه یک به نقشه تبدیل مسیریابی از مرحله اولین•:شود انجام است ممکن طریق چند به اینکار. است

•Visibility Graph•Voronoi Diagram•Cell Decomposition Connectivity Graph•Potential Field

Visibility Graph

•G: non-directed graph ها • ضلعی چند رئوس و هدف و شروع نقطه از عبارتند ها گرهبدست • نقطه دو اتصال از که مستقیمی خطوط از عبارتند ها یال

. نمیکنند قطع را مانعی هیچ و آیند می

qinit

qGoal

Voronoi Diagram

The Wavefront planner کوتاهترین تعیین برای میتوان الگوریتم این از•

.نمود استفاده نقطه دو بین فاصله انجام breadth first جستجوی یک حقیقت در•

.میدهد:اولیه دهی مقدار•

میشود گذاری عالمت 0 با آزاد فضای–.میشوند گذاری عالمت 1 با موانع–.میشود گذاری عالمت 2 با مقصد–

The Wavefront planner

The Wavefront planner مجاور سلولهای و کرده شروع هدف نقطه از•

.میدهیم افزایش یکواحد را آن

The Wavefront planner.میکنیم عمل مجاور سلولهای برای ترتیب همین به•

The Wavefront planner از شروع با مسیر کوتاهترین کردن پیدا برای•

عددی مقدار که میکنیم حرکت درجهتی مبدا.شود کمتر سلولها

Potential Field Path Planning نقشه در گرادیانی یا و میدان یک روش این•

میکند ایجاد روبات تحت که میشود فرض نقطه یک بصورت روبات•

روبات. دارد قرار U(q) پتانسیل میدان یک تاثیر مسیر دارد قرار سرازیری در که توپی همانند.میکند دنبال را میدان

موانع و جاذب نیروی یک بصورت هدف نقطه–.میکنند عمل دافع نیروهای بصورت

Potential Field Path Planning

Parabolic Well for GoalExponential Source for Obstacle

Obstacle Avoidance

میتواند فقط مسیریاب یک• از که بگیرد نظر در را اشیائی

.باشند مشخص قبل یک در است ممکن عمل در•

اشیا وجود بعلت پویا محیط نقشه دقت عدم یا و جدید

با روبات سنسورهای قرائت نقشه در موجود مقادیر

.باشد نداشته همخوانی

Obstacle Avoidance: Bug2

دور را مانع محیط روبات روش این در هدف بسوی راهی اینکه محض به و میزند

.میشود جدا آن از کرد پیدا

نقشه

•Grid-based map–Egocentric (بهview point). دارد بستگی روبات

–Allocenteric (چند (Egocentricترکیبالگوریتم • محیط monte carloبا در را خود موقعیت

. دهد می تشخیص

ی – Grid mapتهیه•Sonar sensorلیزر•

Graph-based maps

•Topological mapگراف: – ی نظریه اساس– ( محیط نامشخص مشخص،مکان جسم ماهیت

دینامیک(–Node ها :)... ( در،دیوار استاتیک اجسام

مسیر ) Path Planning) انتخاب

•. است بهتر طوالنی مسیرهای برای توپولوژیکال ی نقشهو • توپولوژیک ی نقشه ترکیب از معموال

Accupancy) (. باال بازده شود می استفاده–Thrun and Bucken

•Global path planning–Snapshot . شود می ذخیره گره یک در محیط یک–)... (. و زاویه،اندازه ندارد متریک اطالعات–Schoelkopf and Mallot–Homing Algorithm

يک • در محاسبه snapshotروبات مجاور های گره تمام به مسير است، .ميشود

•( محلی مسیر Local path planning)انتخابTaniتوسط •مراحل:•

ی – نقشه ی topologicalتهیهمسیر – کوتاهترین انتخاب–. نباشد آن در مانع که هایی مکان

Globalو Localتلفیق •Heinze و taubigتوسط •

–. کند می کار خوب ساختمان داخل های محیط در–Local و دهد، می پیشنهاد انتخاب globalچند را یکی

. کند می

Self Localization

Monte Carloو markovالگوریتم •مقاوم: – سنسورها اشتباه و نویز به نسبت ویژگی

است.نسبی – ماکسیمم چند شدن پیدا به منجر الگوریتم

احتمالی موقعیت یک متناظر کدام هر که شود می. است روبات

محاسبات – حذف maxتمام cyclicبا یکی جز را ها. کند می

) احتمال) از استفاده با

Depth Reconstruction

اشیاء • شناسایی و یابی جهت برای ضروری•: ها الگوریتم

دیده – مختلف ی نقطه دو از جسم یک((stereovisionشود.

–Focusingنسبی – عمق

occlusionآنالیز •

–Structured Light

3D reconstruction with edge gradian

•Winkelbach,wahlو • دوربین نورمورب 2یک منبعمورب • خطهایگرادیان • عملگرآوردن • Local surface Normalبدست

Image sequence Analysis

محیط • اشیاء از بعدی سه اطالعات•. دارد نیاز دوربین یک به تنهاتخمین • از Kalman استفاده

مراحل:–• ) اطراف ) دینامیکی محیط حالت معادالت تشکیل• ) حاالت ) دانستن با محیط بعدی وضعیت حالت تخمین برای تالش

قبل

Self learning Algorithm

عصبی • های شبکه•Self organizing mapبوسیله • ربات هدایت معموال

فازی یا عصبی شبکه های الگوریتممیگیرد صورت

Extended Rapidly-Exploring Random Trees

تجربه یک در ها الگوریتم ی مقایسه

•High-pass :ساختمان داخل های محیط برای. است خوب

•Gabor. کند: می کار خوب متغیر نور در•Sobel

•Color feature. نیست: خوب داخل محیط برای

منابع• اینترنت• Gonzales,Image processing• Russ,Handbook of image processing• NOURBAKHSH, Introduction to Autonomous Mobile Robots• Stefan Florczyk ,Robotic vision