Download - Copy of jadid
پردازش و ماشين بينايیتصوير
ملکیان حامدمدنی حسین 1387پائیز•محمد
بینایی حس
انسان • حس ترين پيچيدهما 70%• بينايی اشناخت حس با محيط زفيزيکی • تماس بدون اشياء شناخت امکانپردازش • رو چشم از رسيده اطالعات چگونه ما مغز
!؟دميکن
هنوز •مشخص
نیست!
هنوز •مشخص
نیست!
•. داریم نیاز دیجیتال تصویر به پردازش برای•: دیجیتال تصویر انواع
– : اعداد از ماتريسی سفيد و سياه تصوير–: رنگی تصوير ترکیب عکس وسفید سه سیاه–: باينری 1عکس 0،
روباتیک در تصویر
1 pixel
•: سفید و سیاه تصویرشدت – عنوان به عدد یک اختصاص
.Intensityروشنایی) پیکسل( هر بهروشنایی – 8bitبرای 255تا 0میزان
•: رنگی تصویر–RGB :مقادیر برای عدد سه پیکسل R,G,Bاختصاص هر به
–YUV :مشکلRGB تراز ساده وهمچنین ندارد میباشدHSIرا
رباتیک:• .کاربرد
–Y’U’V’: ی شده YUVاصالح
–HIS( :گرافیکی کارهای برای و...(photoshopمناسب
•RGB• ).... ( مانیتورو تصویر یک نمایش برای مناسب•! نیست مناسب تصویر روی پردازش برای اما
های: • مولفه از کدام هر تغییر با دلیل(Red,Green,Blue “ تغییر( ” آن رنگ تنها نه تصویر یک
“ “ “ بودن ” وروشن تیره و روشنایی میزان بلکه میکند “ ” . را پیکسل یک قرمزیت اگر مثال میکند تغییر هم آن
پیکسل شدن قرمزتر بر عالوه دهیم افزایش ) ( نامطلوب اثر میابد افزایش هم آن روشنایی شدت
: نظیر رنگ سیستمهای سایر از استفاده حل HSIراه
•RGB• ).... ( مانیتورو تصویر یک نمایش برای مناسب•! نیست مناسب تصویر روی پردازش برای اما
های: • مولفه از کدام هر تغییر با دلیل(Red,Green,Blue “ تغییر( ” آن رنگ تنها نه تصویر یک
“ “ “ بودن ” وروشن تیره و روشنایی میزان بلکه میکند “ ” . را پیکسل یک قرمزیت اگر مثال میکند تغییر هم آن
پیکسل شدن قرمزتر بر عالوه دهیم افزایش ) ( نامطلوب اثر میابد افزایش هم آن روشنایی شدت
: نظیر رنگ سیستمهای سایر از استفاده حل HSIراه
تصویر ی ذخیره
اعداد • ی )R,G,Bذخیره خام صورت (RAWبه
وتبدیل • سازی فشرده–JPEG–TIFF–…
می • بین از را عکس از اطالعاتی سازی فشردهبرد.
سنسورهای • تصویر: انواع–CCD–CMOS
CCD
تصویر • سنسور ترین استفاده پرازفتوسل: • بعدی دو شبکه ساختمانمتصل: • نوری دیود فتوسل
خازن یک بهبین • .µF40تا 5خازنها
• : خازنها دشارژ کار اساسدریافتی متناسب نور شدت با
بین • Mp 20تا 0.2رزولوشن
سطری • پردازش• ( نزدیک پایین های فرکانس به نسبت حساسیت
قرمز(. باالتراست
•: ها فتوسل 10000تا 50بین ISOحساسیت
CCD رنگی
• : هر از استفاده اول عنوان 4روش به 1سلپیکسل.
سبز – برای سل دو و قرمز و آبی برای سل یک–. شود: ¼ می رزولوشن عیب
•: دوم یک روش از استفادهCCD . رنگ هر برایدیسک – از استفاده
منشور – از استفاده
–. بودن: گرانقیمت عیب
White Balance:رنگ – مرجع تنظیم
CCDعیوب •دینامیک – نور در نامناسب تصویر–Bloomingبه – نسبت باال CMOSقیمت
CMOSComplementary Metal-oxidesemiconductor) )
از شبکه• cmosایcmosمزایای •
– ( انرژی محدودیت مصرفتر کم و ارزانتر ) روباتیک درکوچکتر – ی اندازه– ( از نیاز بی موازی پردازش memoryو clock )
:معایب•– ( معموال پایین (100حساسیت کمتر یاپایین – یا svga 800x600معموال (رزولوشن
xvga1024x768)
روباتیک • و موبایل های گوشی در کاربرد
تصویر سنسور خروجی
آنالوگ.1–NTSC –PAL
دیجیتال.2–Usb,usb2.0–IEEE1394–( سریال RS-232)پورت
در تصویر پردازش کاربردهایمکاترونیک
•Mobile Robotsمحیط – درکسنجی – موقعیتسنجی – فاصلهسنجی – جابجاییاشیاء – با تعاملخاص – شخص یا شی تشخیص
....-
صنعتی • روباتهای–( کیفیت QC)کنترلمحصول – شمارشمعیوب – محصول شناسایی
Vision انواع
•Passive visionثابت – گر مشاهده
•Active Vision–. دارد تعامل محیط با گر مشاهده–zoom,diaphragm,field of vision . است تغییر قابل
سنجی فاصله
•. است مهم بسیار متحرک های روبات در( vision based،لیزری،تصویری)Ultrasonicانواع: •
تصویر کمک به سنجی فاصله
•. : کند می حذف را عمق دوبعدی عکس اصلی ی مسئلهاطالعات آبدست • ک 3وردن بعدی دو عکس از ر ابعدی
!ستسختي• : تصویر یک جای به تصویر چند یا دو از استفاده حل راه
–. باشند متفاوت حرکت الگوریتم دید ی زاویه در تصویر دو•Depth from stereo
میدان )– عمق در تصویر .focusدو باشند ( متفاوت•Depth from focus•Depth from defocus
Depth from focus
•1/f=1/p+1/q اتوماتیک • دیجیتال های دوربین عملکرد مشابه
به – تا میکند تغییر تصویر ی صفحه و لنز ی فاصله.برسیم sharpnessبیشترین
–q=Lδ/2r
) (. موتور: سرو از استفاده است کند روش این عیب : دوربین چند از استفاده حل راه
. ثابت و مختلف کانونی فاصله باسنکرون – صورت به دوربینها
. گیرند می ثانیه در عکس چند
و شده تقسیم قسمت چند به عکس هر هر sharpnessمعموال. میشود محاسبه جداگانه قسمت
تخمین و برخورد از جلوگیری برای و نیست دقیق روش این. شود می استفاده فاصله
Depth from Defocus
عکس • یکسان زاویه یک از متفاوت دوربین دومیگیرند.
مزایا:•–). ( ندارد سرچ الگوریتم به نیازی زیاد بسیار دقت و سرعتوجود – دوربینها از یکی در جسم تصویر نداشتن مشکل
). گیرند. ) می عکس زاویه یک از دوربین دو ندارد
را • دوربینها از یکی pinhole apertureمعموال(. کنیم می ( L=0فرض
مجهول – یک معادله یک به محاسبات تقلیل–. است دقیق میکروسکوپی های اندازگیری برای روش این
(97)%–. شود می کم دقت فاصله افزایش بادر – نور شدت بودن کم normalizeنیازبه ) pinholeمشکل
کردن(
Depth from Stereo Vision
روباتیک • در مشاهده روش کاربردترین پرانسان • چشم مشابه ساختار
می – عکس مختلف زاویه دو از مشابه دوربین دوگیرند.
عکس – 3Dبه 2Dتبدیلدر – ولی است متغیر عدسی دو زاویه چشم در
. موازیند عدسی دو معموال روباتیک
مقایسه
P
P’ P’’
Fixationpoint F
:stereo visionخصوصیات •دوربین disparityافزایش – دو ی فاصله افزایش با
نداشتن: • احتمال دوربین دو ی فاصله افزایش با محدودیت. شود می بیشتر آنها از یکی در تصویر
–Disparity. دارد عکس نسبت فاصله با عکس دو
–( تصویر دو روی متناظر های نقطه Conjugateزوجpair )رویepipolar line. دارند قرار
Stereo VisionStereo Vision
داشتن با جسم فضایی تصویر تشکیل آن 2چگونگی از تصویر
تصویر • صفحهسمت دوربین
چپ
تصویر • صفحهسمت دوربین
راست
کانون کانون
Stereo VisionStereo Vision
Stereo VisionStereo Vision
Stereo VisionStereo Vision
Stereo VisionStereo Vision
Stereo VisionStereo Vision
Stereo VisionStereo Vision
Stereo VisionStereo Vision
•:a راست و چپ تصویر•b :لبه فیلتر اعمال•d:disparity) فاصله) میزان
در اصلی ی stereo visionمسئله
را • تصویر دو در متناظر نقاط چگونه روباتدهد؟ تشخیص
جستجو – الگوریتم از معموال تشخیص روشهای: کنند می استفاده
•zero crossing of laplacian of gaussian•Gray lavel matching•Epipolar lineروشنایی • شدت تطبیق
سنجی جابجایی
•Motion field :شده داده اختصاص سرعت بردار. تصویر از نقطه هر به
توان • می تصویر روش به سنجی جابجایی برایسنجش .optical flowاز کرد استفاده
•Optical Flow :با تصویر روشنایی الگوی تغییر. نور منبع یا گر مشاهده یا جسم حرکت
کنیم • می optical flowبا motion fieldفرض. است متناسب
•: نیست صحیح همواره فرض این البته
•(u,v) :بردارMotion field
•Et=0•Ex,Ey معلومبردار • .(u,v)جهت آید می بدست
)Color tracking رنگ )تشخیص
یابی • موقعیت کاربرد برای اشیاء تشخیص ودارد.
سایر: • و دروازه توپ، فوتبالیست روبات مثال: دهد می تشخیص رنگ روی از را ها روبات
•: رنگ تشخیص مهم امتیاز دوو – مطابقت دارد،مشکالت نیاز عکس یک به تنها
. ندارد را جستجو الگوریتمدارد – تصویر سنسورهای سایر از مستقل عملکردی
. گیرد قرار آنها کنار در میتواند و
•: رنگ تشخیص سنسور انواع–: افزاری سخت
•Cognachrome color-tracking system •CMUcam robotic vision sensor
–: افزاری نرم•CMVision color tracking software library•Halkon library
Cognachrome color-tracking system
قدرتمند • و سریع بسیارمحاسبه • فریم 25قدرت هر در آیتم
( FR:60Hz,Res:800x600)رنگ • RGBسیستم•Constant tresholding :را رنگ هر حداقل و حداکثر کاربر
(. فضای در مکعب یک کند می (RGBمشخصفتوشاپ – جادویی عصای ابزار شبیه
•. کند نمی اعمال اصلی ی پردازنده بر باری سنسور این– (. مثل دارد مخصوص ی (Motorola 68332پردازنده
•. است گرانقیمت بسیار
CMUcam Robotic vision system
•. قبل سیستم از ارزانتر بسیارسنسور • از cmosاستفاده•FR:20Hz,Res:143x80رنگ • YUVیا RGBسیستممجزا • ی SX28پردازنده
CMVison color tracking library
گرافیکی • کتابخانه از Intel computer visionبخشیlibrary
سازی • و CMUcamپیاده افزاری نرم صورت به. اصلی ی پردازنده از استفاده
رنگ • YUVسیستم•FR:30Hz,Res 160x120 (کامپیوتر یک (pentium300Mhzبا
دیگر • مهم گرافیکی ی Halcon library(C++)کتابخانه
باينری به تبديل
◦ ! اطالعات دادن ازدست يکنواخت؟ کونتيزاسيون◦ patterning◦Dethering◦diffusion
ست • دوبعدی سيگنال يک کلی حالت در تصويرسيگنال سر که باليی هر خوبی تقريب با 1و
: بياريم ميتونيم هم سرعکس مياوريم بعدیفوريه • تبديلکانولوشن•کردن • فيلتر•..…
کانولوشن
دی کانولوشن
پایین فیلترگذر
نگذر • پایین فیلتر
سینوسی
سینوسیفرکانس
باالتر
حوزه درفرکانس:
Sin با متناظر2) نقطه) ضربه
عکس • مکانی دوران
فرکانس حوزه در دوران
گسسته کانولوشن
پیوسته کانولوشن
نويز گذر حذف پايين فيلترگيری • ( sink )متوسطآل ايده•گوسی•باترورث•
111111111
*9/1
Original Uniform Gaussian
گيری • مشتق
•) دوم) مشتق الپالسينلبه کاربرد:– تشخيصتصوير – های لبه کردن (image sharpeningimage sharpening))تيز
SEGMENTATION
تصوير • مختلف های قسمت کردن جدا–) ( تصوير اجزاء بين مرز لبه کردن edge detectionپيدا
خوب • الگوريتم يه معيارندهد – دست ازنويز – وجود با لبه دقيق محل–! دهد تشخيص لبه تشخیص) يک لبه چند را لبه یک نویز وجود با
ندهد(
لبه تشخيص های :الگوريتم
–Canny–Susan–Contour (snake)–Sobel) مشتق)–....
Corner Detectors مقایسهOperatorDetection RateLocalizationRepeatability RateRobustness to
NoiseSpeed
BeaudetFairFairPoor for scaling,good for affine transformations
PoorGood
MoravecFairGoodFairFairGood
Kitchen & RosenfeldFairFairFairFairPoor
ForstnerGoodGoodExcellent for affine transformations,fair for scaling
GoodPoor
Plessey
GoodGood for L-junctions, poor for all other types
Excellent for affine transformations if isotropicgradient calculations are used,fair for scaling
FairPoor
DericheFair (?)GoodGoodPoorGood
Wang & BradyGoodGoodGoodFairGood
SUSANGoodBad for blurred images,very good otherwise
Good for scaling, poor for affine transformations
ExcellentGood
CSS
GoodGoodExcellentGoodHighly dependent onedge detector used
Trajkovic & Hedley (4-neighbours)
PoorGoodFair(not rotationally invariant)
Poor
Excellent
Trajkovic & Hedley(8-neighbours)
FairGoodFair+(not rotationally invariant)
GoodExcellent
Zheng & WangGoodGood for L-junctions, fair for all other types
Excellent for affine transformations,fair for scaling
FairFair
صاف خطوط تشخيص
•Hough transform•Radon trf•Split and merge•Linear regression•Nondeterministic
–RANSAC (Random Sample Consensus.)–Expectation-Maximization
•Incremental (Line-Tracking)
عکس peakاین در خط یک با متناظرمیباشد
Houghمیشود نقطه یک به تبدیل خط .هر
Split-and-merge is the fastest, best real-time applications.
Incremental is also good candidate for SLAM by its low FalsePos.
–Morphologyمجموعه :اساس– نظريه
•Dilation چاق•Erosion الغر•Opening چاق بعد الغر اول•Closing برعکس حاال•Hit and miss خاص الگوي يک مطابقت•Thining
–Skeltanize
Dilation Erosion Opening ClosingOpening IoB= )IB)BDilatation IBErosion IBImage I
Closing I•B= )IB)B TopHat)I)= I - )IB) BlackHat)I)= )IB) - IGrad)I)= )IB)-)IB)
حذف •سیمهای
تصویر aبرقتصویر bدر
حذف •سیمهای
تصویر aبرقتصویر bدر
حذف •خطوط
تصویر افقیوسط
حذف •خطوط
تصویر افقیوسط
Skletanizeبه رسیدن تا جسم های لبه استخوان تراشیدن
(!)
های • segmentationالگوريتم–Histogram–Region based seg.
•Seed growing•Region split•Watershed•Pattern recognition
▫texture
Cognition•Cognitionو هدفمندانه گیری تصمیم از است عبارت
هدف یک به نیل برای سیستم یک توسط آن اجرای.باال سطح
این روبات یک در• navigation مسئله متوجه امر متحرک اطالعات داشتن با روبات تا میشود باعث که است موقعیت به بتواند سنسورها مقادیر و محیط از جزئی.برسد هدف
•Navigation برای عمليات سری یک اجرای شامل (planing )میشود هدف به رسیدن
Path planning امر یک متحرک روباتهای برای مسیریابی مسئله•
صنعتی رباتهای برای از قبل اما است اساسی زمینه این در زیادی مطالعات و بوده مطرح نیز
.است شدهعلت • روباتهای آزادی درجات محدودیت به
از تر ساده آنها برای مسئله این متحرک.میباشد صنعتی روباتهای
Obstacles
Free Space
Robot
x,y
Obstacles
Free Space
Robotشود ( می درنظرگرفته نقطه عنوان x,y)به
Path Planning داشته وجود محیط از مناسب نقشه یک که میشود فرض•
:باشدتوپولوژیک• متریک•دو از ترکیبی یا• این
گسسته نقشه یک به نقشه تبدیل مسیریابی از مرحله اولین•:شود انجام است ممکن طریق چند به اینکار. است
•Visibility Graph•Voronoi Diagram•Cell Decomposition Connectivity Graph•Potential Field
Visibility Graph
•G: non-directed graph ها • ضلعی چند رئوس و هدف و شروع نقطه از عبارتند ها گرهبدست • نقطه دو اتصال از که مستقیمی خطوط از عبارتند ها یال
. نمیکنند قطع را مانعی هیچ و آیند می
qinit
qGoal
Voronoi Diagram
The Wavefront planner کوتاهترین تعیین برای میتوان الگوریتم این از•
.نمود استفاده نقطه دو بین فاصله انجام breadth first جستجوی یک حقیقت در•
.میدهد:اولیه دهی مقدار•
میشود گذاری عالمت 0 با آزاد فضای–.میشوند گذاری عالمت 1 با موانع–.میشود گذاری عالمت 2 با مقصد–
The Wavefront planner
The Wavefront planner مجاور سلولهای و کرده شروع هدف نقطه از•
.میدهیم افزایش یکواحد را آن
The Wavefront planner.میکنیم عمل مجاور سلولهای برای ترتیب همین به•
The Wavefront planner از شروع با مسیر کوتاهترین کردن پیدا برای•
عددی مقدار که میکنیم حرکت درجهتی مبدا.شود کمتر سلولها
Potential Field Path Planning نقشه در گرادیانی یا و میدان یک روش این•
میکند ایجاد روبات تحت که میشود فرض نقطه یک بصورت روبات•
روبات. دارد قرار U(q) پتانسیل میدان یک تاثیر مسیر دارد قرار سرازیری در که توپی همانند.میکند دنبال را میدان
موانع و جاذب نیروی یک بصورت هدف نقطه–.میکنند عمل دافع نیروهای بصورت
Potential Field Path Planning
Parabolic Well for GoalExponential Source for Obstacle
Obstacle Avoidance
میتواند فقط مسیریاب یک• از که بگیرد نظر در را اشیائی
.باشند مشخص قبل یک در است ممکن عمل در•
اشیا وجود بعلت پویا محیط نقشه دقت عدم یا و جدید
با روبات سنسورهای قرائت نقشه در موجود مقادیر
.باشد نداشته همخوانی
Obstacle Avoidance: Bug2
دور را مانع محیط روبات روش این در هدف بسوی راهی اینکه محض به و میزند
.میشود جدا آن از کرد پیدا
نقشه
•Grid-based map–Egocentric (بهview point). دارد بستگی روبات
–Allocenteric (چند (Egocentricترکیبالگوریتم • محیط monte carloبا در را خود موقعیت
. دهد می تشخیص
ی – Grid mapتهیه•Sonar sensorلیزر•
Graph-based maps
•Topological mapگراف: – ی نظریه اساس– ( محیط نامشخص مشخص،مکان جسم ماهیت
دینامیک(–Node ها :)... ( در،دیوار استاتیک اجسام
مسیر ) Path Planning) انتخاب
•. است بهتر طوالنی مسیرهای برای توپولوژیکال ی نقشهو • توپولوژیک ی نقشه ترکیب از معموال
Accupancy) (. باال بازده شود می استفاده–Thrun and Bucken
•Global path planning–Snapshot . شود می ذخیره گره یک در محیط یک–)... (. و زاویه،اندازه ندارد متریک اطالعات–Schoelkopf and Mallot–Homing Algorithm
يک • در محاسبه snapshotروبات مجاور های گره تمام به مسير است، .ميشود
•( محلی مسیر Local path planning)انتخابTaniتوسط •مراحل:•
ی – نقشه ی topologicalتهیهمسیر – کوتاهترین انتخاب–. نباشد آن در مانع که هایی مکان
Globalو Localتلفیق •Heinze و taubigتوسط •
–. کند می کار خوب ساختمان داخل های محیط در–Local و دهد، می پیشنهاد انتخاب globalچند را یکی
. کند می
Self Localization
Monte Carloو markovالگوریتم •مقاوم: – سنسورها اشتباه و نویز به نسبت ویژگی
است.نسبی – ماکسیمم چند شدن پیدا به منجر الگوریتم
احتمالی موقعیت یک متناظر کدام هر که شود می. است روبات
محاسبات – حذف maxتمام cyclicبا یکی جز را ها. کند می
) احتمال) از استفاده با
Depth Reconstruction
اشیاء • شناسایی و یابی جهت برای ضروری•: ها الگوریتم
دیده – مختلف ی نقطه دو از جسم یک((stereovisionشود.
–Focusingنسبی – عمق
occlusionآنالیز •
–Structured Light
3D reconstruction with edge gradian
•Winkelbach,wahlو • دوربین نورمورب 2یک منبعمورب • خطهایگرادیان • عملگرآوردن • Local surface Normalبدست
Image sequence Analysis
محیط • اشیاء از بعدی سه اطالعات•. دارد نیاز دوربین یک به تنهاتخمین • از Kalman استفاده
مراحل:–• ) اطراف ) دینامیکی محیط حالت معادالت تشکیل• ) حاالت ) دانستن با محیط بعدی وضعیت حالت تخمین برای تالش
قبل
Self learning Algorithm
عصبی • های شبکه•Self organizing mapبوسیله • ربات هدایت معموال
فازی یا عصبی شبکه های الگوریتممیگیرد صورت
Extended Rapidly-Exploring Random Trees
تجربه یک در ها الگوریتم ی مقایسه
•High-pass :ساختمان داخل های محیط برای. است خوب
•Gabor. کند: می کار خوب متغیر نور در•Sobel
•Color feature. نیست: خوب داخل محیط برای
منابع• اینترنت• Gonzales,Image processing• Russ,Handbook of image processing• NOURBAKHSH, Introduction to Autonomous Mobile Robots• Stefan Florczyk ,Robotic vision