homography notebook

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%22%0A%23%20dependencies%20%3D%20%5B%0A%23%20%20%20%20%20%22marimo%3E%3D0.21.1%22%2C%0A%23%20%20%20%20%20%22matplotlib%3E%3D3.10.8%22%2C%0A%23%20%20%20%20%20%22numpy%3E%3D2.4.3%22%2C%0A%23%20%20%20%20%20%22wigglystuff%3E%3D0.3.1%22%2C%0A%23%20%5D%0A%23%20%2F%2F%2F%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.21.1%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22)%0A%0A%0A%40app.cell%0Adef%20imports()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%20%20%20%20import%20numpy%20as%20np%0A%20%20%20%20import%20matplotlib.pyplot%20as%20plt%0A%20%20%20%20from%20wigglystuff%20import%20Matrix%0A%0A%20%20%20%20return%20Matrix%2C%20mo%2C%20np%2C%20plt%0A%0A%0A%40app.cell%0Adef%20intro(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20Homography%3A%20The%20Geometry%20Behind%20Camera%20Calibration%0A%0A%20%20%20%20When%20getting%20into%20machine%20vision%2C%20one%20of%20the%20first%20terms%20to%20be%20thrown%20around%20is%20**homography**.%20People%20just%20say%20it%20as%20if%20it's%20plain%20English.%20But%20it's%20Greek.%20Homo-%20menas%20%22same%22%20and%20-graphy%20menas%20%22drawing%22%20or%20%22writing%22.%20So%20it's%20same-drawing%20in%20the%20sense%20that%20it%20is%20a%20transformation%20that%20preserves%20the%20structure%20of%20a%20drawing.%20Points%20on%20a%20line%20stay%20on%20a%20line.%20That%20line%20may%20itself%20be%20transformed%20and%20its%20relation%20to%20other%20lines%20(angles%20for%20example)%20may%20not.%0A%0A%20%20%20%20A%20homography%20is%20a%20projective%20transformation%20that%20maps%20points%20on%20one%20plane%20to%0A%20%20%20%20points%20on%20another%20plane.%20This%20is%20what%20happens%20when%20we%20change%20our%20perspective%20on%20a%20scence%20for%20example%20and%20so%20it%20shows%20up%20everywhere%20in%20computer%20vision.%0A%0A%20%20%20%20The%20point%20of%20this%20notebook%20is%20to%20try%20and%20build%20intuition%20for%20homographies%20step%20by%20step%2C%20and%20mabye%20in%20a%20future%20post%20I'll%20get%20into%20how%20that%20is%20used%20in%20additional%20foundational%20steps%20in%20computer%20vision%2C%20such%20as%20in%20camera%20calibration.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20homography_math(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20The%20Math%3A%20What%20Is%20a%20Homography%3F%0A%0A%20%20%20%20Technically%2C%20if%20you%20go%20to%20wikipeadia%20or%20somethin%2C%20you%20see%20a%20homography%20%24%5Cmathbf%7BH%7D%24%20is%20a%20%243%20%5Ctimes%203%24%20matrix%20that%20maps%20**homogeneous**%202D%20points%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cbegin%7Bbmatrix%7D%20x'%20%5C%5C%20y'%20%5C%5C%20w'%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%5Csim%0A%20%20%20%20%5Cbegin%7Bbmatrix%7D%20h_%7B11%7D%20%26%20h_%7B12%7D%20%26%20h_%7B13%7D%20%5C%5C%20h_%7B21%7D%20%26%20h_%7B22%7D%20%26%20h_%7B23%7D%20%5C%5C%20h_%7B31%7D%20%26%20h_%7B32%7D%20%26%20h_%7B33%7D%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%5Cbegin%7Bbmatrix%7D%20x%20%5C%5C%20y%20%5C%5C%201%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20**But%20what%20are%20homogeneous%20coordinates%3F**%20Instead%20of%20representing%20a%202D%20point%20as%20%24(x%2C%20y)%24%2C%0A%20%20%20%20we%20write%20it%20as%20a%203-element%20vector%20%24%5Bx%2C%20y%2C%201%5D%5ET%24%20%E2%80%94%20just%20tack%20on%20a%201.%20The%20trick%20is%20that%0A%20%20%20%20%24%5Bx%2C%20y%2C%201%5D%24%2C%20%24%5B2x%2C%202y%2C%202%5D%24%2C%20and%20%24%5Bkx%2C%20ky%2C%20k%5D%24%20all%20represent%20the%20**same**%20point%20%E2%80%94%0A%20%20%20%20to%20recover%20the%20pixel%20location%20you%20divide%20by%20the%20last%20element%3A%20%24(x%2Fw%2C%20%5C%3B%20y%2Fw)%24.%0A%20%20%20%20That%20division%20is%20called%20the%20**perspective%20divide**.%0A%0A%20%20%20%20Why%20bother%3F%20Because%20it%20lets%20us%20express%20translation%2C%20rotation%2C%20scaling%2C%20*and*%0A%20%20%20%20perspective%20as%20a%20single%20matrix%20multiplication.%20In%20regular%20%24(x%2C%20y)%24%20coordinates%2C%0A%20%20%20%20translation%20needs%20addition%20(%24x%20%2B%20t_x%24)%2C%20so%20you%20can't%20compose%20all%20transforms%0A%20%20%20%20as%20matrix%20products.%20Homogeneous%20coordinates%20fix%20that%20%E2%80%94%20everything%20is%20just%0A%20%20%20%20%24%5Cmathbf%7BH%7D%20%5Ccdot%20%5Bx%2C%20y%2C%201%5D%5ET%24.%0A%0A%20%20%20%20The%20output%20pixel%20is%20%24(u%2C%20v)%20%3D%20(x'%2Fw'%2C%20%5C%3B%20y'%2Fw')%24.%20Since%20%24%5Cmathbf%7BH%7D%24%20is%20defined%20up%20to%0A%20%20%20%20scale%2C%20it%20has%20**8%20degrees%20of%20freedom**.%0A%0A%20%20%20%20%23%23%23%20What%20each%20part%20controls%0A%0A%20%20%20%20%7C%20Region%20%7C%20Entries%20%7C%20Effect%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C%0A%20%20%20%20%7C%20Top-left%20%242%20%5Ctimes%202%24%20%7C%20%24h_%7B11%7D%2C%20h_%7B12%7D%2C%20h_%7B21%7D%2C%20h_%7B22%7D%24%20%7C%20Rotation%2C%20scale%2C%20shear%20(affine)%20%7C%0A%20%20%20%20%7C%20Right%20column%20(top%202)%20%7C%20%24h_%7B13%7D%2C%20h_%7B23%7D%24%20%7C%20Translation%20%7C%0A%20%20%20%20%7C%20Bottom%20row%20%7C%20%24h_%7B31%7D%2C%20h_%7B32%7D%24%20%7C%20**Perspective**%20%E2%80%94%20makes%20parallel%20lines%20converge%20%7C%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20generate_source_image(mo%2C%20np%2C%20plt)%3A%0A%20%20%20%20def%20_make_colored_grid(rows%3D4%2C%20cols%3D6%2C%20square_px%3D80)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Create%20a%20colorful%20grid%20image%20for%20warping%20demos.%22%22%22%0A%20%20%20%20%20%20%20%20_h%20%3D%20rows%20*%20square_px%0A%20%20%20%20%20%20%20%20_w%20%3D%20cols%20*%20square_px%0A%20%20%20%20%20%20%20%20_img%20%3D%20np.zeros((_h%2C%20_w%2C%203)%2C%20dtype%3Dnp.uint8)%0A%20%20%20%20%20%20%20%20_colors%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20(220%2C%2050%2C%2050)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(50%2C%20180%2C%2050)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(50%2C%2050%2C%20220)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(220%2C%20180%2C%2050)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(180%2C%2050%2C%20220)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(50%2C%20200%2C%20200)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(220%2C%20120%2C%2050)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(120%2C%20220%2C%2050)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20for%20_r%20in%20range(rows)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20_c%20in%20range(cols)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_color%20%3D%20_colors%5B(_r%20*%20cols%20%2B%20_c)%20%25%20len(_colors)%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_img%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_r%20*%20square_px%20%3A%20(_r%20%2B%201)%20*%20square_px%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_c%20*%20square_px%20%3A%20(_c%20%2B%201)%20*%20square_px%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%20%3D%20_color%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%23%20Add%20a%20label%20in%20each%20cell%0A%20%20%20%20%20%20%20%20%23%20Draw%20grid%20lines%0A%20%20%20%20%20%20%20%20for%20_r%20in%20range(rows%20%2B%201)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_img%5Bmin(_r%20*%20square_px%2C%20_h%20-%201)%2C%20%3A%5D%20%3D%20(255%2C%20255%2C%20255)%0A%20%20%20%20%20%20%20%20for%20_c%20in%20range(cols%20%2B%201)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_img%5B%3A%2C%20min(_c%20*%20square_px%2C%20_w%20-%201)%5D%20%3D%20(255%2C%20255%2C%20255)%0A%20%20%20%20%20%20%20%20return%20_img%0A%0A%0A%20%20%20%20source_image%20%3D%20_make_colored_grid()%0A%20%20%20%20_fig_src%2C%20_ax_src%20%3D%20plt.subplots(1%2C%201%2C%20figsize%3D(8%2C%205))%0A%20%20%20%20_ax_src.imshow(source_image)%0A%20%20%20%20_ax_src.set_title(%22Source%20Image%3A%20Colored%20Grid%20(320%C3%97480)%22)%0A%20%20%20%20_ax_src.axis(%22off%22)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%0A%20%20%20%20%23%23%20An%20image%20to%20manipulate%0A%0A%20%20%20%20In%20the%20following%20sections%20we%20will%20explore%20how%20a%20square%20grid%20is%20transformed%20by%20a%20Homography.%20%0A%0A%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig_src%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20(source_image%2C)%0A%0A%0A%40app.cell%0Adef%20warp_helper(np)%3A%0A%20%20%20%20def%20homography_warp(image%2C%20H%2C%20output_size%3DNone%2C%20border_value%3D(40%2C%2040%2C%2040))%3A%0A%20%20%20%20%20%20%20%20%22%22%22Warp%20an%20image%20using%20explicit%20matrix%20multiplication%20(no%20cv2.warpPerspective).%0A%0A%20%20%20%20%20%20%20%20For%20each%20output%20pixel%20(u%2C%20v)%2C%20we%20compute%20the%20source%20pixel%20via%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%5Bx%2C%20y%2C%20w'%5D%5ET%20%3D%20H_inv%20%40%20%5Bu%2C%20v%2C%201%5D%5ET%0A%20%20%20%20%20%20%20%20%20%20%20%20src%20%3D%20(x%20%2F%20w'%2C%20%20y%20%2F%20w')%0A%20%20%20%20%20%20%20%20then%20sample%20the%20source%20image%20with%20nearest-neighbor%20interpolation.%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20_h%2C%20_w%20%3D%20image.shape%5B%3A2%5D%0A%20%20%20%20%20%20%20%20_oh%2C%20_ow%20%3D%20output_size%20if%20output_size%20else%20(_h%2C%20_w)%0A%0A%20%20%20%20%20%20%20%20_H_inv%20%3D%20np.linalg.inv(H)%0A%0A%20%20%20%20%20%20%20%20%23%20Build%20grid%20of%20every%20output%20pixel%20in%20homogeneous%20coords%3A%20(3%2C%20oh*ow)%0A%20%20%20%20%20%20%20%20_vs%2C%20_us%20%3D%20np.mgrid%5B0%3A_oh%2C%200%3A_ow%5D%0A%20%20%20%20%20%20%20%20_coords%20%3D%20np.stack(%5B_us.ravel()%2C%20_vs.ravel()%2C%20np.ones(_oh%20*%20_ow)%5D%2C%20axis%3D0)%0A%0A%20%20%20%20%20%20%20%20%23%20THE%20KEY%20STEP%3A%20matrix%20multiply%20H_inv%20%40%20%5Bu%2C%20v%2C%201%5D%0A%20%20%20%20%20%20%20%20_src%20%3D%20_H_inv%20%40%20_coords%20%20%23%20(3%2C%20N)%0A%0A%20%20%20%20%20%20%20%20%23%20Perspective%20divide%3A%20convert%20homogeneous%20-%3E%20Euclidean%0A%20%20%20%20%20%20%20%20_src_x%20%3D%20_src%5B0%5D%20%2F%20_src%5B2%5D%0A%20%20%20%20%20%20%20%20_src_y%20%3D%20_src%5B1%5D%20%2F%20_src%5B2%5D%0A%0A%20%20%20%20%20%20%20%20%23%20Nearest-neighbor%20sampling%0A%20%20%20%20%20%20%20%20_ix%20%3D%20np.round(_src_x).astype(np.int64)%0A%20%20%20%20%20%20%20%20_iy%20%3D%20np.round(_src_y).astype(np.int64)%0A%0A%20%20%20%20%20%20%20%20_valid%20%3D%20(_ix%20%3E%3D%200)%20%26%20(_ix%20%3C%20_w)%20%26%20(_iy%20%3E%3D%200)%20%26%20(_iy%20%3C%20_h)%0A%0A%20%20%20%20%20%20%20%20_out%20%3D%20np.full((_oh%2C%20_ow%2C%203)%2C%20border_value%2C%20dtype%3Dnp.uint8)%0A%20%20%20%20%20%20%20%20_out_flat%20%3D%20_out.reshape(-1%2C%203)%0A%20%20%20%20%20%20%20%20_out_flat%5B_valid%5D%20%3D%20image%5B_iy%5B_valid%5D%2C%20_ix%5B_valid%5D%5D%0A%0A%20%20%20%20%20%20%20%20return%20_out.reshape(_oh%2C%20_ow%2C%203)%0A%0A%20%20%20%20return%20(homography_warp%2C)%0A%0A%0A%40app.cell%0Adef%20homography_presets(mo%2C%20np)%3A%0A%20%20%20%20import%20math%0A%0A%20%20%20%20_angle%20%3D%20math.radians(15)%0A%20%20%20%20_cos%2C%20_sin%20%3D%20math.cos(_angle)%2C%20math.sin(_angle)%0A%0A%20%20%20%20presets_dict%20%3D%20%7B%0A%20%20%20%20%20%20%20%20%22Identity%22%3A%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B1.0%2C%200.0%2C%200.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.0%2C%201.0%2C%200.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.0%2C%200.0%2C%201.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22Translation%22%3A%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B1.0%2C%200.0%2C%2080.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.0%2C%201.0%2C%2040.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.0%2C%200.0%2C%201.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22Rotation%2015%5Cu00b0%22%3A%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B_cos%2C%20-_sin%2C%200.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B_sin%2C%20_cos%2C%200.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.0%2C%200.0%2C%201.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22Scale%20%2B%20Shear%22%3A%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B1.3%2C%200.2%2C%200.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.0%2C%200.9%2C%200.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.0%2C%200.0%2C%201.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22Mild%20perspective%22%3A%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B1.0%2C%200.0%2C%200.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.0%2C%201.0%2C%200.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.0003%2C%200.0002%2C%201.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%22Strong%20perspective%22%3A%20np.array(%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B1.0%2C%20-0.1%2C%2020.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.05%2C%201.0%2C%2010.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B0.0008%2C%20-0.0005%2C%201.0%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%7D%0A%0A%20%20%20%20h_preset%20%3D%20mo.ui.radio(%0A%20%20%20%20%20%20%20%20options%3D%7Bname%3A%20name%20for%20name%20in%20presets_dict%7D%2C%0A%20%20%20%20%20%20%20%20value%3D%22Identity%22%2C%0A%20%20%20%20%20%20%20%20label%3D%22Load%20a%20preset%20homography%3A%22%2C%0A%20%20%20%20)%0A%20%20%20%20return%20h_preset%2C%20presets_dict%0A%0A%0A%40app.cell%0Adef%20matrix_widget(Matrix%2C%20h_preset%2C%20mo%2C%20presets_dict)%3A%0A%20%20%20%20_selected%20%3D%20presets_dict%5Bh_preset.value%5D%0A%0A%20%20%20%20h_affine%20%3D%20mo.ui.anywidget(%0A%20%20%20%20%20%20%20%20Matrix(%0A%20%20%20%20%20%20%20%20%20%20%20%20_selected%5B%3A2%2C%20%3A2%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20step%3D0.01%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20digits%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20row_names%3D%5B%22row%201%22%2C%20%22row%202%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20col_names%3D%5B%22col%201%22%2C%20%22col%202%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20h_translation%20%3D%20mo.ui.anywidget(%0A%20%20%20%20%20%20%20%20Matrix(%0A%20%20%20%20%20%20%20%20%20%20%20%20_selected%5B%3A2%2C%202%3A3%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20step%3D1.0%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20digits%3D1%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20row_names%3D%5B%22t%5Cu2093%22%2C%20%22t%5Cu1d67%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20col_names%3D%5B%22px%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20h_perspective%20%3D%20mo.ui.anywidget(%0A%20%20%20%20%20%20%20%20Matrix(%0A%20%20%20%20%20%20%20%20%20%20%20%20_selected%5B2%3A3%2C%20%3A2%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20step%3D0.0001%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20digits%3D4%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20row_names%3D%5B%22row%203%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20col_names%3D%5B%22h%5Cu2083%5Cu2081%22%2C%20%22h%5Cu2083%5Cu2082%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20h_scale%20%3D%20mo.ui.anywidget(%0A%20%20%20%20%20%20%20%20Matrix(%0A%20%20%20%20%20%20%20%20%20%20%20%20_selected%5B2%3A3%2C%202%3A3%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20step%3D0.01%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20digits%3D2%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20row_names%3D%5B%22row%203%22%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20col_names%3D%5B%22h%5Cu2083%5Cu2083%22%5D%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%20%20%20%20%23%23%20Build%20a%20Homography%20%0A%0A%20%20%20%20%20%20%20%20Let's%20play%20around.%20First%20select%20a%20preset%20for%20H.%20This%20sets%20the%20warped%20image%20and%20shows%20the%20H%20that's%20being%20used.%20Each%20blue%20number%20in%20the%20matrices%20is%20actually%20a%20slider.%20You%20can%20drag%20around%20to%20explore%20how%20the%20image%20warps.%0A%20%20%20%20%20%20%20%20Presets%20provide%20safe%20starting%20points%20for%20each%20%22mode%22%20of%20a%20homography.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.hstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20h_preset%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Current%20preset%20(%7Bh_preset.value%7D)%3A**%5Cn%60%60%60%5Cn%7B_selected%7D%5Cn%60%60%60%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Rotation%20%2F%20scale%20%2F%20shear**%20(top-left%202%5Cu00d72%2C%20step%20%3D%200.01)%3A%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20h_affine%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**Translation**%20(pixels%2C%20step%20%3D%201)%3A%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20h_translation%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Perspective**%20(step%20%3D%200.0001%20%E2%80%94%20very%20sensitive!)%3A%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20h_perspective%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Global%20scale%20h%5Cu2083%5Cu2083**%20(keep%20near%201.0%3B%20step%20%3D%200.01)%3A%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20h_scale%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%20h_affine%2C%20h_perspective%2C%20h_scale%2C%20h_translation%0A%0A%0A%40app.cell%0Adef%20interactive_warp(%0A%20%20%20%20h_affine%2C%0A%20%20%20%20h_perspective%2C%0A%20%20%20%20h_scale%2C%0A%20%20%20%20h_translation%2C%0A%20%20%20%20homography_warp%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20source_image%2C%0A)%3A%0A%20%20%20%20_h%2C%20_w%20%3D%20source_image.shape%5B%3A2%5D%0A%0A%20%20%20%20%23%20Reassemble%203x3%20H%20from%20the%20four%20widget%20pieces%0A%20%20%20%20_A%20%3D%20np.array(h_affine.matrix%2C%20dtype%3Dnp.float64)%20%20%23%202x2%0A%20%20%20%20_t%20%3D%20np.array(h_translation.matrix%2C%20dtype%3Dnp.float64)%20%20%23%202x1%0A%20%20%20%20_p%20%3D%20np.array(h_perspective.matrix%2C%20dtype%3Dnp.float64)%20%20%23%201x2%0A%20%20%20%20_s%20%3D%20np.array(h_scale.matrix%2C%20dtype%3Dnp.float64)%20%20%23%201x1%0A%20%20%20%20_H_interactive%20%3D%20np.block(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B_A%2C%20_t%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B_p%2C%20_s%5D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20---%20Validation%20---%0A%20%20%20%20_det_full%20%3D%20np.linalg.det(_H_interactive)%0A%20%20%20%20_h33%20%3D%20_H_interactive%5B2%2C%202%5D%0A%20%20%20%20_warnings%20%3D%20%5B%5D%0A%20%20%20%20_is_degenerate%20%3D%20False%0A%0A%20%20%20%20if%20abs(_h33)%20%3C%201e-10%3A%0A%20%20%20%20%20%20%20%20_warnings.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**h%5Cu2083%5Cu2083%20%5Cu2248%200**%20%5Cu2014%20division%20by%20zero%20in%20the%20projection.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22Every%20output%20pixel%20requires%20dividing%20by%20w'%20%3D%20h%5Cu2083%5Cu2081%5Cu00b7x%20%2B%20h%5Cu2083%5Cu2082%5Cu00b7y%20%2B%20h%5Cu2083%5Cu2083.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22danger%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_is_degenerate%20%3D%20True%0A%0A%20%20%20%20if%20abs(_det_full)%20%3C%201e-6%3A%0A%20%20%20%20%20%20%20%20_warnings.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Singular%20matrix**%20(det%20%3D%20%7B_det_full%3A.2e%7D)%20%5Cu2014%20not%20invertible.%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22The%20transform%20collapses%20the%20image%20to%20a%20line%20or%20point.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22danger%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_is_degenerate%20%3D%20True%0A%0A%20%20%20%20%23%20Check%20if%20warped%20corners%20fly%20off%20to%20extreme%20coordinates%0A%20%20%20%20if%20not%20_is_degenerate%3A%0A%20%20%20%20%20%20%20%20_corners%20%3D%20np.array(%5B%5B0%2C%200%5D%2C%20%5B_w%2C%200%5D%2C%20%5B_w%2C%20_h%5D%2C%20%5B0%2C%20_h%5D%5D%2C%20dtype%3Dnp.float64)%0A%20%20%20%20%20%20%20%20_ones%20%3D%20np.ones((_corners.shape%5B0%5D%2C%201))%0A%20%20%20%20%20%20%20%20_hom%20%3D%20np.hstack(%5B_corners%2C%20_ones%5D)%20%20%23%20Nx3%0A%20%20%20%20%20%20%20%20_projected%20%3D%20(_H_interactive%20%40%20_hom.T).T%20%20%23%20Nx3%0A%20%20%20%20%20%20%20%20%23%20Avoid%20division%20by%20near-zero%20w'%0A%20%20%20%20%20%20%20%20_w_vals%20%3D%20_projected%5B%3A%2C%202%5D%0A%20%20%20%20%20%20%20%20if%20np.any(np.abs(_w_vals)%20%3C%201e-10)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_warnings.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Perspective%20too%20extreme**%20%5Cu2014%20some%20image%20corners%20project%20through%20infinity%20(w'%20%5Cu2248%200).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_is_degenerate%20%3D%20True%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_uv%20%3D%20_projected%5B%3A%2C%20%3A2%5D%20%2F%20_w_vals%5B%3A%2C%20None%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20np.any(np.abs(_uv)%20%3E%205000)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_warnings.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Perspective%20too%20extreme**%20%5Cu2014%20warped%20corners%20reach%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22up%20to%20%5Cu00b1%7Bnp.max(np.abs(_uv))%3A.0f%7D%20px%20(limit%3A%20%5Cu00b15000).%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_is_degenerate%20%3D%20True%0A%0A%20%20%20%20if%20_det_full%20%3C%200%20and%20not%20_is_degenerate%3A%0A%20%20%20%20%20%20%20%20_warnings.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Orientation%20flipped**%20(det%20%3D%20%7B_det_full%3A.3f%7D)%20%5Cu2014%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22the%20transform%20includes%20a%20mirror%20reflection.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22info%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20%23%20---%20Render%20---%0A%20%20%20%20if%20_is_degenerate%3A%0A%20%20%20%20%20%20%20%20_placeholder%20%3D%20np.full((_h%2C%20_w%2C%203)%2C%2080%2C%20dtype%3Dnp.uint8)%0A%20%20%20%20%20%20%20%20_fig_int%2C%20(_ax_o%2C%20_ax_w)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%205))%0A%20%20%20%20%20%20%20%20_ax_o.imshow(source_image)%0A%20%20%20%20%20%20%20%20_ax_o.set_title(%22Original%22)%0A%20%20%20%20%20%20%20%20_ax_o.axis(%22off%22)%0A%20%20%20%20%20%20%20%20_ax_w.imshow(_placeholder)%0A%20%20%20%20%20%20%20%20_ax_w.set_title(%22Warp%20skipped%20(degenerate%20H)%22)%0A%20%20%20%20%20%20%20%20_ax_w.axis(%22off%22)%0A%20%20%20%20%20%20%20%20plt.tight_layout()%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_warped_interactive%20%3D%20homography_warp(source_image%2C%20_H_interactive)%0A%20%20%20%20%20%20%20%20_fig_int%2C%20(_ax_o%2C%20_ax_w)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%205))%0A%20%20%20%20%20%20%20%20_ax_o.imshow(source_image)%0A%20%20%20%20%20%20%20%20_ax_o.set_title(%22Original%22)%0A%20%20%20%20%20%20%20%20_ax_o.axis(%22off%22)%0A%20%20%20%20%20%20%20%20_ax_w.imshow(_warped_interactive)%0A%20%20%20%20%20%20%20%20_ax_w.set_title(%22Warped%20by%20H%22)%0A%20%20%20%20%20%20%20%20_ax_w.axis(%22off%22)%0A%20%20%20%20%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20%23%20Show%20warnings%0A%20%20%20%20_output%20%3D%20%5B%5D%0A%20%20%20%20if%20_warnings%3A%0A%20%20%20%20%20%20%20%20_output.extend(_warnings)%0A%20%20%20%20_output.append(_fig_int)%0A%0A%20%20%20%20%23%20Decomposition%20table%0A%20%20%20%20_affine%20%3D%20_H_interactive%5B%3A2%2C%20%3A2%5D%0A%20%20%20%20_det%20%3D%20np.linalg.det(_affine)%0A%20%20%20%20_persp%20%3D%20_H_interactive%5B2%2C%20%3A2%5D%0A%20%20%20%20_tx%2C%20_ty%20%3D%20_H_interactive%5B0%2C%202%5D%2C%20_H_interactive%5B1%2C%202%5D%0A%0A%20%20%20%20_output.append(%0A%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22**Decomposition%20of%20current%20H%3A**%5Cn%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20Part%20%7C%20Values%20%7C%20Effect%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C---%7C---%7C---%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20Affine%20%242%5C%5Ctimes2%24%20%7C%20det%20%3D%20%7B_det%3A.3f%7D%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B'flip%20%2B%20'%20if%20_det%20%3C%200%20else%20''%7D%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B'enlarge'%20if%20abs(_det)%20%3E%201%20else%20'shrink'%7D%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20Translation%20%7C%20%24t_x%3D%7B_tx%3A.1f%7D%2C%5C%5C%3B%20t_y%3D%7B_ty%3A.1f%7D%24%20%7C%20pixel%20shift%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20Perspective%20%7C%20%24h_%7B%7B31%7D%7D%3D%7B_persp%5B0%5D%3A.5f%7D%2C%5C%5C%3B%20h_%7B%7B32%7D%7D%3D%7B_persp%5B1%5D%3A.5f%7D%24%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B'strong'%20if%20max(abs(_persp))%20%3E%200.001%20else%20'weak'%20if%20max(abs(_persp))%20%3E%200.0001%20else%20'none'%7D%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20Scale%20%7C%20%24h_%7B%7B33%7D%7D%3D%7B_h33%3A.4f%7D%24%20%7C%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7B'**ZERO**'%20if%20abs(_h33)%20%3C%201e-10%20else%20'nominal'%7D%20%7C%22%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20mo.vstack(_output)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20decomposing_H(mo%2C%20np)%3A%0A%20%20%20%20%23%20Concrete%20numeric%20example%0A%20%20%20%20_H_example%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B1.2%2C%20-0.3%2C%2050%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0.1%2C%201.1%2C%2030%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0.0005%2C%20-0.0003%2C%201.0%5D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%0A%20%20%20%20_affine_part%20%3D%20_H_example%5B%3A2%2C%20%3A2%5D%0A%20%20%20%20_translation%20%3D%20_H_example%5B%3A2%2C%202%5D%0A%20%20%20%20_perspective%20%3D%20_H_example%5B2%2C%20%3A2%5D%0A%0A%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%23%23%20Decomposing%20a%20Homography%0A%0A%20%20%20%20Consider%20a%20concrete%20%24%5Cmathbf%7BH%7D%24%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbf%7BH%7D%20%3D%20%5Cbegin%7Bbmatrix%7D%201.2%20%26%20-0.3%20%26%2050%20%5C%5C%200.1%20%26%201.1%20%26%2030%20%5C%5C%200.0005%20%26%20-0.0003%20%26%201.0%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20%23%23%23%20The%20three%20parts%3A%0A%0A%20%20%20%20**1.%20Affine%20part**%20(top-left%20%242%20%5Ctimes%202%24)%3A%20%24%5Cbegin%7Bbmatrix%7D%201.2%20%26%20-0.3%20%5C%5C%200.1%20%26%201.1%20%5Cend%7Bbmatrix%7D%24%0A%20%20%20%20%E2%80%94%20encodes%20rotation%2C%20scale%2C%20and%20shear.%20Determinant%20%3D%20%22%22%22%0A%20%20%20%20%20%20%20%20%2B%20f%22%7Bnp.linalg.det(_affine_part)%3A.3f%7D%22%0A%20%20%20%20%20%20%20%20%2B%20r%22%22%22%20(positive%20%3D%20no%20flip%2C%20%3E1%20%3D%20enlargement).%0A%0A%20%20%20%20**2.%20Translation**%20(top-right%20column)%3A%20%24%5Cbegin%7Bbmatrix%7D%2050%20%5C%5C%2030%20%5Cend%7Bbmatrix%7D%24%0A%20%20%20%20%E2%80%94%20shifts%20the%20image%20by%20%24(50%2C%2030)%24%20pixels.%0A%0A%20%20%20%20**3.%20Perspective**%20(bottom%20row)%3A%20%24%5Cbegin%7Bbmatrix%7D%200.0005%20%26%20-0.0003%20%5Cend%7Bbmatrix%7D%24%0A%20%20%20%20%E2%80%94%20these%20tiny%20values%20create%20the%20%22keystone%22%20effect.%20When%20both%20are%20zero%2C%20%24%5Cmathbf%7BH%7D%24%0A%20%20%20%20reduces%20to%20an%20**affine**%20transform%20and%20parallel%20lines%20remain%20parallel.%0A%0A%20%20%20%20The%20bottom-right%20entry%20(%24h_%7B33%7D%20%3D%201.0%24)%20is%20just%20the%20scale%20normalization.%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20affine_vs_projective(homography_warp%2C%20mo%2C%20np%2C%20plt%2C%20source_image)%3A%0A%20%20%20%20_h%2C%20_w%20%3D%20source_image.shape%5B%3A2%5D%0A%0A%20%20%20%20%23%20Affine%20transform%3A%20bottom%20row%20is%20%5B0%2C%200%2C%201%5D%0A%20%20%20%20_H_affine%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0.9%2C%20-0.2%2C%2060%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0.15%2C%201.0%2C%2020%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0.0%2C%200.0%2C%201.0%5D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Projective%3A%20same%20top%20rows%2C%20but%20non-zero%20perspective%0A%20%20%20%20_H_projective%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0.9%2C%20-0.2%2C%2060%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0.15%2C%201.0%2C%2020%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0.0004%2C%20-0.0003%2C%201.0%5D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%0A%20%20%20%20_warped_affine%20%3D%20homography_warp(source_image%2C%20_H_affine)%0A%20%20%20%20_warped_proj%20%3D%20homography_warp(source_image%2C%20_H_projective)%0A%0A%20%20%20%20_fig_cmp%2C%20(_ax_a%2C%20_ax_p)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%205))%0A%0A%20%20%20%20_ax_a.imshow(_warped_affine)%0A%20%20%20%20_ax_a.set_title(%22Affine%20(%24h_%7B31%7D%3Dh_%7B32%7D%3D0%24)%5CnParallel%20lines%20stay%20parallel%22)%0A%20%20%20%20_ax_a.axis(%22off%22)%0A%0A%20%20%20%20_ax_p.imshow(_warped_proj)%0A%20%20%20%20_ax_p.set_title(%0A%20%20%20%20%20%20%20%20%22Projective%20(%24h_%7B31%7D%2C%20h_%7B32%7D%20%5C%5Cneq%200%24)%5CnParallel%20lines%20converge%22%0A%20%20%20%20)%0A%20%20%20%20_ax_p.axis(%22off%22)%0A%0A%20%20%20%20plt.suptitle(%22Affine%20vs%20Projective%20Transform%22%2C%20fontsize%3D13)%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Affine%20vs%20Projective%0A%0A%20%20%20%20The%20**only**%20difference%20is%20the%20bottom%20row%20of%20%24%5Cmathbf%7BH%7D%24%3A%0A%0A%20%20%20%20-%20**Affine**%20(%24h_%7B31%7D%20%3D%20h_%7B32%7D%20%3D%200%24)%3A%20preserves%20parallel%20lines%2C%20ratios%20of%20distances%20on%20lines%0A%20%20%20%20-%20**Projective**%20(%24h_%7B31%7D%2C%20h_%7B32%7D%20%5Cneq%200%24)%3A%20parallel%20lines%20can%20converge%20to%20a%20vanishing%20point%0A%0A%20%20%20%20Notice%20how%20the%20grid%20lines%20in%20the%20projective%20case%20%22fan%20out%22%20%E2%80%94%20this%20is%20the%20perspective%0A%20%20%20%20effect%20you%20see%20when%20looking%20at%20a%20rectangular%20surface%20from%20an%20angle.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig_cmp%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20zoom_slider(mo)%3A%0A%20%20%20%20zoom_factor%20%3D%20mo.ui.slider(1.0%2C%204.0%2C%20step%3D0.1%2C%20value%3D2.0%2C%20label%3D%22Zoom%20factor%22)%0A%20%20%20%20return%20(zoom_factor%2C)%0A%0A%0A%40app.cell%0Adef%20forward_vs_backward(%0A%20%20%20%20homography_warp%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20source_image%2C%0A%20%20%20%20zoom_factor%2C%0A)%3A%0A%20%20%20%20_h%2C%20_w%20%3D%20source_image.shape%5B%3A2%5D%0A%0A%20%20%20%20%23%20Use%20a%20stretching%20homography%20so%20forward%20mapping%20creates%20obvious%20gaps.%0A%20%20%20%20%23%20This%20zooms%20from%20the%20center%20%E2%80%94%20every%20source%20pixel%20maps%20to%20~s%C2%B2%20output%20pixels%2C%0A%20%20%20%20%23%20leaving%20gaps%20in%20the%20output.%0A%20%20%20%20_cx%2C%20_cy%20%3D%20_w%20%2F%202%2C%20_h%20%2F%202%0A%20%20%20%20_s%20%3D%20zoom_factor.value%0A%20%20%20%20_H_stretch%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B_s%2C%200%2C%20_cx%20*%20(1%20-%20_s)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0%2C%20_s%2C%20_cy%20*%20(1%20-%20_s)%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%5B0%2C%200%2C%201%5D%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20---%20Forward%20mapping%3A%20H%20%40%20%5Bx%2C%20y%2C%201%5D%20for%20every%20source%20pixel%20---%0A%20%20%20%20_ys%2C%20_xs%20%3D%20np.mgrid%5B0%3A_h%2C%200%3A_w%5D%0A%20%20%20%20_src_coords%20%3D%20np.stack(%0A%20%20%20%20%20%20%20%20%5B_xs.ravel()%2C%20_ys.ravel()%2C%20np.ones(_h%20*%20_w)%5D%2C%20axis%3D0%0A%20%20%20%20)%20%20%23%20(3%2C%20N)%0A%20%20%20%20_dst%20%3D%20_H_stretch%20%40%20_src_coords%20%20%23%20matrix%20multiply%0A%20%20%20%20_dst_xy%20%3D%20_dst%5B%3A2%5D%20%2F%20_dst%5B2%3A3%5D%20%20%23%20perspective%20divide%0A%20%20%20%20_du%20%3D%20np.round(_dst_xy%5B0%5D).astype(np.int64)%0A%20%20%20%20_dv%20%3D%20np.round(_dst_xy%5B1%5D).astype(np.int64)%0A%0A%20%20%20%20_forward_img%20%3D%20np.full((_h%2C%20_w%2C%203)%2C%2040%2C%20dtype%3Dnp.uint8)%0A%20%20%20%20_mask%20%3D%20(_du%20%3E%3D%200)%20%26%20(_du%20%3C%20_w)%20%26%20(_dv%20%3E%3D%200)%20%26%20(_dv%20%3C%20_h)%0A%20%20%20%20_forward_img%5B_dv%5B_mask%5D%2C%20_du%5B_mask%5D%5D%20%3D%20source_image%5B%0A%20%20%20%20%20%20%20%20_ys.ravel()%5B_mask%5D%2C%20_xs.ravel()%5B_mask%5D%0A%20%20%20%20%5D%0A%0A%20%20%20%20%23%20---%20Backward%20mapping%3A%20H_inv%20%40%20%5Bu%2C%20v%2C%201%5D%20(the%20clean%20way)%20---%0A%20%20%20%20_backward_img%20%3D%20homography_warp(source_image%2C%20_H_stretch)%0A%0A%20%20%20%20%23%20---%20Plot%20---%0A%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2%2C%20_ax3)%20%3D%20plt.subplots(1%2C%203%2C%20figsize%3D(16%2C%205))%0A%20%20%20%20_ax1.imshow(source_image)%0A%20%20%20%20_ax1.set_title(%22Original%22)%0A%20%20%20%20_ax1.axis(%22off%22)%0A%20%20%20%20_ax2.imshow(_forward_img)%0A%20%20%20%20_ax2.set_title(%22Forward%20mapping%5Cn(gaps!)%22)%0A%20%20%20%20_ax2.axis(%22off%22)%0A%20%20%20%20_ax3.imshow(_backward_img)%0A%20%20%20%20_ax3.set_title(%22Backward%20mapping%5Cn(clean)%22)%0A%20%20%20%20_ax3.axis(%22off%22)%0A%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20mo.vstack(%0A%20%20%20%20%20%20%20%20%5B%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20A%20delicate%20point%20about%20calculating%20the%20projected%20image%0A%0A%20%20%20%20There's%20a%20nice%20little%20point%20that%20comes%20up%20when%20you%20try%20to%20implement%20the%20way%20an%20image%20transforms%20under%20the%20homography.%20If%20you%20just%20use%20opencv's%20%60cv2.warpPerspective%60%20that's%20whay%20you%20get%2C%20but%20if%20you%20want%20to%20do%20it%20yourself%20you%20may%20find%20you%20have%20a%20little%20problem.%0A%0A%20%20%20%20To%20illustrate%20this%20let's%20look%20at%20a%20zoom%20from%20the%20image%20center.%20Use%20the%20slider%20to%20adjust%20and%20note%20the%20effect%20is%20more%20pronounced%20the%20more%20we%20zoom.%0A%0A%20%20%20%20Let's%20call%20the%20naive%20way%20to%20do%20things%20**Forward%20mapping**%20%E2%80%94%20for%20each%20source%20pixel%20%24(x%2C%20y)%24%2C%20compute%20where%20it%20lands%3A%0A%20%20%20%20%24%24%5Bu%2C%20v%2C%20w'%5D%5ET%20%3D%20%5Cmathbf%7BH%7D%20%5Cbegin%7Bbmatrix%7D%20x%20%5C%5C%20y%20%5C%5C%201%20%5Cend%7Bbmatrix%7D%2C%0A%20%20%20%20%20%20%5Cquad%20%5Ctext%7Boutput%7D%20%3D%20%5Cleft(%5Cfrac%7Bu%7D%7Bw'%7D%2C%20%5Cfrac%7Bv%7D%7Bw'%7D%5Cright)%24%24%0A%20%20%20%20The%20problem%20is%20when%20%24%5Cmathbf%7BH%7D%24%20stretches%2C%20each%20source%20pixel%20maps%20to%20one%20output%20pixel%0A%20%20%20%20while%20its%20neighbors%20skip%20over%20adjacent%20output%20pixels%20%E2%80%94%20leaving%20**holes**.%0A%0A%20%20%20%20To%20solve%20this%2C%20we%20can%20do%20**Backward%20mapping**%20%E2%80%94%20for%20each%20output%20pixel%20%24(u%2C%20v)%24%2C%20ask%20%22where%20did%20you%20come%20from%3F%22%3A%0A%20%20%20%20%24%24%5Bx%2C%20y%2C%20w'%5D%5ET%20%3D%20%5Cmathbf%7BH%7D%5E%7B-1%7D%20%5Cbegin%7Bbmatrix%7D%20u%20%5C%5C%20v%20%5C%5C%201%20%5Cend%7Bbmatrix%7D%2C%0A%20%20%20%20%20%20%5Cquad%20%5Ctext%7Bsample%20source%20at%7D%20%5Cleft(%5Cfrac%7Bx%7D%7Bw'%7D%2C%20%5Cfrac%7By%7D%7Bw'%7D%5Cright)%24%24%0A%20%20%20%20Every%20output%20pixel%20gets%20exactly%20one%20value%20%E2%86%92%20no%20gaps.%20This%20is%20what%20%60cv2.warpPerspective%60%0A%20%20%20%20does%20and%20what%20our%20%60homography_warp%60%20function%20implements.%20You%20can%20use%20the%20%22show%20code%22%20button%20on%20the%20%22...%22%20menu%20of%20this%20notebook%20to%20look%20at%20the%20implementation.%0A%20%20%20%20%20%20%20%20%22%22%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20zoom_factor%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20_fig%2C%0A%20%20%20%20%20%20%20%20%5D%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20finding_h_intro(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20How%20Do%20We%20Find%20the%20Homography%3F%0A%0A%20%20%20%20So%20far%20we've%20been%20constructing%20%24%5Cmathbf%7BH%7D%24%20by%20hand%20%E2%80%94%20picking%20matrix%20entries%20or%0A%20%20%20%20choosing%20presets.%20But%20in%20practice%2C%20we%20**observe%20point%20correspondences**%20and%20need%0A%20%20%20%20to%20*recover*%20%24%5Cmathbf%7BH%7D%24%20from%20them.%0A%0A%20%20%20%20Each%20point%20pair%20%24(x_i%2C%20y_i)%20%5Cleftrightarrow%20(x'_i%2C%20y'_i)%24%20gives%20**2%20equations**%0A%20%20%20%20(one%20for%20%24u%24%2C%20one%20for%20%24v%24).%20Since%20%24%5Cmathbf%7BH%7D%24%20has%208%20unknowns%2C%20**4%20point%20pairs%0A%20%20%20%20suffice**.%0A%0A%20%20%20%20The%20**Direct%20Linear%20Transform%20(DLT)**%20stacks%20these%20equations%20into%0A%20%20%20%20%24%5Cmathbf%7BA%7D%5Cmathbf%7Bh%7D%20%3D%200%24%20and%20solves%20via%20SVD.%20The%20next%20cell%20implements%20this%0A%20%20%20%20from%20scratch.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20dlt_implementation(mo%2C%20np)%3A%0A%20%20%20%20def%20homography_from_points(src%2C%20dst)%3A%0A%20%20%20%20%20%20%20%20%22%22%22Compute%20a%20homography%20from%204%20point%20correspondences%20using%20the%20Direct%20Linear%20Transform.%0A%0A%20%20%20%20%20%20%20%20Parameters%0A%20%20%20%20%20%20%20%20----------%0A%20%20%20%20%20%20%20%20src%2C%20dst%20%3A%20array-like%2C%20shape%20(4%2C%202)%0A%20%20%20%20%20%20%20%20%20%20%20%20Source%20and%20destination%20points%20(Euclidean%2C%20not%20homogeneous).%0A%0A%20%20%20%20%20%20%20%20Returns%0A%20%20%20%20%20%20%20%20-------%0A%20%20%20%20%20%20%20%20H%20%3A%20ndarray%2C%20shape%20(3%2C%203)%0A%20%20%20%20%20%20%20%20%20%20%20%20The%20homography%20such%20that%20dst%20~%20H%20%40%20src%20(in%20homogeneous%20coords).%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20src%20%3D%20np.asarray(src%2C%20dtype%3Dnp.float64)%0A%20%20%20%20%20%20%20%20dst%20%3D%20np.asarray(dst%2C%20dtype%3Dnp.float64)%0A%20%20%20%20%20%20%20%20assert%20src.shape%20%3D%3D%20(4%2C%202)%20and%20dst.shape%20%3D%3D%20(4%2C%202)%0A%0A%20%20%20%20%20%20%20%20%23%20Build%20the%208%C3%979%20matrix%20A%20(2%20rows%20per%20point%20pair)%0A%20%20%20%20%20%20%20%20A%20%3D%20%5B%5D%0A%20%20%20%20%20%20%20%20for%20i%20in%20range(4)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20x%2C%20y%20%3D%20src%5Bi%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20xp%2C%20yp%20%3D%20dst%5Bi%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20%23%20%20%20%20%20%20%20%20%20%20h11%20%20%20h12%20%20%20h13%20%20h21%20%20h22%20%20h23%20%20%20%20%20%20%20h31%20%20%20%20%20%20%20%20%20%20h32%20%20%20%20%20%20%20h33%0A%20%20%20%20%20%20%20%20%20%20%20%20A.append(%5B-x%2C%20-y%2C%20-1%2C%200%2C%200%2C%200%2C%20xp%20*%20x%2C%20xp%20*%20y%2C%20xp%5D)%0A%20%20%20%20%20%20%20%20%20%20%20%20A.append(%5B0%2C%200%2C%200%2C%20-x%2C%20-y%2C%20-1%2C%20yp%20*%20x%2C%20yp%20*%20y%2C%20yp%5D)%0A%0A%20%20%20%20%20%20%20%20A%20%3D%20np.array(A)%20%20%23%20(8%2C%209)%0A%0A%20%20%20%20%20%20%20%20%23%20Solve%20Ah%20%3D%200%20via%20SVD%3A%20h%20is%20the%20last%20row%20of%20V%5ET%20(smallest%20singular%20value)%0A%20%20%20%20%20%20%20%20_U%2C%20_S%2C%20Vt%20%3D%20np.linalg.svd(A)%0A%20%20%20%20%20%20%20%20h%20%3D%20Vt%5B-1%5D%0A%0A%20%20%20%20%20%20%20%20H%20%3D%20h.reshape(3%2C%203)%0A%20%20%20%20%20%20%20%20%23%20Normalize%20so%20H%5B2%2C2%5D%20%3D%201%20(conventional%20scaling)%0A%20%20%20%20%20%20%20%20H%20%3D%20H%20%2F%20H%5B2%2C%202%5D%0A%20%20%20%20%20%20%20%20return%20H%0A%0A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Implementing%20the%20DLT%20%E2%80%94%20Building%20the%20A%20Matrix%20and%20Solving%20via%20SVD%0A%0A%20%20%20%20We%20know%20that%20for%20each%20point%20pair%20%24(x_i%2C%20y_i)%20%5Cleftrightarrow%20(x'_i%2C%20y'_i)%24%20the%0A%20%20%20%20homography%20satisfies%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20x'_i%20%3D%20%5Cfrac%7Bh_%7B11%7D%20x_i%20%2B%20h_%7B12%7D%20y_i%20%2B%20h_%7B13%7D%7D%7Bh_%7B31%7D%20x_i%20%2B%20h_%7B32%7D%20y_i%20%2B%20h_%7B33%7D%7D%2C%0A%20%20%20%20%5Cqquad%0A%20%20%20%20y'_i%20%3D%20%5Cfrac%7Bh_%7B21%7D%20x_i%20%2B%20h_%7B22%7D%20y_i%20%2B%20h_%7B23%7D%7D%7Bh_%7B31%7D%20x_i%20%2B%20h_%7B32%7D%20y_i%20%2B%20h_%7B33%7D%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20(this%20is%20just%20the%20matrix%20equation%20from%20the%20previous%20section%2C%20after%20dividing%20by%20the%0A%20%20%20%20third%20component%20to%20get%20pixel%20coordinates.)%0A%0A%20%20%20%20Multiply%20both%20sides%20by%20the%20denominator%20to%20clear%20the%20fractions%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20x'_i%20(h_%7B31%7D%20x_i%20%2B%20h_%7B32%7D%20y_i%20%2B%20h_%7B33%7D)%20%3D%20h_%7B11%7D%20x_i%20%2B%20h_%7B12%7D%20y_i%20%2B%20h_%7B13%7D%0A%20%20%20%20%24%24%0A%20%20%20%20%24%24%0A%20%20%20%20y'_i%20(h_%7B31%7D%20x_i%20%2B%20h_%7B32%7D%20y_i%20%2B%20h_%7B33%7D)%20%3D%20h_%7B21%7D%20x_i%20%2B%20h_%7B22%7D%20y_i%20%2B%20h_%7B23%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Rearranging%20so%20all%20%24h%24%20terms%20are%20on%20one%20side%2C%20each%20point%20pair%20gives%20**two%20linear%0A%20%20%20%20equations**%20in%20the%209%20unknowns%20%24(h_%7B11%7D%2C%20%5Cldots%2C%20h_%7B33%7D)%24.%20Writing%20these%20as%20rows%20of%0A%20%20%20%20a%20matrix%20%24%5Cmathbf%7BA%7D%24%20times%20the%20vector%0A%20%20%20%20%24%5Cmathbf%7Bh%7D%20%3D%20(h_%7B11%7D%2C%20h_%7B12%7D%2C%20h_%7B13%7D%2C%20h_%7B21%7D%2C%20h_%7B22%7D%2C%20h_%7B23%7D%2C%20h_%7B31%7D%2C%20h_%7B32%7D%2C%20h_%7B33%7D)%5ET%24%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cbegin%7Bbmatrix%7D%0A%20%20%20%20-x_i%20%26%20-y_i%20%26%20-1%20%26%200%20%26%200%20%26%200%20%26%20x'_i%20x_i%20%26%20x'_i%20y_i%20%26%20x'_i%20%5C%5C%0A%20%20%20%200%20%26%200%20%26%200%20%26%20-x_i%20%26%20-y_i%20%26%20-1%20%26%20y'_i%20x_i%20%26%20y'_i%20y_i%20%26%20y'_i%0A%20%20%20%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%5Cmathbf%7Bh%7D%20%3D%20%5Cmathbf%7B0%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20Stacking%20all%204%20pairs%20gives%20%24%5Cmathbf%7BA%7D%20%5Cin%20%5Cmathbb%7BR%7D%5E%7B8%20%5Ctimes%209%7D%24%20with%0A%20%20%20%20%24%5Cmathbf%7BA%7D%5Cmathbf%7Bh%7D%20%3D%20%5Cmathbf%7B0%7D%24.%20This%20system%20is%20homogeneous%20(the%20trivial%0A%20%20%20%20solution%20%24%5Cmathbf%7Bh%7D%3D%5Cmathbf%7B0%7D%24%20is%20uninteresting)%2C%20so%20we%20want%20the%20non-trivial%0A%20%20%20%20vector%20that%20makes%20%24%5C%7C%5Cmathbf%7BA%7D%5Cmathbf%7Bh%7D%5C%7C%24%20as%20small%20as%20possible.%0A%0A%20%20%20%20That's%20exactly%20what%20the%20**SVD**%20gives%20us%3A%20decompose%20%24%5Cmathbf%7BA%7D%20%3D%20U%20%5CSigma%20V%5ET%24%0A%20%20%20%20and%20take%20the%20last%20row%20of%20%24V%5ET%24%20(the%20singular%20vector%20for%20the%20smallest%20singular%0A%20%20%20%20value).%20Reshape%20that%209-vector%20into%20%243%20%5Ctimes%203%24%20and%20we%20have%20%24%5Cmathbf%7BH%7D%24.%0A%0A%20%20%20%20The%20function%20%60homography_from_points(src%2C%20dst)%60%20above%20implements%20exactly%20this.%0A%20%20%20%20We'll%20use%20it%20in%20the%20next%20section%20instead%20of%20%60cv2.findHomography%60.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%20(homography_from_points%2C)%0A%0A%0A%40app.cell%0Adef%20four_point_puck(mo%2C%20plt%2C%20source_image)%3A%0A%20%20%20%20from%20wigglystuff%20import%20ChartPuck%0A%0A%20%20%20%20_h%2C%20_w%20%3D%20source_image.shape%5B%3A2%5D%0A%0A%20%20%20%20%23%20Default%20destination%20corners%0A%20%20%20%20_defaults_x%20%3D%20%5B80%2C%20_w%20-%2040%2C%20_w%20-%2010%2C%2050%5D%0A%20%20%20%20_defaults_y%20%3D%20%5B30%2C%2050%2C%20_h%20-%2020%2C%20_h%20-%2060%5D%0A%20%20%20%20_labels%20%3D%20%5B%22TL%22%2C%20%22TR%22%2C%20%22BR%22%2C%20%22BL%22%5D%0A%20%20%20%20_colors%20%3D%20%5B%22red%22%2C%20%22lime%22%2C%20%22dodgerblue%22%2C%20%22orange%22%5D%0A%0A%20%20%20%20%23%20Build%20the%20background%20figure%3A%20source%20image%20%2B%20source%20quad%20%2B%20corner%20labels%0A%20%20%20%20_fig%2C%20_ax%20%3D%20plt.subplots(figsize%3D(5%2C%204))%0A%20%20%20%20_ax.imshow(source_image)%0A%20%20%20%20_ax.set_ylim(_h%2C%200)%20%20%23%20pixel%20coords%3A%20y%3D0%20at%20top%0A%20%20%20%20_ax.set_xlim(0%2C%20_w)%0A%0A%20%20%20%20%23%20Source%20quad%20(cyan%20dashed)%0A%20%20%20%20_src_xs%20%3D%20%5B0%2C%20_w%2C%20_w%2C%200%2C%200%5D%0A%20%20%20%20_src_ys%20%3D%20%5B0%2C%200%2C%20_h%2C%20_h%2C%200%5D%0A%20%20%20%20_ax.plot(_src_xs%2C%20_src_ys%2C%20color%3D%22cyan%22%2C%20linestyle%3D%22--%22%2C%20linewidth%3D2)%0A%0A%20%20%20%20_ax.axis(%22off%22)%0A%20%20%20%20plt.tight_layout()%0A%20%20%20%20plt.close(_fig)%0A%0A%20%20%20%20_puck%20%3D%20ChartPuck(%0A%20%20%20%20%20%20%20%20_fig%2C%0A%20%20%20%20%20%20%20%20x%3D_defaults_x%2C%0A%20%20%20%20%20%20%20%20y%3D_defaults_y%2C%0A%20%20%20%20%20%20%20%20puck_color%3D_colors%2C%0A%20%20%20%20%20%20%20%20drag_x_bounds%3D(0%2C%20_w)%2C%0A%20%20%20%20%20%20%20%20drag_y_bounds%3D(0%2C%20_h)%2C%0A%20%20%20%20%20%20%20%20throttle%3D%22dragend%22%2C%0A%20%20%20%20)%0A%0A%20%20%20%20dst_puck_widget%20%3D%20mo.ui.anywidget(_puck)%0A%0A%20%20%20%20%23%20Color%20legend%20so%20users%20know%20which%20puck%20is%20which%20corner%0A%20%20%20%20_legend%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20%22%20%2F%20%22.join(%0A%20%20%20%20%20%20%20%20%20%20%20%20f'%3Cspan%20style%3D%22color%3A%7B_colors%5Bi%5D%7D%3B%20font-weight%3Abold%22%3E%E2%AC%A4%20%7B_labels%5Bi%5D%7D%3C%2Fspan%3E'%0A%20%20%20%20%20%20%20%20%20%20%20%20for%20i%20in%20range(4)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20)%0A%20%20%20%20puck_legend%20%3D%20_legend%0A%20%20%20%20return%20dst_puck_widget%2C%20puck_legend%0A%0A%0A%40app.cell%0Adef%20four_point_demo(%0A%20%20%20%20dst_puck_widget%2C%0A%20%20%20%20homography_from_points%2C%0A%20%20%20%20homography_warp%2C%0A%20%20%20%20mo%2C%0A%20%20%20%20np%2C%0A%20%20%20%20plt%2C%0A%20%20%20%20puck_legend%2C%0A%20%20%20%20source_image%2C%0A)%3A%0A%20%20%20%20from%20matplotlib.patches%20import%20Polygon%20as%20MplPolygon%0A%0A%20%20%20%20_h%2C%20_w%20%3D%20source_image.shape%5B%3A2%5D%0A%0A%20%20%20%20%23%20Source%20quad%3A%20the%20four%20corners%20of%20the%20image%0A%20%20%20%20src_pts%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B%5B0%2C%200%5D%2C%20%5B_w%2C%200%5D%2C%20%5B_w%2C%20_h%5D%2C%20%5B0%2C%20_h%5D%5D%2C%0A%20%20%20%20%20%20%20%20dtype%3Dnp.float64%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Destination%20quad%3A%20read%20from%20puck%20widget%0A%20%20%20%20_px%20%3D%20list(dst_puck_widget.x)%0A%20%20%20%20_py%20%3D%20list(dst_puck_widget.y)%0A%20%20%20%20dst_pts%20%3D%20np.array(%0A%20%20%20%20%20%20%20%20%5B%5B_px%5Bi%5D%2C%20_py%5Bi%5D%5D%20for%20i%20in%20range(4)%5D%2C%0A%20%20%20%20%20%20%20%20dtype%3Dnp.float64%2C%0A%20%20%20%20)%0A%0A%20%20%20%20%23%20Compute%20homography%20from%204%20point%20correspondences%20using%20our%20DLT%20implementation%0A%20%20%20%20H_demo%20%3D%20homography_from_points(src_pts%2C%20dst_pts)%0A%0A%20%20%20%20%23%20---%20Degenerate-H%20guard%20---%0A%20%20%20%20_det_full%20%3D%20np.linalg.det(H_demo)%0A%20%20%20%20_h33%20%3D%20H_demo%5B2%2C%202%5D%0A%20%20%20%20_warnings%20%3D%20%5B%5D%0A%20%20%20%20_is_degenerate%20%3D%20False%0A%0A%20%20%20%20if%20abs(_h33)%20%3C%201e-10%3A%0A%20%20%20%20%20%20%20%20_warnings.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%22**h%E2%82%83%E2%82%83%20%E2%89%88%200**%20%E2%80%94%20division%20by%20zero%20in%20the%20projection.%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22danger%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_is_degenerate%20%3D%20True%0A%0A%20%20%20%20if%20abs(_det_full)%20%3C%201e-6%3A%0A%20%20%20%20%20%20%20%20_warnings.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Singular%20matrix**%20(det%20%3D%20%7B_det_full%3A.2e%7D)%20%E2%80%94%20not%20invertible.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22danger%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_is_degenerate%20%3D%20True%0A%0A%20%20%20%20if%20not%20_is_degenerate%3A%0A%20%20%20%20%20%20%20%20_ones%20%3D%20np.ones((4%2C%201))%0A%20%20%20%20%20%20%20%20_hom%20%3D%20np.hstack(%5Bsrc_pts%2C%20_ones%5D)%0A%20%20%20%20%20%20%20%20_projected_h%20%3D%20(H_demo%20%40%20_hom.T).T%0A%20%20%20%20%20%20%20%20_w_vals%20%3D%20_projected_h%5B%3A%2C%202%5D%0A%20%20%20%20%20%20%20%20if%20np.any(np.abs(_w_vals)%20%3C%201e-10)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_warnings.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22**Perspective%20too%20extreme**%20%E2%80%94%20some%20corners%20project%20through%20infinity.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_is_degenerate%20%3D%20True%0A%20%20%20%20%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_uv%20%3D%20_projected_h%5B%3A%2C%20%3A2%5D%20%2F%20_w_vals%5B%3A%2C%20None%5D%0A%20%20%20%20%20%20%20%20%20%20%20%20if%20np.any(np.abs(_uv)%20%3E%205000)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_warnings.append(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.callout(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20mo.md(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20f%22**Perspective%20too%20extreme**%20%E2%80%94%20warped%20corners%20reach%20%C2%B1%7Bnp.max(np.abs(_uv))%3A.0f%7D%20px.%22%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20kind%3D%22warn%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_is_degenerate%20%3D%20True%0A%0A%20%20%20%20%23%20---%20Render%20figure%20---%0A%20%20%20%20_labels_short%20%3D%20%5B%22TL%22%2C%20%22TR%22%2C%20%22BR%22%2C%20%22BL%22%5D%0A%0A%20%20%20%20if%20_is_degenerate%3A%0A%20%20%20%20%20%20%20%20_placeholder%20%3D%20np.full((_h%2C%20_w%2C%203)%2C%2080%2C%20dtype%3Dnp.uint8)%0A%20%20%20%20%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%205))%0A%20%20%20%20%20%20%20%20_ax1.imshow(source_image)%0A%20%20%20%20%20%20%20%20_ax1.set_title(%22Point%20correspondences%22)%0A%20%20%20%20%20%20%20%20_ax1.axis(%22off%22)%0A%20%20%20%20%20%20%20%20_ax2.imshow(_placeholder)%0A%20%20%20%20%20%20%20%20_ax2.set_title(%22Warp%20skipped%20(degenerate%20H)%22)%0A%20%20%20%20%20%20%20%20_ax2.axis(%22off%22)%0A%20%20%20%20%20%20%20%20plt.tight_layout()%0A%20%20%20%20else%3A%0A%20%20%20%20%20%20%20%20_warped%20%3D%20homography_warp(source_image%2C%20H_demo)%0A%20%20%20%20%20%20%20%20_fig%2C%20(_ax1%2C%20_ax2)%20%3D%20plt.subplots(1%2C%202%2C%20figsize%3D(14%2C%205))%0A%0A%20%20%20%20%20%20%20%20%23%20Panel%201%3A%20source%20image%20with%20both%20quads%0A%20%20%20%20%20%20%20%20_ax1.imshow(source_image)%0A%20%20%20%20%20%20%20%20_src_poly%20%3D%20MplPolygon(%0A%20%20%20%20%20%20%20%20%20%20%20%20src_pts%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20closed%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fill%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22cyan%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linestyle%3D%22--%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_dst_poly%20%3D%20MplPolygon(%0A%20%20%20%20%20%20%20%20%20%20%20%20dst_pts%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20closed%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fill%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22yellow%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linestyle%3D%22-%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_ax1.add_patch(_src_poly)%0A%20%20%20%20%20%20%20%20_ax1.add_patch(_dst_poly)%0A%20%20%20%20%20%20%20%20for%20_i%20in%20range(4)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax1.annotate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_labels_short%5B_i%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20src_pts%5B_i%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22cyan%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D10%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textcoords%3D%22offset%20points%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xytext%3D(5%2C%205)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20%20%20%20%20_ax1.annotate(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20_labels_short%5B_i%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20dst_pts%5B_i%5D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20color%3D%22yellow%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontsize%3D10%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20fontweight%3D%22bold%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20textcoords%3D%22offset%20points%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20xytext%3D(5%2C%20-12)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_ax1.set_title(%22Point%20correspondences%22)%0A%20%20%20%20%20%20%20%20_ax1.axis(%22off%22)%0A%0A%20%20%20%20%20%20%20%20%23%20Panel%202%3A%20warped%20image%20with%20destination%20quad%0A%20%20%20%20%20%20%20%20_ax2.imshow(_warped)%0A%20%20%20%20%20%20%20%20_dst_poly2%20%3D%20MplPolygon(%0A%20%20%20%20%20%20%20%20%20%20%20%20dst_pts%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20closed%3DTrue%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20fill%3DFalse%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20edgecolor%3D%22yellow%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linestyle%3D%22-%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20linewidth%3D2%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20_ax2.add_patch(_dst_poly2)%0A%20%20%20%20%20%20%20%20_ax2.set_title(%22Warped%20result%22)%0A%20%20%20%20%20%20%20%20_ax2.axis(%22off%22)%0A%20%20%20%20%20%20%20%20plt.tight_layout()%0A%0A%20%20%20%20%23%20---%20Verification%20table%20---%0A%20%20%20%20_src_h%20%3D%20np.hstack(%5Bsrc_pts%2C%20np.ones((4%2C%201))%5D)%0A%20%20%20%20_projected%20%3D%20(H_demo%20%40%20_src_h.T).T%0A%20%20%20%20_projected_xy%20%3D%20_projected%5B%3A%2C%20%3A2%5D%20%2F%20_projected%5B%3A%2C%202%3A3%5D%0A%20%20%20%20_errors%20%3D%20np.linalg.norm(_projected_xy%20-%20dst_pts%2C%20axis%3D1)%0A%20%20%20%20_max_err%20%3D%20np.max(_errors)%0A%0A%20%20%20%20_verify_rows%20%3D%20%22%22%0A%20%20%20%20_corner_names%20%3D%20%5B%22top-left%22%2C%20%22top-right%22%2C%20%22bottom-right%22%2C%20%22bottom-left%22%5D%0A%20%20%20%20for%20_i%20in%20range(4)%3A%0A%20%20%20%20%20%20%20%20_verify_rows%20%2B%3D%20(%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20%7B_corner_names%5B_i%5D%7D%20%7C%20(%7Bsrc_pts%5B_i%2C0%5D%3A.0f%7D%2C%20%7Bsrc_pts%5B_i%2C1%5D%3A.0f%7D)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20(%7Bdst_pts%5B_i%2C0%5D%3A.0f%7D%2C%20%7Bdst_pts%5B_i%2C1%5D%3A.0f%7D)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20(%7B_projected_xy%5B_i%2C0%5D%3A.2f%7D%2C%20%7B_projected_xy%5B_i%2C1%5D%3A.2f%7D)%20%22%0A%20%20%20%20%20%20%20%20%20%20%20%20f%22%7C%20%7B_errors%5B_i%5D%3A.2e%7D%20%7C%5Cn%22%0A%20%20%20%20%20%20%20%20)%0A%0A%20%20%20%20_verification_md%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20%7C%20Corner%20%7C%20Source%20%7C%20Expected%20dest%20%7C%20%24%5Cmathbf%7BH%7D%20%5Ccdot%24%20source%20%7C%20Error%20(px)%20%7C%0A%20%20%20%20%7C---%7C---%7C---%7C---%7C---%7C%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%2B%20_verify_rows%0A%20%20%20%20%20%20%20%20%2B%20f%22%22%22%0A%20%20%20%20Max%20reprojection%20error%3A%20**%7B_max_err%3A.2e%7D%20px**%20%E2%80%94%20%7B'essentially%20zero%2C%20the%20DLT%20recovered%20the%20transform%20exactly.'%20if%20_max_err%20%3C%201e-6%20else%20'small%20numerical%20noise.'%7D%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%0A%20%20%20%20_H_matrix_md%20%3D%20mo.md(%0A%20%20%20%20%20%20%20%20r%22%22%22%0A%20%20%20%20The%20%24%5Cmathbf%7BH%7D%24%20matrix%3A%0A%20%20%20%20%22%22%22%0A%20%20%20%20%20%20%20%20%2B%20f%22%22%22%0A%20%20%20%20%60%60%60%0A%20%20%20%20H%20%3D%20%7Bnp.array2string(H_demo%2C%20precision%3D6%2C%20suppress_small%3DTrue)%7D%0A%20%20%20%20%60%60%60%0A%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%0A%20%20%20%20_header_md%20%3D%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20Computing%20a%20Homography%20from%204%20Points%0A%0A%20%20%20%20Drag%20the%20pucks%20to%20move%20the%20destination%20corners%20and%20see%20how%20the%20homography%20changes.%0A%20%20%20%20The%20**cyan%20dashed**%20quad%20is%20the%20source%20(image%20corners)%20and%20the%20**yellow%20solid**%20quad%0A%20%20%20%20is%20the%20destination%20you're%20choosing.%20The%20DLT%20solver%20computes%20the%20%24%5Cmathbf%7BH%7D%24%20that%20maps%0A%20%20%20%20one%20to%20the%20other.%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20_explanation_md%20%3D%20mo.md(r%22%22%22%0A%20%20%20%20Of%20course%2C%20we%20*cheated*%20%E2%80%94%20we%20typed%20in%20the%20point%20coordinates%20by%20hand%2C%20so%20there's%0A%20%20%20%20no%20measurement%20noise.%20In%20a%20real%20pipeline%20the%20points%20come%20from%20a%20corner%20detector%0A%20%20%20%20(e.g.%20%60cv2.findChessboardCorners%60)%20refined%20to%20sub-pixel%20accuracy%0A%20%20%20%20(%60cv2.cornerSubPix%60)%2C%20and%20you'd%20have%20more%20than%204%20noisy%20correspondences.%0A%20%20%20%20That's%20where%20%60cv2.findHomography%60%20earns%20its%20keep%3A%20it%20wraps%20the%20same%20DLT%20core%0A%20%20%20%20with%20**RANSAC**%20to%20reject%20outliers%20and%20a%20Levenberg%E2%80%93Marquardt%20refinement%20step.%0A%20%20%20%20%22%22%22)%0A%0A%20%20%20%20_output%20%3D%20%5B_header_md%2C%20dst_puck_widget%2C%20puck_legend%5D%0A%20%20%20%20if%20_warnings%3A%0A%20%20%20%20%20%20%20%20_output.extend(_warnings)%0A%20%20%20%20_output.extend(%5B_fig%2C%20_verification_md%2C%20_H_matrix_md%2C%20_explanation_md%5D)%0A%20%20%20%20mo.vstack(_output)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20connection_to_calibration(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20How%20Homography%20Connects%20to%20Camera%20Calibration%0A%0A%20%20%20%20Calibrating%20a%20camera%20relates%20to%20finding%20its%20**intrinsic**%20and%20**extrinsic**%20parameters.%20That's%20means%20finding%20things%20like%20it's%20focal%20length%2C%20camera%20distortion%20and%20its%20orientation%20relative%20the%20outside%20world.%20I%20will%20write%20more%20about%20this%20in%20a%20future%20post.%20Nevertheless%2C%20unsurprisingly%20as%20in%20all%20metrology%20we%20calibrate%20by%20using%20a%20known%20quantity.%20Here%20what%20is%20typicial%20is%20to%20use%20a%20well%20defined%20image%20that%20is%20flat%20and%20perpendicular%20to%20the%20camera%20at%20a%20known%20distance.%0A%0A%20%20%20%20The%20standard%2C%20for%20many%20good%20reasons%2C%20is%20to%20use%20a%20checkerboard%20pattern%20on%20a%20nice%20and%20flat%20surface.%20For%20such%20a%20planar%20calibration%20target%20(like%20a%20checkerboard%20on%20the%20%24Z%3D0%24%20plane)%2C%20the%20full%20projection%20simplifies%3A%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbf%7Bx%7D%20%3D%20%5Cmathbf%7BK%7D%20%5Cbegin%7Bbmatrix%7D%20%5Cmathbf%7Br%7D_1%20%26%20%5Cmathbf%7Br%7D_2%20%26%20%5Cmathbf%7Br%7D_3%20%26%20%5Cmathbf%7Bt%7D%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%5Cbegin%7Bbmatrix%7D%20X%20%5C%5C%20Y%20%5C%5C%200%20%5C%5C%201%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%3D%20%5Cmathbf%7BK%7D%20%5Cbegin%7Bbmatrix%7D%20%5Cmathbf%7Br%7D_1%20%26%20%5Cmathbf%7Br%7D_2%20%26%20%5Cmathbf%7Bt%7D%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%5Cbegin%7Bbmatrix%7D%20X%20%5C%5C%20Y%20%5C%5C%201%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20The%20%24Z%3D0%24%20column%20drops%20out%2C%20leaving%20a%20%243%20%5Ctimes%203%24%20mapping%20%E2%80%94%20**a%20homography!**%0A%0A%20%20%20%20%24%24%0A%20%20%20%20%5Cmathbf%7BH%7D%20%3D%20%5Cmathbf%7BK%7D%20%5Cbegin%7Bbmatrix%7D%20%5Cmathbf%7Br%7D_1%20%26%20%5Cmathbf%7Br%7D_2%20%26%20%5Cmathbf%7Bt%7D%20%5Cend%7Bbmatrix%7D%0A%20%20%20%20%24%24%0A%0A%20%20%20%20%23%23%23%20Zhang's%20calibration%20method%20(what%20%60cv2.calibrateCamera%60%20does)%3A%0A%0A%20%20%20%201.%20**Detect%20corners**%20in%20%24N%24%20images%20of%20a%20planar%20target%0A%20%20%20%202.%20**Compute%20%24N%24%20homographies**%20%24%5Cmathbf%7BH%7D_i%24%20(each%20relates%20the%20target%20plane%20to%20image%20%24i%24)%0A%20%20%20%203.%20**Extract%20constraints%20on%20%24%5Cmathbf%7BK%7D%24**%20from%20each%20%24%5Cmathbf%7BH%7D_i%24%3A%20since%20%24%5Cmathbf%7Br%7D_1%24%20and%20%24%5Cmathbf%7Br%7D_2%24%20are%20orthonormal%2C%20each%20homography%20gives%202%20constraints%20on%20%24%5Cmathbf%7BK%7D%5E%7B-T%7D%5Cmathbf%7BK%7D%5E%7B-1%7D%24%0A%20%20%20%204.%20**Solve%20for%20%24%5Cmathbf%7BK%7D%24**%20(needs%20%24%5Cgeq%203%24%20homographies%2C%20i.e.%2C%20%24%5Cgeq%203%24%20images)%0A%20%20%20%205.%20**Refine%20all%20parameters%20jointly**%20%E2%80%94%20steps%202%E2%80%934%20give%20a%20good%20initial%20guess%20for%0A%20%20%20%20%20%20%20%24%5Cmathbf%7BK%7D%24%2C%20the%20poses%20%24(%5Cmathbf%7BR%7D_i%2C%20%5Cmathbf%7Bt%7D_i)%24%2C%20and%20the%20distortion%0A%20%20%20%20%20%20%20coefficients%20%24k_1%2C%20k_2%2C%20%5Cldots%24%20But%20each%20of%20those%20was%20estimated%20independently%2C%0A%20%20%20%20%20%20%20so%20they%20don't%20perfectly%20agree%20with%20each%20other.%20The%20final%20step%20minimizes%20the%0A%20%20%20%20%20%20%20total%20**reprojection%20error**%20(sum%20of%20squared%20distances%20between%20detected%20corners%0A%20%20%20%20%20%20%20and%20where%20the%20model%20predicts%20they%20should%20be)%20over%20*all*%20parameters%20at%20once.%0A%20%20%20%20%20%20%20This%20is%20a%20nonlinear%20least-squares%20problem%2C%20solved%20with%0A%20%20%20%20%20%20%20**Levenberg%E2%80%93Marquardt**%20%E2%80%94%20an%20iterative%20algorithm%20that%20interpolates%20between%0A%20%20%20%20%20%20%20gradient%20descent%20(safe%2C%20slow)%20and%20Gauss%E2%80%93Newton%20(fast%20near%20the%20solution).%0A%20%20%20%20%20%20%20It%20nudges%20all%20the%20parameters%20together%20until%20the%20predicted%20corner%20locations%0A%20%20%20%20%20%20%20match%20the%20detected%20ones%20as%20closely%20as%20possible.%0A%0A%20%20%20%20I'll%20expand%20on%20this%20pipeline%20in%20a%20future%20post.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A