無料のソフトウェアだけを使って低コストでmp4動画の超解像と拡大を行う方法を紹介します。
90年代から2000年代にVHSビデオテープやDVDに録画した映像を鮮明で大きくしたいという要件がある場合、Deep Learning技術を使って行う手法が存在するようになりました。しかし、自分でニューラルネットワークモデルを作成してこれを行うことには多くの方にとってハードルがありますし、数少ないパッケージ化された動画の超解像ソフトウェアはまだ数万円の価格です。
そこで、数年前に静止画像の超解像ソフトウェアとして話題になった無料ソフトウェア「Waifu2x」を使って、ニューラルネットワークモデルの作成をせずにお金をかけずに難しいことをスキップして動画の「拡大＆超解像」を行うコードを下記に記載します。
この方法ではコマンドラインからWaifu2xをコールして超解像させる手法をとっているため、Waifu2xよりも適切な超解像ソフトウェアが手元に入手できた場合はそちらのソフトウェアに切り替えることが容易にできるメリットがあります。
1. 用意するもの
ここで記述するPythonコードは前提としてWindows10上のJupyter Notebookで実行する前提で書いてあります。
超解像と拡大を適用したい動画はMP4形式でsourceフォルダに保存しておきます。複数のMP4ファイルがある場合、順番に連続して処理を行います。
2. Pythonコード
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 | ##### # souceフォルダに入ったmp4ファイルを次々に960x720に高解像拡大します。 ##### from IPython.display import clear_output import cv2, glob, math, os, shutil, subprocess import tensorflow as tf # 接続されているGPUの数を検出する (最大で２つのGPUまで) physical_gpus = tf.config.experimental.list_physical_devices('GPU') number_of_gpus = len(physical_gpus) # application path # ffmpegの実行コードがあるフォルダのパス ffmpeg_path = 'C:/Users/Ryusuke/TensorFlow/ffmpeg/bin' # waifu2x CUI版があるフォルダのパス waifu2x_path = 'C:/Program Files/waifu2x-caffe' # 上記ふたつを環境変数のPATHに追加で登録する os.environ["PATH"] += os.pathsep + ffmpeg_path os.environ["PATH"] += os.pathsep + waifu2x_path # 途中処理用のフォルダを定義し作成する source_path = 'source/' temp_path = 'temp/' temp_path_lr = temp_path+'lr/' temp_path_lr_1 = temp_path_lr+'1/' temp_path_lr_2 = temp_path_lr+'2/' temp_path_sr = temp_path+'sr/' result_path = 'result/' if not os.path.exists(source_path): os.mkdir(source_path) if not os.path.exists(temp_path): os.mkdir(temp_path) if not os.path.exists(temp_path_lr): os.mkdir(temp_path_lr) if not os.path.exists(temp_path_lr_1): os.mkdir(temp_path_lr_1) if not os.path.exists(temp_path_lr_2): os.mkdir(temp_path_lr_2) if not os.path.exists(temp_path_sr): os.mkdir(temp_path_sr) if not os.path.exists(result_path): os.mkdir(result_path) # 元データフォルダにあるmp4動画を見つける input_videos = glob.glob(source_path+'*.mp4') filter_object = filter(lambda x: x != "", input_videos) input_videos = list(filter_object) input_videos.sort() print(str(len(input_videos))+' files found.') # 処理の進捗状況を表示するプログレスバーを関数で定義 def update_progress(progress): bar_length = 20 if isinstance(progress, int): progress = float(progress) if not isinstance(progress, float): progress = 0 if progress < 0: progress = 0 if progress >= 1: progress = 1 block = int(round(bar_length * progress)) clear_output(wait = True) text = "Progress: [{0}] {1:.1f}%".format( "#" * block + "-" * (bar_length - block), progress * 100) print(text) # 実際に動画を順番に読み込んで行う超解像処理 for j in range(len(input_videos)): input_video = input_videos[j] print('converting: '+input_video) ##### # 1. 元データフォルダにあるmp4動画から音声トラックをffmpegで切り出して保存する ##### output_audio_name = 'temp/'+os.path.splitext(os.path.basename(input_video))[0]+'.m4a' command = 'ffmpeg -i '+input_video+' -acodec copy -map 0:1 -vn '+output_audio_name subprocess.call(command, shell=True) ##### # 2. ビデオからフレーム画像の切り出し ##### if(os.path.exists(input_video)): try: count = 0 cap = cv2.VideoCapture(input_video) # ビデオ情報の取得 video_name = os.path.basename(input_video) width = str(cap.get(cv2.CAP_PROP_FRAME_WIDTH)) height = str(cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) frame_count = str(cap.get(cv2.CAP_PROP_FRAME_COUNT)) frame_count = math.floor(float(frame_count)) frame_rate = str(cap.get(cv2.CAP_PROP_FPS)) # ビデオ情報の表示 print('video name: '+video_name) print('frame count: '+str(frame_count)) print('frame rate: '+str(frame_rate)) # 元データフォルダにあるmp4動画から映像トラックのフレーム画像をffmpegで切り出して保存する while True: ret, frame = cap.read() if ret == True: count += 1 # もしフレームの特定範囲だけを切り出したい場合はここで切り出し範囲を指定 # 昔の動画だと周囲に黒い枠やノイズがある場合があるので # y = 0 # h = 480 # x = 40 # w = 640 # 切り出し処理 # frame = frame[y:y+h, x:x+w] # GPUが１つの場合 if number_of_gpus <= 1: cv2.imwrite(temp_path_lr_1+str("{0:06d}".format(count))+'.jpg', frame) # GPUが２つ以上の場合（追って２つのGPUで独立して超解像するために２つのフォルダに分けて切り出し保存） elif number_of_gpus >= 2: if count%2 == 1: # count = 0, 2, 4 .... cv2.imwrite(temp_path_lr_1+str("{0:06d}".format(count))+'.jpg', frame) elif count%2 == 0: # count = 1, 3, 5 .... cv2.imwrite(temp_path_lr_2+str("{0:06d}".format(count))+'.jpg', frame) else: break except Exception as e: print('error: opencv error '+e) break else: print('error: '+str(input_video)+' does not exists.') ##### # 3. 超解像を適用 ##### input_path_1 = temp_path_lr_1 input_path_2 = temp_path_lr_2 output_path = temp_path_sr process_mode = 'gpu' # GPUを使うモードを指定 gpu_1 = 0 gpu_2 = 1 noise_reduction_level = 3 # Waifu2xではノイズリダクションレベルを0-3で指定する（0: リダクションなし） image_processing_mode = 'scale' # サイズ変更と超解像を同時に行うモード target_width, target_height = 960, 720 # 超解像後の画像サイズをここで指定 noise_level = 0 print('excuting super resolution') try: # subprocessのcallでWaifu2x CUI版をコールして切り出した画像に対して繰り返し超解像と拡大を行う if number_of_gpus <= 1: command = 'waifu2x-caffe-cui.exe -i '+input_path_1+' -o '+output_path+' --input_extention_list jpg --mode '+image_processing_mode+' --process '+process_mode+' --gpu '+str(gpu_1)+' --scale_width '+str(target_width)+' --scale_height '+str(target_height)+' --noise_level '+str(noise_level) subprocess.call(["powershell.exe", command]) elif number_of_gpus >= 2: procs = [] command_1 = 'waifu2x-caffe-cui.exe -i '+input_path_1+' -o '+output_path+' --input_extention_list jpg --mode '+image_processing_mode+' --process '+process_mode+' --gpu '+str(gpu_2)+' --scale_width '+str(target_width)+' --scale_height '+str(target_height)+' --noise_level '+str(noise_level) proc_1 = subprocess.Popen(["powershell.exe", command_1]) procs.append(proc_1) command_2 = 'waifu2x-caffe-cui.exe -i '+input_path_2+' -o '+output_path+' --input_extention_list jpg --mode '+image_processing_mode+' --process '+process_mode+' --gpu '+str(gpu_1)+' --scale_width '+str(target_width)+' --scale_height '+str(target_height)+' --noise_level '+str(noise_level) proc_2 = subprocess.Popen(["powershell.exe", command_2]) procs.append(proc_2) for proc in procs: proc.communicate() proc_1.wait() proc_2.wait() print('super resolution has been completed') except Exception as e: print('error: waifu2x error '+e) ##### # 4. 超解像した画像をつなぎ合わせて動画に戻す ##### output_video_name = os.path.splitext(video_name)[0]+'_sr_'+str(target_width)+'x'+str(target_height)+'_noaudio.mp4' fourcc = cv2.VideoWriter_fourcc('m','p','4','v') video = cv2.VideoWriter(result_path+output_video_name, fourcc, float(frame_rate), (int(target_width), int(target_height))) for i in range(1, int(frame_count)): try: img = cv2.imread(temp_path_sr+'{0:06d}.png'.format(i)) # シャープ化するためのオペレータ k=2 kernel = np.array([[-1, -1, -1], [-1, 9, -1], [-1, -1, -1]]) # 作成したオペレータを基にシャープ化 img_sharp = cv2.filter2D(img, -1, kernel) video.write(img_sharp) except: pass update_progress(i / frame_count) update_progress(1) video.release() ##### # 5..動画と音声をふたたび結合する ##### # resultフォルダにoutput.mp4という名前で超解像されたmp4動画が保存されます command = 'ffmpeg -i '+result_path+output_video_name+' -i '+output_audio_name+' -c copy '+'result/output.mp4' subprocess.call(command, shell=True) # 次の動画を超解像する処理のため、一時ファイルを保存したフォルダを消して作り直す shutil.rmtree(temp_path) os.mkdir(temp_path) |