From 466f151a76408c2e58a60ce57257f256b9492c17 Mon Sep 17 00:00:00 2001 From: Kyle Date: Sat, 8 Jun 2019 04:30:49 +0900 Subject: [PATCH] Make requested changes. --- youtube_dl/extractor/yahoo.py | 205 ++++++++++------------------------ 1 file changed, 59 insertions(+), 146 deletions(-) diff --git a/youtube_dl/extractor/yahoo.py b/youtube_dl/extractor/yahoo.py index 4d6d04c5c..881841f9e 100644 --- a/youtube_dl/extractor/yahoo.py +++ b/youtube_dl/extractor/yahoo.py @@ -568,55 +568,34 @@ class YahooJapanNewsIE(InfoExtractor): _VALID_URL = r'https?://(?P(?:news|headlines)\.yahoo\.co\.jp)(/[^\d]*(?P\d[\d-]*\d))?' _TESTS = [ { - 'url': 'https://headlines.yahoo.co.jp/videonews/nnn?a=20190531-00000180-nnn-int', + 'url': 'https://headlines.yahoo.co.jp/videonews/fnn?a=20190719-00421051-fnn-soci', 'info_dict': { - 'id': '20190531-00000180', + 'id': '20190719-00421051', 'ext': 'mp4', - 'title': '北“対米担当特別代表を銃殺”韓国紙報じる（日本テレビ系（NNN）） - Yahoo!ニュース', - 'description': '韓国の主要紙である朝鮮日報は、２回目の米朝首脳会談が決裂した責任を問われ、北朝鮮 - Yahoo!ニュース(日本テレビ系（NNN）)', - 'thumbnail': r're:^https?://.*\.[a-zA-Z\d]{3,4}$', - }, - 'params': {'skip_download': True}, - }, - { - 'url': 'https://headlines.yahoo.co.jp/hl?a=20190529-00010015-houdoukvq-soci', - 'info_dict': { - 'id': '20190529-00010015', - 'ext': 'mp4', - 'title': '高校屋上から男子高校生 転落\u3000目撃 女子生徒パニックで搬送（FNN.jpプライムオンライン） - Yahoo!ニュース', - 'description': '29日午後、宮崎市の高校の屋上から男子高校生が転落し、重傷となっている。29日午後2 - Yahoo!ニュース(FNN.jpプライムオンライン)', + 'title': '15階から2歳女児転落死\u3000母は台所「目を離した隙に」（フジテレビ系（FNN）） - Yahoo!ニュース', + 'description': '大阪市で18日夜、マンションの15階から2歳の女の子が転落し病院に運ばれたが、まもな - Yahoo!ニュース(フジテレビ系（FNN）)', 'thumbnail': r're:^https?://.*\.[a-zA-Z\d]{3,4}$', }, 'params': {'skip_download': True}, }, { 'url': 'https://headlines.yahoo.co.jp/videonews/', - 'info_dict': { - 'id': 'headlines.yahoo.co.jp', - 'ext': 'mp4', - 'title': '映像ニュース - Yahoo!ニュース', - 'description': 'テレビ局などが配信する映像ニュースを掲載。', - }, - 'params': {'skip_download': True}, + 'only_matching': True, }, { 'url': 'https://news.yahoo.co.jp', - 'info_dict': { - 'id': 'news.yahoo.co.jp', - 'ext': 'mp4', - 'title': 'Yahoo!ニュース', - 'description': 'Yahoo!ニュースは、新聞・通信社が配信するニュースのほか、映像、雑誌や個人の書き手が執筆する記事など多種多様なニュースを掲載しています。', - }, - 'params': {'skip_download': True}, - }, - { - 'url': 'https://news.yahoo.co.jp/byline/fujitatakanori/20190528-00127666/', 'only_matching': True, }, - {'url': 'https://news.yahoo.co.jp/pickup/6325141', 'only_matching': True}, + { + 'url': 'https://news.yahoo.co.jp/byline/hashimotojunji/20190628-00131977/', + 'only_matching': True, + }, + { + 'url': 'https://news.yahoo.co.jp/feature/1356', + 'only_matching': True + }, ] _USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36' - _ORIGIN = 'https://s.yimg.jp' def _extract_formats(self, json_data, content_id): formats = [] @@ -626,57 +605,29 @@ class YahooJapanNewsIE(InfoExtractor): lambda x: x['ResultSet']['Result'][0]['VideoUrlSet']['VideoUrl'], list, ) - if video_data: - # Article page - for vid in video_data: - delivery = vid.get('delivery') - url = url_or_none(vid.get('Url')) - if not delivery or not url: - continue - elif delivery == 'hls': - formats.extend( - self._extract_m3u8_formats( - url, - content_id, - 'mp4', - entry_protocol='m3u8_native', - m3u8_id='hls', - fatal=False, - ) + for vid in video_data or []: + delivery = vid.get('delivery') + url = url_or_none(vid.get('Url')) + if not delivery or not url: + continue + elif delivery == 'hls': + formats.extend( + self._extract_m3u8_formats( + url, content_id, 'mp4', 'm3u8_native', + m3u8_id='hls', fatal=False, ) - elif delivery == 'progressive': - formats.append( - { - 'url': url, - 'format_id': 'http-%s' % compat_str(vid.get('bitrate', '')), - 'ext': determine_ext(url), - 'height': int_or_none(vid.get('height')), - 'width': int_or_none(vid.get('width')), - 'btr': int_or_none(vid.get('bitrate')), - } - ) - else: - # Headline page with multiple videos - for vid in json_data.get('videos', []): - for src in vid.get('sources', []): - url = url_or_none(src.get('src')) - ext = determine_ext(url) - if not url: - continue - if ext == 'm3u8': - formats.extend( - self._extract_m3u8_formats( - url, - content_id, - 'mp4', - entry_protocol='m3u8_native', - m3u8_id='hls', - fatal=False, - ) - ) - else: - formats.append({'url': url, 'ext': ext}) - + ) + else: + formats.append( + { + 'url': url, + 'format_id': 'http-%s' % compat_str(vid.get('bitrate', '')), + 'ext': determine_ext(url), + 'height': int_or_none(vid.get('height')), + 'width': int_or_none(vid.get('width')), + 'btr': int_or_none(vid.get('bitrate')), + } + ) self._remove_duplicate_formats(formats) self._sort_formats(formats) @@ -689,7 +640,7 @@ class YahooJapanNewsIE(InfoExtractor): def _real_extract(self, url): mobj = re.match(self._VALID_URL, url) host = mobj.group('host') - # Headline page without `displayid` defaults to `host`. + # Headline pages without `displayid` default to `host`. display_id = mobj.group('id') or host webpage = self._download_webpage(url, display_id) @@ -706,20 +657,27 @@ class YahooJapanNewsIE(InfoExtractor): thumbnail = self._og_search_thumbnail( webpage, default=None ) or self._html_search_meta('twitter:image', webpage, default=None) + space_id = ( + self._search_regex( + r']+class=(["\'])yvpub-player\1[^>]+spaceid=(?P[^&"\']+)', + webpage, 'spaceid', group='spaceid', default=None, + ) + or self._search_regex( + r'YAHOO\.JP\.srch\.\w+link\.onLoad[^;]+spaceID["\' ]*:["\' ]+([^"\']+)', + webpage, 'spaceid', default=None, + ) + or self._search_regex(r'