云端是未来,那 ARM 在伺服器市场到底有没有搞头?

2020-06-16
标签: 主页 > 环球电脑 >云端是未来,那 ARM 在伺服器市场到底有没有搞头? >
云端是未来,那 ARM 在伺服器市场到底有没有搞头?

听说 ARM 目标在 2020 年拿下两成的伺服器市场。

喔齁。

这是遍布地雷的棘手主题,拿捏不好,就会随时引爆「x86 义和团」、「RISC 十字军」与「ARM 亲卫队」的疯狂大乱斗,为此拖稿了整整一週,拖到连塞给 TechNews 编辑的藉口都用光了,所以各位不会在这里看到琳瑯满目的技术名词,应该不会对目前市场上与发展中的 ARM 伺服器晶片品头论足,绝对不会出现随随便便赌上爷爷的名誉而做出盖棺论定的无责任预言,能让各位掌握 87% 的全貌,就不算失败了。

大哉问:我要 ARM 伺服器干幺?

现成的软硬体用得好好的,为什幺要换?

选择伺服器的处理器指令集架构,并不是什幺宗教信仰,而是在商言商,有实际的好处和利益(或换句话说:没有明显的坏处和麻烦)。假设你身为公司的 IT 人员,总不可能明着跟老闆讲「因为从学生时代受的科班教育,让我不得不痛恨 CISC 的 x86,请赏赐我一大笔预算,把公司万恶的软硬体架构统统换掉」吧?

真的这幺讨厌 CISC 指令集,强烈建议这些 RISC 十字军先去「讨伐」蓝色巨人 IBM,为何 Project ECLipz「传说」了这幺久,雷声大雨点小,仅看到从 Power6 和 z6 开始共享部分处理器功能单元设计,见证 Power 系统取代一大票佔领银行核心帐务数十年、仍雄踞伺服器世界顶峰的 S/360 大型主机后代子孙之日,依旧遥遥无期。

你看看你看看,IBM 喊 Power Everywhere 喊了这幺久,搞到连苹果都跳船不用了。

回到主题,关于「Why ARM Server」,一般比较常见的下意识回覆,不外乎「ARM 晶片一定比较省电」、「ARM 晶片一定更便宜」、「ARM 生态系享有巨大的软体资源」、「需要 Intel 以外的选择」等,但这些近似单细胞反应的「大哉答」,就像用过许久的 Copy on Write 档案系统底层区块,根本就是一块块漏洞百出的过期乳酪。

为求谨慎起见,我们先假定要做出可以「完全取代」现行 x86 体系的 ARM 伺服器晶片,看看这些大哉答有哪些显而易见的谬误。

ARM 晶片比较省电:从时下的手机晶片和嵌入式系统角度来看,ARM 的确比较省电,但一旦要做成兼具高複杂度的微架构核心与伺服器等级的多核心晶片,众多追加的「外挂」,如恐龙化的非循序执行核心、单核心同时多执行绪、大型化的多阶层快取记忆体、支撑多处理器延展性的系统汇流排、连接不同类型装置的高速 I/O 介面等,就会稀释掉指令集本身複杂度带来的额外负担。

至今仍存活于市场上的 IBM Power 和 Oracle / Fujistu 的 SPARC 就是最佳例证,根本省不到哪里去,效能功耗比能佔到多少便宜也是一个大问号,反倒微架构设计需兼顾笔电市场的 x86 体系,拜 Intel 和 AMD(与众多消失于历史洪流的小厂,像 Cyrix)激烈竞争 20 年之赐,反而在这方面还可以佔到一些便宜。因市场需求庞大而享有至少领先一到两个世代的先进製程技术优势,更只会让所谓的「精简指令集优势」更蕩然无存,20 年前伺服器市场的演进和「RISC 诸神的黄昏」已经告诉我们答案了。

ARM 晶片更便宜:同理可证,羊毛出在羊身上,这样做出来的东西真的比较便宜?x86 体系有巨大的 PC 与笔电市场,支撑高效能设计的研发投资成本,但以手机市场为主的 ARM 还无福消受这样的现成利基,除非你愿意自我催眠硬凑现成 CPU IP 的多核心伺服器晶片就是最好的解答,但很明显的,拥有 Cortex-A57 核心 Opteron 的 AMD 和 ARM 本家并不这幺想。

就算硬体採购成本比较低,难道投资在早期评估、软体部署、效能调校、教育训练和承受潜在失败风险的成本就不是「成本」?

当然,设计 x86 微架构时,不得不同时兼顾三者(近年的守备範围只会更广,所以才催生 Intel 原子小金刚和 AMD 山猫家族),也会造成很多设计取捨而无法完全满足特定应用的麻烦事,桌机和笔电市场的萎缩也是潜在的长期危机,这后面再好好谈谈。

ARM 生态系享有巨大的软体资源:现在写手机 App 的人很多,IoT 也喊得很响,不代表这些就是「可用的资产」,x86 伺服器的发展极度受惠于兼顾伺服器与桌机应用的作业系统,如从 Windows XP 开始统一两者的 Windows NT 系统核心,与众多 i386 Unix 如 Linux 和 FreeBSD 等,以 Android 为首的手机作业系统可就没这幺好运。

可能当下不乏跳出来抗议的有识之士:凭什幺断定足以堪称典範转移的重大应用突破,绝不会发生在伺服器市场?(原本我很想谈 PS3 的 Cell 处理器,原始专利提及的潜在应用模式,和 Intel 过去在实验室内搞出来的花样,但我不想再增加这篇地雷文的複杂度了)况且又不是只有套装伺服器,那幺多狂盖大型资料中心的云端服务业者,他们难道不会自己关起门来搞吗?

还是先等有真正「好用」的晶片,再讲吧,这还涉及商业模式和整体持有成本的问题。请保持耐心,后面会提到。

需要 Intel 以外的选择:先不提 AMD 的 x86 产品线,为何非得要整个生态系统还五穷六绝的 ARM 不可?坚持非 RISC 不要,现成的 IBM Oracle Fujistu 难道不行吗?难不成要拿 Android 来当伺服器作业系统?

呆伯特法则包含一条「天底下任何事物都有逻辑上的极限」,「因为 ARM 伺服器的生态系统尚未完备,只要假以时日,生态系日渐完整,就可一飞冲天,大展鸿图」。那我们就挑战逻辑的极限,假设今天世界上有一间公司,它有数十年的企业伺服器经营经验,有庞大的有钱客户,有世界上最顶尖的商用软体解决方案,也有举世屈指可数的企业服务能量,更有领导业界的先进半导体製程与处理器研发能力;「反观」目前这票企图杀出一条血路的 ARM 伺服器晶片厂商,这间公司只要推出 RISC 处理器并愿意用力推广,那早该征服世界了,最起码征服一大半伺服器市场──但这件事连 IBM 都做不到。

同场加映:关于拥护 ARM 伺服器,笔者听过最瞎的理由,瞎到足以白眼翻到后脑勺去,莫过于「只要 RISC 指令集能用在伺服器,处理器时脉跟得上,CISC 的 Intel 就完蛋了。」根据个人考证,抱持此类「高论」者,87% 属于智慧型手机时代才突然冒出来,往往连什幺是超纯量、指令集架构和处理器微架构的差异,都傻傻搞不清楚的「新锐计算机结构大师」。

根本轮不到 ARM,光是计算机工业历史上实际应用在伺服器的 RISC 指令集就多如过江之鲫,但无不曾风华绝代:

现今 Windows 前身的微软 Windows NT 也曾支援 MIPS、Alpha、PowerPC 等 RISC 指令集,Alpha 版的 Windows NT 还有 FX!32 这个 x86 应用程式模拟器,但随着时间流逝,只见 x86 在伺服器市场的版图越长越大,到今天几乎垄断整个市场的程度,这里不提 Intel 还耗费很大的力气,发展今日已边缘化的 IA-64(Itanium)指令集。

以铜为镜,可以正衣冠;以史为镜,可以知兴替;以人为镜,可以知得失;没有镜子,可以跪 Google,瞧瞧过去二十多年众多 RISC 伺服器逐渐被 x86 逐出市场的历史带给我们的殷鉴。

爬文至此,恐怕义愤填膺的 RISC 十字军和 ARM 亲卫队準备带布袋和家伙出门堵笔者了,但改弦易辙,我们把命题改为「现有 Intel 和 AMD 的 x86 处理器,真的是伺服器与资料中心大户的最佳选择吗?」那又是另一个截然不同的冒险故事了。

Sun「Throughput Computing」的教训

看着当下这些 ARM 伺服器晶片,大部分越看越像「更换为 ARM 核心的多核心网路处理器」,就不得不重提十多年前 Sun 的大冒险了:Throughput Computing 与首款产品 UltraSPARC T1「Niagara」,和后来因耗电量失控激增到 250W 而一再改版一再延期、在 Oracle 购併 Sun 的关键时刻、不幸惨遭腰斩的 UltraSPARC RK「Rock」。

简而言之,Sun 既然在「传统」伺服器处理器领域失去竞争力(不提一如往昔很争气的 Fujitsu SPARC64,连 Opteron 和 Xeon 都足以取代后期的 UltraSPARC),抓住网路云端服务开始快速扩展的关键时刻,购併了 Afara Websystem,将发展重心转移至「高压力网路服务的前端」与「高密度资料处理的后端」的高吞吐量多执行绪处理器,Niagara 和 Rock 分别对应天平两端的需求,x86 伺服器产品线则填补于两者的中间,Sun 还特别提出了「CoolThreads」这个言简意赅、标榜极高电力效率的行销名词,也暗指肥大的非循序指令执行超纯量处理器是大而无当的耗电怪物。

在此,提醒各位一件事:任何企业 IT 应用都要软硬兼备,如果 Sun 手头没有当时世界最先进的伺服器作业系统 Solaris 和满手的企业级应用程式为后盾,CoolThreads 根本不可能有任何踏出第一步的可能性。

我们先来一窥 CoolThreads 首发 Niagara 的概要,规格细节就不谈了,请自行 Google。如其开发代号,Sun 的目标就是创造出像瀑布一样的效能吞吐量,但却以牺牲单执行绪效能「等价交换」:

Niagara 推出之际,Sun 不但狂抛像叶问一样厉害「一人打十人」的惊人效能测试数据与效能功耗比,台湾某本 IT 週刊的某位吃不饱但也是闲闲没事干的技术编辑写篇封面故事,想测试 Niagara 的能耐,找上台湾最大的电玩资讯网站,实际导入一台 SunFire T2000,「一台抵十台」上线中的前端网站伺服器,长达整整一週的时间,证实其惊人效能所言不假,性能表现竟然优异到网路才是最大的瓶颈。

开第一枪的 Niagara 规格算有点两光,后继的 Niagara 2 才更能充分彰显 Throughput Computing 的真正全貌:

问题来了,那为何后来 Niagara 家族没有在市场上得到重大胜利?尚无 Google 之类的云端服务业者大举导入?连前面提到的台湾最大电玩资讯网站最后也没採用?甚至为高压力网路服务的前端量身订做的特化风格,从此中止发展,整个 Throughput Computing 慢慢重回更加传统的超纯量同时多执行绪非循序指令执行的过气路线?时脉与耗电量又重回了 3GHz 和两百多瓦的水準?结果 CoolThreads 一点都不 Cool。

  1. 因为这是从头全新发展的产品,为摊平研发成本,产品单价还是太高,即使你知道在特定的应用,它真的可以一人打十人。
  2. 单执行绪效率太差,作业系统太特别,降低了泛用性,代表日后想要淘汰伺服器,也不容易找出从第一线退休后的第二春。
  3. 需特别为这独树一帜的「特殊番号」投入不少时间精力进行效能调校与后继维护,以前述台湾最大电玩资讯网站为例,导入上线前,光熟悉 Solaris、效能调校与前导测试,就没日没夜整整花了将近一个月,早上不知吃了多少次 Sun 的行销送来「赈灾」的鼎泰丰,事后也评估「产品很棒,但不那幺适用」。原因很简单,套句军事用语:增加后勤负担。

二战时的苏联规划装备笃信的原则:在能到手的武器中,挑选出最好的,型号宜少不宜多,尽量简单实用,然后大量生产。但德军就因各类武器的型号、功能与设计过于繁複,亦不乏难以供养的「超级兵器」,对后勤维护与作战部署带来诸多不便。以上的战争经验,其实对企业选择合用的伺服器,也一体适用。

很不幸的,针对 ARM 阵营可能的突破点,Intel 策略性推出通用性还不赖、产品价格区间涵盖範围够完整、同样整合多核心多执行绪 10GbE 网路与加密处理器──而且毋需操心缺乏软体与单执行绪效能不佳的问题──的 Xeon D(初代是 Broadwell-DE)产品线,很精确的狙击到想如法炮製昔日 Sun CoolThreads 策略的 ARM 伺服器处理器厂商,如果 AMD 也「共襄盛举」推出类似的 x86 晶片(AMD 替 Sony 微软打造的游戏机晶片很有这样的味道),ARM 阵营的处境只会更加严峻,尤其缺乏伺服器环境验证经验,绝对是 ARM 阵营的大罩门。

服务反应时间就是钞票的 Google

电玩资讯网站顶多几十台伺服器,仅导入几台 SunFire T2000 这样的特殊伺服器肯定不划算,但一次就部署个数千数万台,形成经济规模后,不就没这样的问题了?对,我就在讲 Niagara 刚推出时,一谈到潜在大客户,几乎所有人第一时间想到的 Google。近年来,一扯到 ARM 伺服器,众人的雷达也毫不犹豫的锁定现今云端服务的霸主。

Google 就快快乐乐的导入 Niagara了……才怪,Google 最重视的是服务反应速度,这背后的逻辑跟不务正业推出 Chrome 浏览器与积极推广高速网路有 87% 相似度。你现在可能马上脑袋打结了,处理器和浏览器和建设高速网路有什幺瓜葛?

请先思考一下 Google 的业务基础是什幺。对,就是广告,Google 渴望在最短的时间内让使用其服务的人看到最多广告,也因此,他们需自行打造高效能的浏览器,并努力推广高速网路,同时也需要可缩短服务反应时间的伺服器,因为对 Google 而言,越短的服务反应时间,除了更好的使用者体验,更代表越多白花花的钞票。

所以 Google 资料中心塞满一堆 Intel 的 x86 处理器也不是令人意外的结局,而且有极高比例还是理论上延迟时间最短的单处理器平台,甚至很可能连同时多执行绪都不想打开,只为了缩短运算延迟。当年 Sun 的「瀑布理论」,撞上 Google 的商务模式,马上就破功了。谁说高时脉与高单执行绪效能对网路服务不重要?

按照同样的「87%」逻辑,同样谣传「被导入」ARM 伺服器与已经公开宣布测试 IBM Power,为何 Google 玩后者看起来就比较像「玩真的」?因为从来没人敢怀疑 IBM Power 绝对可在很多资料处理领域提供远胜同时期 Intel Xeon 的能力,不仅可拥有更多和 Intel 讨价还价的筹码,Power 傲视世界的效能,也同时替 Google 带来商业上的重大价值:时间。

问题又来了,云端服务千百种,而且又不是所有云端服务业者都像 Google 一样靠上网卖广告维持家计(讲得 Google 好像很穷的样子),假如我只要建构便宜的免费云端储存服务,资料中心只需功能单纯的客製化储存伺服器晶片,难道 ARM 伺服器没有空间吗?很刚好地,这的确是 Annapurna Labs 之类的晶片厂商很擅长的领域(不少 NAS 用他们家的晶片),然后又很刚好地,这间公司已是 Amazon 的一部分了,Amazon 也开始拥有晶片销售业务,后继发展,值得慢慢观察。

至于 Google,曾在 DEC 参与 Alpha 处理器中的 Piranha 计画──Sun Throughput Computing 概念的先驱──的 Luiz André Barroso,2005 年在 ACM 发表「An Economic Case for Chip Multiprocessing」,至今已相隔超过 10 年,只闻楼梯响,不见人下来,让人不得不阴谋论:Google 挑 Sun 大张旗鼓的心理关键时刻放这一砲,该不会只为了要跟 Intel、AMD 杀价吧?

ARM 伺服器唯一的机会在快速客製化与 Time To Market

一路看下来,先将近年新闻报导的海外誓师大会束之高阁,似乎苦苦挣扎中的 ARM 伺服器阵营已四面楚歌,连应该最看好、在资料中心网通设备累积巨大资本、最有挥洒本钱的 Broadcom 都中止 Vulcan 计画抽腿不玩了,但重新检视 x86 处理器的最根本问题与最基本弱点,就会看到一丝微弱的曙光。

为何 x86 指令集会被讨厌到「大概只有发明它的人才会喜欢」?(Intel 内部也不是每个人都喜欢 x86,要不然也不会发展 iAPX 432、i860、i960 和 IA-64)不仅多数资讯科班在养成教育过程中,被 RISC 大师撰写的计算机组织结构教科书洗礼,x86 指令集毫无道理可循的高複杂性和缺乏统一版本的乱象,大幅垫高了研发处理器的投资与时间成本,导致今天仅剩 Intel 与 AMD 是唯二有能力持续推陈出新产品的厂商,严重伤害了处理器业界的多样化发展,整个计算机工业和资讯产业也跟着连带付出难以估算的重大代价。

假如今天是 ARM 或某种 RISC 指令集取代 x86 世界,仅凭想像也可断言电脑技术发展会更快,处理器产业也会更百家争鸣,竞争更激烈的市场将带来更好、更便宜、更贴近当下市场需求的产品,不会搞到扣除手机、平板、嵌入式系统(车用是比较特别的案例)、高阶伺服器外,只剩下两家可选的惨况。

别扯不是定律的摩尔「定律」了,笔者合理怀疑那根本是保护半导体製程工程师生活品质的阴谋(跟上曲线就算 KPI 达标了)。没有摩尔定律,可能半导体产业进步的速度会更快也说不定。看来半导体製程与设备研发人员即将加入偷盖笔者布袋的行列。

到头来,现有 Intel 和 AMD 的 x86 处理器,真的是伺服器与资料中心大户的「最佳」选择吗?还是「不得不」的选择?x86 处理器研发时间都这幺长,动辄 3、5 年,真的可以準时满足客户的需求?如同 x86 无法在手机平板和机上盒市场站稳脚步的理由,这才是 ARM 伺服器的切入点,只是到头来,这机会真的存在吗?

这议题要分成套装伺服器与资料中心这两块来看,两边的机会和条件大相逕庭。

套装伺服器:山穷水尽疑无路

坦白讲,无论怎幺想,机会都很渺小,如坚定相信机会无穷,请先提出说服自己愿意用 ARM 伺服器的理由:

最基本的必备条件如下:

嗯,越写越觉得机会越渺茫了,连让 Intel 冷汗多两滴都很艰难,我们把镜头转向到最火热的资料中心战场,看看截然不同的景象。

资料中心:柳暗花明又一村

毕竟直接主宰使用者体验,掌握作业系统的话语权,不一样就是不一样。

二十几年来,虽然「Wintel」一词营造出微软与 Intel 看似唇齿相依、同舟共济、肝胆相照、狼狈为奸的错觉,但微软从来就没有中止让作业系统下面的「地基」摆脱 Intel 束缚、让 Windows 无所不在的想法。Windows NT 的劈腿「前科」久远,Itanium 的投资失败不堪回首,2012 年的 Windows RT 尸骨未寒,微软今年捲土重来,陪着 Qualcomm 和 Cavium 一起发表支援 ARM 的 Windows Server 与 Windows 10,更公开表示自己头先洗下去当白老鼠进行内部资料中心测试。有了作业系统霸权的加持,终于让这几年倍受质疑的 ARM 伺服器阵营(与其支持者),彷彿看到隧道尽头的光芒,只欠爬出隧道的体力。

微软这举动最重大的战略意义,很简单,也很正确:双管齐下,同时发展 ARM 架构的「伺服器」和「个人电脑」的生态系统,一次把饼做大,重现 1990 年代 Windows NT 跟着价格效能竞争力一飞冲天的 x86 处理器,同时在个人电脑和伺服器一同崛起的发展轨迹。

微软打 Intel 这一枪打得还满狠,让人不得不回忆起 2000 年内定 AMD64 为唯一支援的 64 位元 x86 指令集、2005 年放弃 Itanium 工作站、2010 年彻底放弃 Itanium 等保证让 Intel「津津有味」的往事。

但这并不代表我们很快就会看到 ARM 架构伺服器与个人电脑迅速快速普及,在建立完整生态系、并拥有足够市场竞争力前,仍有一道又一道光动大脑就会让想像力哀号的难关,光要开发出足以对抗 x86 世界的 ARM 伺服器晶片,就已难如登天。所有被点名的潜在大户关起门来进行可行性评估是一回事,实际大规模部署在营运环境又是另一回事。

Google?几年来一直狼来了,也没看到啥鬼影子,更何况,现在倒是看起来跟 IBM 玩 Power 玩得挺认真。只不过 Google 一向有干大事前不动声色、努力装死的不良纪录,藉由 OpenFlow 打造 SDN WAN 的 B4 网路堪称经典,哪天突然蹦出惊世骇俗的自家 ARM 伺服器晶片,好像也不会让人太意外,但「还没开始就结束」的机率也不低就是了。

换个思考方向,「搞不好」第一个大规模在自家资料中心部署高效能 ARM 伺服器晶片的云端服务业者,不是大张旗鼓的微软,不是「被导入」的 Google,而是鸭子划水、以出货累积数以亿计的 iPhone 和 iPad 为后盾,在开发高性能 ARM 处理器已颇具心得、并公开宣称自家晶片已足以匹敌 x86 个人电脑的苹果。

你可以停下来发呆个几秒让瞬间超频过热的大脑冷却下来,我会等你,就这样。

别紧张,这只是一个小小的「可能性」而已。

重点是软硬兼备、在过去也并非没有伺服器平台开发经验(PowerPC 970 的 Xserve 和特化版的 MacOS)的苹果很有本钱这样干,而且这可以帮他们的资料中心节省大量採购处理器的钞票。苹果 iCloud 对外提供的服务,比其他开放客户部署虚拟机和多样化云端储存的业者单纯多了(反正苹果的机房「应该」已经丢掉 VMware),这也降低了更换处理器架构的门槛。

「可是苹果连 Mac 都没导入自家晶片,仍然继续採用 Intel 处理器,凭什幺资料中心可以先一亲芳泽,这 tone 也跳太大了吧!」一言以蔽之,除非苹果哪天想开了,觉得 Windows 个人电脑用户已缺乏值得他们「吸收」的潜在教徒,才有一丝一毫放弃 x86 处理器的可能性。

不过苹果自己做自己用的好东西,大概外人也无缘一亲芳泽。依照当下云端服务一步步把企业 IT 推向 Serverless 的趋势,苹果也不太可能重起炉灶做套装伺服器业务。这里再次重申,苹果自行打造 ARM 伺服器晶片,只是一个小小的「可能性」,Tim Cook 拿起 iPhone 拨拨计算机,算算研发投资成本,也很可能做出自己开发伺服器晶片其实对苹果没有太多明显利益的结论。

最后,目标 5G 电信网路市场的 NFV(网路功能虚拟化)应用,是近期 x86 义和团的重兵集结之地,基本上,这年头只要是乍看之下能纯靠软体搞定的高阶应用,总不乏深信透过塞入一大堆 x86 处理器就迎刃而解的坚定信众。Intel 曾幻想一堆小核心硬凑漂亮浮点运算效能,就能硬扛显卡大任挑战 AMD nVidia 的 Larrabee,哲人已躺平,典範没人理。

总之,蕴含巨大客製化潜力的 NFV 是笔者「直觉」ARM 伺服器颇有机会上演八国联军的战场,但这篇地雷文塞太多字了,就日后有请台湾水电工协会的不名誉会长越俎代庖,跟各位分享他的血泪教训,身历其境、亲身体会 x86 义和团英明威武、神功附体、刀枪不入、系统代工厂纷纷沿途跪街叩拜的「空前盛况」。

创业维艰,缅怀诸先烈

本篇地雷文株连甚广,主题九弯十八拐,每天开 86 上秋名山弯道送豆腐的藤原拓海 87% 都会开成藤原填海了。

那结论呢?

一切尽在不言中,本文就谈到这,如果你内心还没产生属于自己的结论,就请你翻回前面,重新爬文一次吧。

以下留言开放「x86 义和团」、「RISC 十字军」与「ARM 亲卫队」疯狂大乱斗,谢谢收看,我们下次再见。一次得罪光 87% 阵营,要逃命了。

喔齁。

阅读 (419) 评论 (119) 收藏 (244) 转载 (684)
相关阅读
世界事件科技|业界近年|设备现实|网站地图 博雅娱乐官方网址为_金洋二登录地址 葡京直营app下载_万和娱乐官网 注册送赠金_大宝娱乐游戏lg游戏cq游戏 迪威国际账户注册_真人游戏注册网 澳门新葡亰8455下载app_久发国际平台注册 恒耀注册账号_金洋娱乐登录注册 ju111九州娱网_澳门星际66 心博天下官网注册登录_万和娱乐官网 瑞博国际网站_乐百家老虎机网站 新濠万利彩登录_博亚体育投注