ネットワーク ゲームにおけるTCPとUDPの使い分け
•
12 likes•18,770 views
2017年10月27日、モノビットエンジン勉強会inサイバーコネクトツーにて、中嶋謙互が講演しました「ネットワークゲームにおける TCPとUDPの使い分け」のスライドになります。ネットワークゲームを製作する際にご参考頂けますと幸いです。 登壇者： 株式会社モノビット 取締役 CTO 中嶋謙互
More Related Content
What's hot
What's hot (20)
Similar to ネットワーク ゲームにおけるTCPとUDPの使い分け
Similar to ネットワーク ゲームにおけるTCPとUDPの使い分け (20)
More from モノビット エンジン
More from モノビット エンジン (20)
Recently uploaded
ネットワーク ゲームにおけるTCPとUDPの使い分け
- 4. ぐぐると • UDPはとにかく遅延が小さい • だから対戦格闘みたいな速い反応速度が必要なゲームはUDP • MMOはTCP (でもUDPのもある) • できるだけUDPのほうがいいだろ • TCPはデバッグしやすいよ • UDPは面倒なことが多いからTCP • でも、あのゲームもこのゲームもUDPを使ってる • しかし、あのゲームもこのゲームもTCPを使ってる • 同じジャンルでもいろいろ違う • 両方使ってるゲームもあるよ 結論ができない・・！
- 12. IPのパケット http://www.atmarkit.co.jp/ait/articles/0304/04/news001_2.html ほとんど全てのネットワークでは1500バイト以内しか送れない
- 13. パケットヘッダの積み重なり Ethernetヘッダ IPヘッダ UDP/TCPヘッダ アプリケーションヘッダ アプリケーションデータ IPヘッダ UDP/TCPヘッダ アプリケーションヘッダ アプリケーションデータ UDP/TCPヘッダ アプリケーションヘッダ アプリケーションデータ アプリケーションヘッダ アプリケーションデータ アプリケーションデータ データリンク層 ネットワーク層 トランスポート層 セッション層・アプリケーション層 物理層 {“x”:10,”y”:20} データタイプ、関数ID ポート番号、順序番号etc 宛先IPアドレス 宛先マシンアドレス
- 14. IP : ルーターを使ってデータを転送 無線LAN 利用者 サーバー 端末 ルータ ルータ ルータ ルータ 銅線 光 光 光 銅線電波 信号 ルータは高速なコンピューター 入力 信号 バッファ メモリ信号 入力 入力 出力 信号 信号 信号 出力 出力 インターネットの巨大な住所録をメモリに載せ、 11.22.33.44がどの光ケーブルの先にあるかを判定 55.44.33.22 11.22.33.44
- 16. インターネットを使う上での問題
- 17. 問題 : 光は速いけど遅い • 真空中 : 1秒間に30万km • 光ファイバの中 : 1秒間に20万km • 1ミリ秒(ms)では200km • 東京 <-> 大阪 400km = 片道2ms 東京<->サンフランシスコ 片道40ms
- 18. 問題 : 短い経路ではなく安い経路が使われる • 富山から東京にパケットを投げたら、金沢>大阪>東京 と伝達される • NTT西日本と東日本の取引がそうなっている tracerouteの結果
- 19. 問題 : ルータは遅い • 富山から大阪は300kmしかないので1.5msで済むはずが、10ms以上 かかっている • ルータがやっていること • ケーブルの信号を読み取ってバッファに積む • パケットを解析して送り先IPアドレスを調べる • IPアドレスの住所録(数十万〜数百万件)を検索してどのケーブルに出力するか決定 • 送信バッファに出力 • ケーブルに送信する • パケットの断片化や暗号化、アタック防止やファイアウォール、NATの変換、 統計データ取得など膨大な量のタスクを同時進行させている
- 21. 問題: ルータの出口が細いと捨てる 入力 バッファ メモリ 入力 入力 出力 出力 出力 高速回線 低速回線 BA C C 入力が速すぎたので AとBは捨てる
- 22. 問題:小さい単位でしか送れない • 物理層の制限 (MTU) • できるだけ多くの人が1本のケーブルを共有するために、 時間を短く切りきざむ必要がある。 • WiFiやEthernetでは1500Bytes ~ 9KBytes (数マイクロ秒以下) • モバイルだと1000Bytes以下のこともある • それ以外でもだいたい1KB~5KB以下 • それ以上のパケットは「断片化」して送る
- 23. 4KBを送るとき(成功) WiFi ルータ 4KBのデータ 1500B 1500B 1000B 1500B 1500B ルータ 1500B 3個に分かれた。 パケットを分割する動作を「IP断片化」と呼ぶ 1000B 1500B 1000B
- 24. 4KBを送るとき(成功:パケット順) WiFi ルータ 4KBのデータ 1500B 1500B 1000B 1500B1500B ルータ 1500B 順番が入れ替わったら 受信したサーバー(エンドポイント)が 並べ替えて元に戻す 1000B 1500B 1000B
- 25. 4KBを送るとき(失敗:パケットロス) WiFi ルータ 4KBのデータ 1500B 1500B 1000B 1500B1500B ルータ IPのパケットが2個、消えた。 元に戻すことができない! 1500B x x
- 26. 50KBを送るとき 50KBのデータ 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 1500B 500B x どれか1個がロスしたら全体が復元できなくなる! IPパケットは最大64KBまで。 断片の数が多いほど全ロスの確率が指数的に高まる
- 28. iperf3コマンドでもロス率を見る • Linux,Windows,Mac,Androidなど各OSで使えるベンチマークツール • TCPもUDPも測れる • pingコマンドよりも、ゲームの送信パターンにより近くすることができる
- 29. 参考データ • 無線LAN • 電波最強で0.01~0.1%程度、電波弱いと5%〜100%ロス • モバイルキャリア • 電波最強でも0.1%以上ロスあり 電波弱いと10%以上ロス。 • 有線LAN • 0.00000001%〜ケーブルクオリティ低いと0.01%ロス • ルータが混んでたらいくらでもロス • データセンター内部 • スループット制限を超えた分は全部ロス
- 34. TCP : 正確な受信順序 • パケットに「シーケンス番号」が付いているので、 受信側のメモリに貯めておいて順番を入れ替えることが できる • これで何十MBでも何GBでも正しく送れるようになった 21 23 25 26 受信 受信バッファ アプリケーション 22 24
- 35. TCP : 送りすぎの防止 (輻輳制御) • スライディングウインドウ(窓枠ずらし)方式 • 一度に送信するパケットの量に上限を設定する。 これを「窓枠」「ウインドウ」と呼ぶ。 • 窓の大きさは「ウインドウサイズ」と呼ばれる • 速く送るにはウインドウサイズを大きくする必要がある。 • この窓枠の大きさを状況によって動的に変更し、性能を調整する https://www.youtube.com/watch?v=lk27yiITOvU
- 36. TCP : スロースタート • 遅く始めてだんだん加速する。つまり、窓枠をだんだん大きくする。 • パケットがロスしない間は、ウインドウサイズをだんだん大きくして加速していく • パケロスしたらリセット=窓枠を最小にする http://www.net.c.dendai.ac.jp/~yutaro/
- 39. TCPの時代分け • 1980年代 : TCP登場、telnetでマシンを遠隔操作 • 1990年代 : メールやHTTPなどで大ブレイク • 2000年代 : モバイルで長時間のストールを防ぎたい！ • 2010年代 : 動画や音声を高速送信したい!
- 41. TCPの今後の発展 • より多くの観測情報を統計的に使う • 2016 Google BBR (Bottleneck Bandwidth and Round-trip propagation time) アルゴリズム登場 • 途中のルータと通信してより正確な状況を把握する • 宇宙空間やIoTなど極端な状況への対応 • 異なる経路の複数のセッションを同時に活用(MPTCP) • … • スループットの向上とストールの回避をどこまでも追求している • 現在も早く進化中で、今後もどんどん改善されていく • GoogleやMSなどの巨大企業による莫大な量の投資
- 44. mrs_benchのTCPモードで実験 • サーバ : Centos7 + cubic • クライアント : MacOS X + newreno • 意図的なパケロスなし • 富山>東京 mrs_benchはモノビットエンジン製品”MRS”の TCP/UDPベンチマークツール だいたい50ms以下なので 快適にゲームできる
- 45. mrs_benchのTCPモードで実験 • サーバ : Centos7 + cubic • クライアント : MacOS X + newreno • 意図的なパケロス : 5% (モバイルやWiFiではまあある状態) • 富山>東京 これではゲームにならない
- 46. LinuxでのTCPアルゴリズムの調整 • CentOS7で使えるTCPモジュールの確認 • bic,cubic,westwood,htcp,hstcp,hybla,vegas,scalable,lp,veno,yeah,illinois,dctcp が標準 インストールされているとわかる • westwoodはパケットロスが多く遅延が大きいモバイル環境向け • dctcpはデータセンター向けで、高速スイッチ機器と連携できる • などなど
- 47. Linuxにwestwood TCPを導入 • rootになり • modprobe tcp_westwood • echo “westwood” > /proc/sys/net/ipv4/tcp_congestion_control • 再起動は不要
- 48. mrs_benchでwestwoodを測定 • サーバ : Centos7 + westwood • クライアント : MacOS X + newreno • 意図的なパケロス : 5% (モバイルやWiFiではまあある状態) • 富山>東京 最初少し悪化するが、統計データが集まると回復し安定化 これなら問題なくゲームできる
- 49. CentOS以外でもアルゴリズムを確認 • Android • 4.4.2 Xperia ZR • adb shellにおいて sysctl -a | grep conges • net.ipv4.tcp_allowed_congestion_control = cubic reno • net.ipv4.tcp_available_congestion_control = cubic reno • net.ipv4.tcp_congestion_control = cubic • MacOS Xと iOS • sysctl -a | grep sockets • net.inet.tcp.newreno_sockets: 0 • net.inet.tcp.cubic_sockets: 74 • Windows • デフォルトはCTCP • コマンドラインで netsh int tcp show global で細かな設定を確認できる
- 51. TCPとUDPの比較 • UDPが即必要になる要件 • WiFiアドホックネットワークやNATトラバーサルが必要な場合 • それでもTCPとの併用は選択肢になる • UDPの明白なデメリット • 数%ある「UDPブロックド」タイプのファイアウォールを全く越えられない。 • 特に企業や学校の「ウェブ検索専用のゲーム禁止ネットワーク」でよく見られる • 比較検討のポイント • 通信遅延 • サーバのCPU消費 • RUDPの性能 • プログラミングコスト(デバッグ効率) NATトラバーサルについては話が非常に長くなるので、ここでは割愛
- 53. TCPとUDPの比較 : 通信遅延 • UDPにはストールがなく、ただ単にパケットが消えるだけ • TCPのストールについては前述。 • ここではパケットの到達までにかかる時間の長さだけを考える • サーバ: Centos7 + westwood • 富山>東京 UDP速い 通信距離が長くなるほど明らかにUDPが速くなるのは、 途中のルータすべての処理負荷の蓄積が無いため。 開発中のゲームで、20〜30msの遅延は問題になるか？
- 54. TCPとUDPの比較 : サーバのCPU消費 • libuv_bench でTCPとUDPのエコーサーバーで比較(top) • TCP: Centos7 + westwood • IDCFクラウドのデータセンター内通信を使用 • 600Mbpsを送信 libuv_benchは弊社が独自に実装した libuvを用いたベンチマークプログラム TCP 合計10.4% UDP 合計6.2% UDPのほうがユーザー時間もシステム時間も小さい TCPはOSが接続状態(コネクション)を管理しているため
- 55. TCPとUDPの比較 : RUDPの性能 • RUDP : Reliable(信頼できる) UDP • UDPにTCPの機能の一部を追加したプロトコルの総称 • モノビットエンジン製品では、再送機能と順序保証を単純な スライディングウインドウ式で実装したRUDPである ENetの独自修正版を使用。 • 富山>東京 パケットロス10%、遅延100ms追加で比較 mrs_bench RUDP ENetTCP westwood ACKパケットも連続ロスした場合はどちらも1000ms以上遅れることもある。 ENetは少し平均遅延が長いが健闘している
- 56. TCPとUDPの比較 : RUDPのサーバCPU • 100Mbps送受信のMRSサーバで比較(top) TCP 合計2.3% RUDP 合計8.3% これが、30年近くかけて大規模環境で叩かれてきたLinuxのTCPと 主にゲームで使われてきた10年選手のENetの差・・！ しかし100Mbpsで1ヶ月通信すると、 通信費がAWSなら50万円以上だがCPU費用は1000円以下。 CPUコストは誤差といえる。 モノビットエンジンMRSでは、パケットごとに信頼性のあり・なしを設定可能 RUDP 合計6% (信頼性なしモード)
- 57. TCPとUDPの比較 : RUDPの使い方 • 信頼性(再送、順序)が必要なパケットは再送をさせるが、そうではない パケットは再送させない • モノビットエンジンではパケットごとにon/offできる • 信頼性ありパケットの用途 • ログイン・ログアウト、ショップ、マッチング、アイテム取得など • 信頼性なしパケットの用途 • キャラクターの位置更新、エフェクト、ボイスチャット、映像データなど • 以下はMRSでのコード例
- 58. TCPとUDPの比較 : プログラミングコスト • UDPとTCPの違いはミドルウェアが自動的に吸収、プログラミングの 作業自体は簡単 • 以下はモノビットエンジン製品”MRS”におけるコード例 切り替えはライブラリのフラグ一発なので、 TCPで開発を始めてから、随時UDPにきりかえてテストをしていくことができる。 また、”UDPブロックドNAT"環境でもスイッチ一発で切り替えることができ、問題を解消できる。
- 59. TCPとUDPの比較 : プログラミングコスト • トラブルシューティングはUDPが一手間多く必要 • TCPではOSがコネクションの状態を管理しているため、 netstatやss, nethogsなどの標準ツールを用いて通信状態の確認がやりやすい • UDPではコネクションをアプリケーションが管理しているため、tcpdumpや wiresharkを用いた確認作業が必要 • モノビットエンジン用のパケット解析スクリプト”mrsdump”を準備中
- 60. TCPとUDPの使い分け 質問 答え UDPは速いか？ 遠いとかなり速い UDPはサーバが軽いか？ UDPは軽いがRUDPは重い。ただし 誤差の範囲 UDPはプログラミングが面倒か？ 実装は変わらないが トラブルシュートが面倒 結論: ゲームでは、UDPとTCPの切り替えが可能な通信ミドルウェアを使えば、 「UDPブロックドNAT」の問題も解消できるので、UDPが第一選択肢となる。 では、開発中のゲームではどうすればよいか？
- 61. ゲームで必要な低遅延と帯域幅 ゲームジャンル 遅延 帯域 プロトコル FPS(PvP公式戦) 5~15ms 500Kbps~1Mbps UDP+RUDP FPS(PvP一般) 10~30ms 200~300Kbps UDP+RUDP 対戦格闘(1vs1) 5~30ms 50~200Kbps UDP+RUDP レースゲーム(PvP) 10~50ms 100~200Kbps UDP+RUDP スマブラ系PvP 10~50ms 100~300Kbps UDP+RUDP VR空間共有 10~100ms 100K~1Mbps UDP+RUDP/TCP FPS(PvE) 30~100ms 200Kbps UDP+RUDP/TCP RTS/MOBA 20~100ms 200~500Kbps UDP+RUDP/TCP TPS 50~100ms 100~300Kbps RUDP/TCP スマホアクション 50~200ms 50~100Kbps RUDP/TCP ボイスチャット 50~200ms 50K~300Kbps RUDP/TCP 超多人数戦争 100~300ms 300Kbps~1Mbps RUDP/TCP MMORPG 100~500ms 50~200Kbps RUDP/TCP スマホターン制 200~1000ms 20~100Kbps TCP 上記は一人あたり必要な帯域幅
- 62. モノビットのミドルウェア製品 • MRS “Monobit Revolution Server” • UDP/RUDP/TCP/WebSocketに対応した全プラットフォーム向け 通信ミドルウェア • http://www.monobitengine.com/mrs/ • MUN “Monobit Unity Network” • Unity向けの導入が非常に簡単なMRSベースのミドルウェア • http://www.monobitengine.com/mun/
- 63. モノビットの調査ツール • 社内で調査やお客さまサポートに使う独自ツール群 • mrs_bench : MRSのベンチマークツール • enet-benchmark : ENetのベンチマークツール • libuv_bench : libuvのベンチマークツール • node_bench : node.jsのベンチマークツール • MRSだけではなく下位レイヤー単体の調査を綿密に行って、 問題の切り分けを行っています。 • ネットワークゲーム実装で困ったり、何か工夫したいときは遠慮なく お声掛けください!