Amazon S3 的流量，以及 S3 與 Glacier 都推出 Select 功能

Twitter 上看到會場的照片，Amazon S3 單一 region 就有 37 Tb/sec 的量：

um, a baking powder?

37 Tb/s is part of S3 traffic in a single region?!?!?#reinvent pic.twitter.com/rWpnBE20HU

— Mark Nunnikhoven (@marknca) November 29, 2017

在這種量下面對 DDoS 沒什麼感覺 XDDD

另外是 Amazon S3 與 Amazon Glacier 都推出了 Select 功能：「S3 Select and Glacier Select – Retrieving Subsets of Objects」。

看示範的程式碼就可以看出用途了，原文中間那段有 sytax error，我這邊就幫忙修掉了：

handler = PrintingResponseHandler()
s3 = boto3.client('s3')
response = s3.select_object_content(
    Bucket="super-secret-reinvent-stuff",
    Key="stuff.csv",
    SelectRequest={
        'ExpressionType': 'SQL',
        'Expression': 'SELECT s._1 FROM S3Object AS s',
        'InputSerialization': {
            'CompressionType': 'NONE',
            'CSV': {
                'FileHeaderInfo': 'IGNORE',
                'RecordDelimiter': 'n',
                'FieldDelimiter': ',',
            }
        },
        'OutputSerialization': {
            'CSV': {
                'RecordDelimiter': 'n',
                'FieldDelimiter': ',',
            }
        }
    }
)

這樣可以大幅降低 I/O，節省成本：

Glacier Select 也是類似的想法，不需要整包拉出來再處理，可以在一開始就設定條件。