Tag Archives: data

在面試時的資料結構與演算法的問題

在「500 Data structures and algorithms interview questions and their solutions」這邊看到在 Quora 上整理出來的題目 (以及解答)。 每個題目下面也都有地方可以留言,等久一點應該會更豐富? 另外一個不錯的地方在於題目的分類,舉例來說,如果想要練習 Backtracking,可以去翻對應的題目出來練。

Posted in Computer, Murmuring, Programming | Tagged , , , , , , | Leave a comment

AWS EU (Stockholm) Region

由老大 Werner Vogels 出來講一些細節... AWS EU (Stockholm) Region 預定在 2018 年開張營業:「Välkommen till Stockholm – An AWS Region is coming to the Nordics」。 The new AWS EU (Stockholm) Region will have three Availability Zones and will be ready for customers to … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network | Tagged , , , , , , , , | Leave a comment

在 ext4 上的 CCFS

在「Application crash consistency and performance with CCFS」這篇看到的東西。 CCFS 目標是拉高 ext4 的 data integrity,並且還是有高效能: CCFS (the Crash-Consistent File System) is an extension to ext4 that restores ordering and weak atomicity guarantees for applications, while at the same time delivering much improved … Continue reading

Posted in Computer, Linux, Murmuring, OS, Software | Tagged , , , , , , , , , , , , , | Leave a comment

Google 的 Guetzli,對 JPEG 的壓縮演算法

Google Research Europe 推出的演算法,在不動 decoder 的情況下,要怎麼樣壓出又小又清晰的 JPEG 圖片:「Announcing Guetzli: A New Open Source JPEG Encoder」,論文可以在「Guetzli: Perceptually Guided JPEG Encoder」這邊下載,程式碼則可以在 GitHub 上的 google/guetzli 取得。 othree 也寫了一篇「Guetzli: A New Open Source JPEG Encoder」介紹 Guetzli。 Guetzli 在同樣的品質下,比現有的壓縮法可以再壓榨出 29%~45% 的空間,這算是非常驚人的數字: We reach a 29-45% … Continue reading

Posted in Computer, Murmuring, Photo, Programming, Recreation, Software | Tagged , , , , , , , , , , | Leave a comment

/usr/bin 下的工具介紹

「Adventures in /usr/bin and the likes」這篇介紹了 /usr/bin 的各種工具。即使是在 FreeBSD 與 Linux 下面混了許多年,還是看到了不少好用的工具,值得慶幸的是,至少有一個章節 (Misc) 還算熟悉... OS 的 chrt 與 taskset 看起來再壓榨效能的時候應該可以拿出來用。用 peekfd 不如記 strace 比較萬用... Debugging 的 addr2line 則是學到了一招,對於還是 segfault 看起來應該會很有用... 後面 Data Manipulation 的部份其實都很值得再拿出來看,尤其是這一章的東西,沒在用常常會忘記...

Posted in Computer, FreeBSD, Linux, Murmuring, OS, Programming, Software | Tagged , , , , , , , , , | Leave a comment

Amazon Kinesis Firehole 可以先轉換再進 S3 了...

前陣子 Amazon Kinesis Firehole 推出來的新功能,可以轉完後再寫進 Amazon S3 (或是其他地方):「Amazon Kinesis Firehose can now prepare and transform streaming data before loading it to data stores」。 文件是「Amazon Kinesis Firehose Data Transformation」這份,開頭有說明是透過 Lambda 做到的: When you enable Firehose data transformation, Firehose buffers incoming data … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network | Tagged , , , , , , , , , | Leave a comment

Amazon Echo 會保留錄音的音頻

在「Police seek Amazon Echo data in murder case (updated)」這邊看到 Amazon Echo 的隱私問題,起因自警方要求要取得 Amazon Echo 的錄音內容。 Amazon Echo 會錄下所有喊出「Alexa」後的句子,並且傳到 cloud 上持續保留: [,] Echo only captures audio and streams it to the cloud when the device hears the wake word "Alexa." A … Continue reading

Posted in Cloud, Computer, Hardware, Murmuring, Network, Security | Tagged , , , , , , | 1 Comment

Amazon Rekognition:圖片辨識 API

從 Google 的 Vision API,到 Microsoft 的 Computer Vision API (參考「微軟也推出圖片辨識的 API 了」),AWS 也推出類似的服務了:「Amazon Rekognition – Image Detection and Recognition Powered by Deep Learning」。 與其他兩家都是類似的方式,丟圖進去然後用系統已經 train 好的資料給你分析結果... 然後依照次數算錢。 有種算是補產品線的感覺啦...

Posted in AWS, Cloud, Computer, Murmuring, Network, Programming | Tagged , , , , , , , , , , , | Leave a comment

Amazon Athena:直接在 S3 上進行分析

Amazon Athena 提供另外一種選擇,讓分析的便利性增加了許多:「Amazon Athena – Interactive SQL Queries for Data in Amazon S3」。 以往都需要開 server 起來分析,這個新的服務直接使用就好: Athena is based on the Presto distributed SQL engine and can query data in many different formats including JSON, CSV, log files, text with … Continue reading

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, Software | Tagged , , , , , , , , , , , , , | Leave a comment

電信商對 Zero Rating 與網路中立性的問題

在「AT&T users will be able to stream DirecTV Now without using their data」這邊才看到 FCC 在這個月月初針對電信商對特定服務的 zero rating 發出警告:「The FCC tells AT&T it may be violating net neutrality with its DirecTV plans」: AT&T is far from the only US carrier to … Continue reading

Posted in Computer, Movie, Murmuring, Network, Political, Recreation, Social, Television | Tagged , , , , , , , , , , , , | Leave a comment