Tag: analytics

這次換 HP 裝 Spyware 啦～

討論的頗熱烈的，像是「HP is installing spyware on its machines disguised as an "analytics client"」、「HP stealthily installs new spyware called HP Touchpoint Analytics Client」。

這個軟體會被注意到是因為吃太多資源，而且使用者沒有同意安裝這個軟體 (目前看是起來是透過自動更新機制裝進去的)：「Didn't Install HP TouchpointAnalyticsClient and It's Causing CPU 95-98 Red」(先備份一份在這邊，以免被砍...)。

然後這軟體很明顯會傳資料回 HP：

The HP Touchpoint Manager technology is now being delivered as a part of HP Device as a Service (DaaS) Analytics and Proactive Management capabilities. Therefore, HP is discontinuing the self-managed HP Touchpoint Manager solution.

先前聯想因為類似的行為賠了 350 萬美金，這次 HP 搞這包不知道會怎麼樣...

CircleCI 的隱私問題

作者看 CircleCI 網站時發現的問題：「CircleCI trusts 8 analytics companies with your source code and API tokens」。

CircleCI 網站引用了這八個網站的 javascript：

  • Pusher
  • Intercom
  • Launch Darkly
  • Amplitude
  • Appcues
  • Quora (??)
  • elev.io
  • Optimizely

有些有很明顯目的而且也夠大，但有些就沒聽過了... 不過照 BuiltWith 上分析的資料「circleci.com Technology Profile」，遠超過這些啊 XDDD

可以看到 GitHub 站上只引用了 Facebook (不過這是哪邊出現的啊？)，另外因為使用 Fastly 的 CDN 服務，所以 Fastly 也是屬於 GitHub 的信任名單；這兩家都算夠大的 vendor：「github.com Technology Profile」。

而 Travis CI 則是 Google Analytics 與 Fastly，也是兩家夠大的 vendor：「travis-ci.com Technology Profile」。

所以對於很注重這資安方面的人，應該還算是有選擇...

OnePlus OxygenOS 內建的 Malware

看到「OnePlus OxygenOS built-in analytics」這篇，講作者在聽連線時看到 OnePlus OxygenOS 內建的 Malware：

從維基百科上的說明好像不怎麼意外啊：

一加（全稱：深圳市萬普拉斯科技有限公司，英語：OnePlus）是中國一家行動通訊終端裝置研製與軟體開發的企業，於2013年12月7日成立，主要開拓國外市場。

作者一開始看到各種行為，像是 screen_off、screen_on、unlock、abnormal_reboot：

{
    "ty": 3,
    "dl": [
        {
            "id": "258cfeb1",
            "en": "screen_off",
            "ts": 1484177517017,
            "oed": [],
            "it": 0,
            "rv": "OnePlus2Oxygen_14.A.27_GLO_027_1612271635"
        }, {
            "id": "258cfeb1",
            "en": "screen_on",
            "ts": 1484177826984,
            "oed": [],
            "it": 0,
            "rv": "OnePlus2Oxygen_14.A.27_GLO_027_1612271635"
        }, {
            "id": "258cfeb1",
            "en": "unlock",
            "ts": 1484177827961,
            "oed": [],
            "it": 0,
            "rv": "OnePlus2Oxygen_14.A.27_GLO_027_1612271635"
        }, {
            "id": "258cfeb1",
            "en": "abnormal_reboot",
            "ts": 1484178427035,
            "oed": [],
            "it": 0,
            "rv": "OnePlus2Oxygen_14.A.27_GLO_027_1612271635"
        }, ...
    ]
}

然後是各種機器資訊，包括 MAC address、IMEI 之類的：

{
    "ty": 1,
    "dl": [
        {
            "ac": "",
            "av": "6.0.1",
            "bl": 82,
            "br": "OnePlus",
            "bs": "CHARGING",
            "co": "GB",
            "ga": 11511,
            "gc": 234,
            "ge": 6759424,
            "gn": 30,
            "iac": 1,
            "id": "258cfeb1",
            "im": "123456789012345,987654321098765",
            "imei1": "123456789012345",
            "it": 0,
            "la": "en",
            "log": "",
            "ma": "aa:bb:cc:dd:ee:ff",
            "mdmv": "1.06.160427",
            "mn": "ONE A2003",
            "nci": "23430,",
            "ncn": ",",
            "noi": "23430,",
            "non": "EE,",
            "not": "LTE,",
            "npc": "gb,",
            "npn": "07123456789,07987654321",
            "nwa": "aa:bb:cc:dd:ee:ff",
            "nwb": "ff:ee:dd:cc:bb:aa",
            "nwh": false,
            "nwl": 0,
            "nws": ""CHRISDCMOORE"",
            "ov": "Oxygen ONE A2003_24_161227",
            "pcba": "",
            "rh": 1920,
            "ro": false,
            "romv": "3.5.6",
            "rw": 1080,
            "sov": "A.27",
            "ts": 1484487017633,
            "tz": "GMT+0000"
        }
    ]
}

然後是開了什麼 app XDDD

{
    "ty": 4,
    "dl": [{
            "id": "258cfeb1",
            "pn": "com.Slack20003701",
            "pvc": "20003701",
            "tk": [
                [1484079940460, 1484079952177],
                [1484081525486, 1484081603191],
                [1484081603424, 1484081619211],
                ...
            ],
            "it": 0
        }, {
            "id": "258cfeb1",
            "pn": "com.microsoft.office.outlook170",
            "pvc": "170",
            "tk": [
                [1484084321735, 1484084333336],
                [1484084682578, 1484084683668],
                [1484084685843, 1484084688985],
                ...
            ],
            "it": 0
        }, ...
    ]
}

以及在 app 裡面做了什麼 XDDD (像是 ChromeTabbedActivity start、RecentsActivity stop、WifiSettingsActivity start、Settings start)

{
    "ty": 2,
    "dl": [{
            "id": "258cfeb1",
            "pi": 12795,
            "si": "127951484342058637",
            "ts": 1484342058637,
            "pn": "com.android.chrome",
            "pvn": "55.0.2883.91",
            "pvc": 288309101,
            "cn": "ChromeTabbedActivity",
            "en": "start",
            "aed": [],
            "sa": true,
            "it": 0,
            "rv": "OnePlus2Oxygen_14.A.27_GLO_027_1612271635"
        }, ... {
            "id": "258cfeb1",
            "pi": 4143,
            "si": "41431484342115589",
            "ts": 1484342115589,
            "pn": "com.android.systemui",
            "pvn": "1.1.0",
            "pvc": 0,
            "cn": "RecentsActivity",
            "en": "stop",
            "aed": [],
            "sa": true,
            "it": 0,
            "rv": "OnePlus2Oxygen_14.A.27_GLO_027_1612271635"
        }, {
            "id": "258cfeb1",
            "pi": 26449,
            "si": "264491484342115620",
            "ts": 1484342115620,
            "pn": "com.android.settings",
            "pvn": "6.0.1",
            "pvc": 23,
            "cn": "WifiSettingsActivity",
            "en": "start",
            "aed": [],
            "sa": true,
            "it": 0,
            "rv": "OnePlus2Oxygen_14.A.27_GLO_027_1612271635"
        }, ... {
            "id": "258cfeb1",
            "pi": 2608,
            "si": "26081484346421908",
            "ts": 1484346421908,
            "pn": "com.android.settings",
            "pvn": "6.0.1",
            "pvc": 23,
            "cn": "Settings",
            "en": "start",
            "aed": [],
            "sa": true,
            "it": 0,
            "rv": "OnePlus2Oxygen_14.A.27_GLO_027_1612271635"
        }, ...
    ]
}

有人提供了移除的方法：

但你可以不要買這個牌子啊 XDDD

Homebrew 蒐集到的安裝資訊

在「Homebrew Analytics Install On Request Events — Homebrew」這邊，Homebrew 利用了傳回來的資訊算出 2016/07/14 到 2017/07/14 的安裝套件次數，列出前一千名。(我是把他關掉，因為隱私問題不想要傳出去... 參考「Homebrew 會將安裝資訊送到 Google Analytics 上」這篇。)

比較有趣的是第一名的 node 超級多，比第二名加第三名的 git + wget 還多...

拿來翻一翻還 ok，順便看一下大家用什麼...

StackOverflow 上離開 Vim 方法的文章...

被拿出來當 PR 宣傳了：「Stack Overflow: Helping One Million Developers Exit Vim」。

由於 Vim 是 Unix-like 系統一定會內建的 editor，所以常常被拿來放在 tutorial 裡面 (考慮到普及性，但完全不熟的初學者就...)，或是不小心在輸入 vipw 或是 visudo 之類的指令就中獎了：

可以看到 pageview 破一百萬次了 XDDD 而且流量也都很穩定：

依照地區來拆開的話：(不過沒有照人口數正規化...)

然後做交叉分析，看這些卡在 Vim 的人平常是看什麼其他的文章：

回到資料分析的角度來看，這些東西可以透過有 cookie 的 access log 做到。有 access log 後可以用 Google Cloud 的 BigQuery，也可以用 AWS 家的 Amazon Athena 做。

Amazon S3 的改善

其實老牌的 Amazon S3 也改了不少東西：「Revolutionizing S3 Storage Management with 4 new features」。

其中的「S3 Object Tagging」讓管理可以透過 tag 處理，管理上會多一些選擇。而「S3 Analytics, Storage Class Analysis」則是可以分析存取的 pattern，藉此重新規劃 policy。

看到之前的同事說 CloudFront 要支援 2-tier cache，但卻還沒看到公告，不知道是怎麼樣的實作方式... 這對大型的 live streaming 幫助很大啊，後面的壓力會小很多。

維基百科每天的 PageView 數據 (2015/07/01 開始)

不只是維基百科，還包括所以維基基金會的專案都可以查到，精確度可以到每日。

MediaWiki 系統提供的 API 在維基基金會上的專案都關掉了。主要是因為維基基金會的專案量太大，前方有大量的 cache 擋住，後端能提供的資料其實沒有意義。取而代之的是另外規劃出來的 API。

API 的介紹說明在「Analytics/PageviewAPI」這邊可以看到，官方所提供的完整 API 說明文件則可以在「Wikimedia REST API」這邊查到。

實際測試發現資料從 2015/07/01 開始，每日更新的速度還不錯，像是 UTC 還是 2016/07/31 的現在可以取到 2016/07/30 的資料了。舉例來說，想要拉中文版 Kalafina 在 2016 七月由人閱覽的資料：

https://wikimedia.org/api/rest_v1/metrics/pageviews/per-article/zh.wikipedia/all-access/user/Kalafina/daily/20160701/20160731

如果是想拉日文版的就換成 ja.wikipedia：

https://wikimedia.org/api/rest_v1/metrics/pageviews/per-article/ja.wikipedia/all-access/user/Kalafina/daily/20160701/20160731

Humble Bundle 對抗信用卡盜刷的方法

Humble Bundle 說明他們如何對抗信用卡盜刷的方法，主要是不斷的降低風險，然後讓人介入的機會降低 (因為人事成本很高)：「How Humble Bundle stops online fraud」。

其中第一點是特別想提的：

Our first line of defense is a machine-learning-based anti-abuse startup called Sift Science, which we’ve been training for years across 55,000,000 transactions. Given how many orders we process, Sift Science has a really good idea when someone is up to no good. The model adapts daily as we get more data.

Sift Science 在 2014 的時候提過：「偵測信用卡交易是否為盜刷的服務」。做的事情很簡單，你把大量的資料傳給 Sift Science，包括了各種使用者身份資訊，以及信用卡資料，Sift Science 可以透過 Machine Learning 的方法告訴你這筆交易的風險，讓你進一步的判斷。

其實不少家都有做類似的服務，像是 MaxMind 的 minFraud (就是做 GeoIP database 很有名的那家公司的另外一個產品)。當交易量很大的時候是個很有趣的應用，降低處理盜刷後續處理的成本。

維基百科的 User Agent 公開資料

在 Nuzzel 上看到的東西...

維基百科不掛 Google Analytics 之類的第三方服務，而是透過 Piwik 蒐集後自己分析：「Dashboards and Data Downloads for Wikimedia Projects」。

主要有兩個資料可以看，一個是「Browser Statistics」，另外一個是「Readers: Pageviews and Unique Devices」。

不過翻了一下，Piwik 好像還是沒有寫到 NoSQL 之類的方案，出自「How do I use another database like Postgresql, SQLite, Oracle? Will you support Nosql databases like Hadoop, Mongodb?」：

Piwik only works on Mysql, where all the development and testing is done. Supporting multiple databases is a long term objective for Piwik, but not our current focus.

不知道維基百科是怎麼 scale 的...

Homebrew 會將安裝資訊送到 Google Analytics 上

在 Hacker News Daily 上看到 Homebrew 會將安裝資訊送到 Google Analytics 上面：「Homebrew's Anonymous Aggregate User Behaviour Analytics」。

opt-out 的方法有兩個，一個是環境變數，另外一個是透過 git 設定：

If after everything you've read you still wish to opt-out of Homebrew's analytics you may set HOMEBREW_NO_ANALYTICS=1 in your environment or run git config --file="$(brew --repository)/.git/config" --replace-all homebrew.analyticsdisabled true which will prevent analytics from ever being sent when either of them have been set.