Tag: pdf

抓 PDF 裡文字的問題

在 Hacker News Daily 上看到的，在講從 PDF 裡面拉文字出來遇到的各種問題：「What's so hard about PDF text extraction?」。

FilingDB 是一家處理歐洲公司資料的公司，可能是開公司時送件的時候要求用 PDF，或是政府單位輸出的時候用 PDF，所以他們必須從這些 PDF 裡面拉出文字分析，然後就能夠讓程式使用：

會這麼難搞的原因是因為 PDF 是設計給輸出端用，而不是語意化用的格式：

The main problem is that PDF was never really designed as a data input format, but rather, it was designed as an output format giving fine grained control over the resulting document.

每個字元 (character) 都是可以被獨立控制的物件：

At its core, the PDF format consists of a stream of instructions describing how to draw on a page. In particular, text data isn’t stored as paragraphs - or even words - but as characters which are painted at certain locations on the page.

然後文章後面都在展示各種 workaround XD

HTML 轉 SVG

在「html-to-svg」這邊看到的，專案在 GitHub 上的「as-a-service/html-to-svg」這邊。

整個服務的程式碼其實很短 (大約 50 行？)，因為主要的業務是透過 Chrome (headless) 生出 PDF 檔，再用 Inkspace 把 PDF 轉成 SVG：「htmltosvg.js」。

主要是 Inkspace 可以做 PDF 轉 SVG 這件事情算是新知...

全自動化「印出來，簽名，掃描再寄回去」的事情

看到「falsisign」這個專案 (FalsiScan: Make it look like a PDF has been hand signed and scanned)，完全符合這個 blog 的副標題「幹壞事是進步最大的原動力」的精神，不介紹一下好像說不過去...：

For bureaucratic reasons, a colleague of mine had to print, sign, scan and send by email a high number of pages. To save trees, ink, time, and to stick it to the bureaucrats, I wrote this script.

把「印出來簽名再寄掃描回去」這種事情在電子系統上全自動化：產生出來的 PDF 會把預先嵌好的簽名貼到程式指定的位置上，另外還會稍微把把紙張轉一些角度，並且加上影印時會產生的黑邊...

有超多這種雜事要處理，但是又閃不掉的人，可以研究一下...

在網頁上看 arXiv 的論文

Hacker News Daily 上看到的服務「Arxiv Vanity – Read academic papers from Arxiv as web pages」：

Arxiv Vanity renders academic papers from Arxiv as responsive web pages so you don’t have to squint at a PDF.

不過實際測試發現只有有提供 TeX 格式原始檔才有辦法轉，沒提供的就不行了...

在 Kindle 上讓 PDF 變得更容易看的工具

在這邊看到 K2pdfopt 這個工具：

之後把一些 PDF 轉進 Kindle Paperwhite 看看效果，不然看 PDF 看得好痛苦 XD

Google 與 CWI Amsterdam 合作，找到 SHA-1 第一個 collision

Google 與 CWI Amsterdam 正式攻陷 SHA-1：「Announcing the first SHA1 collision」，然後也沒什麼意外的，現在大家都喜歡針對各種安全問題註冊一個 domain 來介紹：「SHAttered」。

把 shattered-1.pdf 與 shattered-2.pdf 下載下來確認，可以看出來兩個不一樣的檔案有同樣的 SHA-1 value：

gslin@home [/tmp] [21:33/W4] sha1sum *.pdf
38762cf7f55934b34d179ae6a4c80cadccbb7f0a  shattered-1.pdf
38762cf7f55934b34d179ae6a4c80cadccbb7f0a  shattered-2.pdf

gslin@home [/tmp] [21:33/W4] sha256sum *.pdf
2bb787a73e37352f92383abe7e2902936d1059ad9f1ba6daaa9c1e58ee6970d0  shattered-1.pdf
d4488775d29bdef7993367d541064dbdda50d383f89f0aa13a6ff2e0894ba5ff  shattered-2.pdf

直接拿 pdf 來打，表達的是「一次到位」以及「既然可以攻擊 pdf，那麼其他東西當然也有可能」...

攻擊計算量的部份，這次攻擊使用的資源其實不算少，但對於大公司與大單位已經不是問題了，猜這次 Google 應該是贊助不少雲端設施：

  • 6,500 years of CPU computation to complete the attack first phase
  • 110 years of GPU computation to complete the second phase

這衍生出另外一個頭比較大的問題是 Git 目前使用的 SHA1：

GIT strongly relies on SHA-1 for the identification and integrity checking of all file objects and commits. It is essentially possible to create two GIT repositories with the same head commit hash and different contents, say a benign source code and a backdoored one. An attacker could potentially selectively serve either repository to targeted users. This will require attackers to compute their own collision.

這下得來看 Git 核心團隊要怎麼從 SHA-1 migrate 到其他 hash function 了...

另外一篇講文件掃描的...

在「Page dewarping」這篇看到講文件掃描的技術，以及 open source 的程式，對比之前提到的「Dropbox 的文件掃描功能」與「Dropbox 的 Document Detecting」的時間點，有種淡淡的惡意 XD

這篇作者是為了未婚妻的需求而寫出來的，本來是作者收到學生的作業時手動在跑，後來未婚妻也拿去用，但量愈來愈大，決定自動化處理：

A while back, I wrote a script to create PDFs from photos of hand-written text. It was nothing special – just adaptive thresholding and combining multiple images into a PDF – but it came in handy whenever a student emailed me their homework as a pile of JPEGs. After I demoed the program to my fiancée, she ended up asking me to run it from time to time on photos of archival documents for her linguistics research. This summer, she came back from the library with a number of images where the text was significantly warped due to curled pages.

So I decided to write a program that automatically turns pictures like the one on the left below to the one on the right:

程式都可以在 GitHub 上翻到：「Text page dewarping using a "cubic sheet" model」。跟 Dropbox 互別苗頭的感覺 XDDD

Springer 免費提供的數學書 (PDF)

在 Hacker News Daily 上看到有人在 Gist 上把 Springer 提供的數學類 PDF 書籍整理出來 (Direct links to free Springer maths books (pdf versions))，查了一下好像是「Springer launches full book download feature」的一環？：

Springer have made a bunch of maths books available for free, here are the direct links

其中重複的書名連結表示有多個版本供下載。裡面有很多經典的書籍啊，以前上課的時候都翻過？

一次下載論文所有的 Reference PDF

感覺就是個做研究的人會很愛的東西：「PDFx - Extract metadata and URLs from PDFs, and download all referenced PDFs」。

程式會試著抓出 PDF 裡的 reference，並且試著找出網路上的 PDF 連結並下載。對於該開始進入做研究時，背景知識可能不足以閱讀這篇論文，會需要從研究被引用的論文開始看，這個程式就派上用場了...

以前是手動抓，雖然不需要花太多時間，但這樣還是方便多了 :p