Tag Archives: pipeline

MySQL 5.7 的 Pipeline 查詢加速

在「MySQL 5.7.12 – Part 2: Improving the MySQL Protocol」這邊看到介紹 MySQL 的 Asynchronous API,藉由 pipeline 加速查詢。 本來的: res_1 = conn.query("DO 1"); res_2 = conn.query("DO 2"); 會產生這樣的 flow: 而 Asynchronous API 可以這樣寫,先把兩個 SQL query 都丟出去,然後等結果: hndl_1 = conn.query_send("DO 1"); hndl_2 = conn.query_send("DO … Continue reading

Posted in Computer, Database, Murmuring, MySQL, Programming, Software | Tagged , , , , , , | Leave a comment

Amazon Redshift 的 Data Ingestion

在 AWS 放出的「Amazon redshift migration and load data 20150722」這份投影片則是解釋了 data ingestion 時的建議行為。 其實這張就道盡目前 Amazon Redshift 架構上的最佳作法,也就是每次都 TRUNCATE 掉重新 import。後面的所有方法其實都是 workaround,效能不會太好... XD 另外後面是介紹倒資料進 Amazon Redshift 的方式,官方是還蠻推 AWS Data Pipeline,但你用過就會知道有多麻煩與痛苦...

Posted in AWS, Cloud, Computer, Database, Murmuring, Network, PostgreSQL, Software | Tagged , , , , , , , , | Leave a comment

AWS 的 CodeDeploy、CodeCommit、CodePipeline

這次 re:Invent 的另外一個重大發表:「New AWS Tools for Code Management and Deployment」。 講的簡略一點,AWS CodeDeploy 是處理程式的 deployment,CodeCommit 是 Git hosting,CodePipeline 是 hook。 不過目前只有 CodeDeploy 可以用,其他兩個還沒好: CodeDeploy is launching today and you can start using it now. Please stay tuned for more information on … Continue reading

Posted in AWS, Cloud, Computer, Murmuring, Network, Programming, Software | Tagged , , , , , , | Leave a comment