從EXCEL VBA到Python金融數據之網路爬蟲實作第4次(零售市場行情批次下載&解決亂碼問題&批次下載上櫃股票行情VBA程式)
01_重點回顧與零售市場行情批次下載
02_下載個股日成交資訊與解決亂碼問題
03_批次下載上櫃股票行情VBA程式說明
04_批次另存新檔將10月份上櫃資料下載
05_批次新增工作表與重新命名
完整影音
http://goo.gl/aQTMFS
教學論壇(之後課程會放論壇上課學員請自行加入)：
https://groups.google.com/forum/#!forum/labor_python_2020
懶人包：
EXCEL函數與VBA http://terry28853669.pixnet.net/blog/category/list/1384521
EXCEL VBA自動化教學 http://terry28853669.pixnet.net/blog/category/list/1384524
課程簡介：入門
VBA重要函數到Python
建置Python開發環境
基本語法與結構控制
迴圈、資料結構及函式
檔案與資料庫處理
課程簡介：進階
處理 CSV 檔和 JSON 資料
PM2.5即時監測顯示器轉存到SQLITE資料庫
網頁資料擷取與分析、
Python網頁測試自動化、
下載外匯資料、下載YAHOO股市類股、下載威力彩
EXCEL VBA與Phython協同運作
資產負債表與券商分點買賣超
群益八大公股銀行買賣超
鉅亨網新聞與MoneyDJ新聞
7-11門市與PChome
參考書目
Excel VBA實戰技巧金融數據x網路爬蟲
作者：廖敏宏（廖志煌）
出版社：碁峰 出版日期：2019/06/30
Python大數據特訓班(第二版)
作者：鄧文淵,文淵閣工作室
出版社：碁峰?出版日期：2020/06/01
吳老師 109/10/31
EXCEL,VBA,Python,東吳推廣部,自強工業基金會,EXCEL,VBA,函數,程式設計,線上教學,金融數據,網路爬蟲實作
python入門到分析股市30天 在 [心得] 量化交易起頭篇- 看板Trading - 批踢踢實業坊 的推薦與評價
希望藉這篇文和量化交易同好交流，歡迎來信，若有Telegram群還是論壇還請分享給我謝謝！
部落格版本 https://wp.me/p6LfX3-ab
(正文開始)
這是長榮套在202元努力寫程式脫魯的血淚文，話不多說有圖有真相(哭)
話說買股票這些年來，很神奇的每次追高就大跌殺低就大漲，據說這就是魯蛇平均值，決心
上過金融研訓院的量化交易課，老師說好策略不用程式也能賺錢，爛策略走程式賠更快，嚇
先說結論，經過數個不出門的周末，產出個簡單的網站，先別笑很簡陋，這可是C語言工程?
網址在此 https://stock.tw-maker.net/
選擇Python語言實作，感謝(量化交易30天)和 (Python 入門到分析股市 30天)，這兩個系列文超適合入門。
花很多時間測試免費資料源，發現twstock擷取臺灣證交所雖然免費，但很容易查詢太密集被黑名單一整天，而且也不清楚具體限制，最後台股使用FinMind，為了取得即時股價月繳149元。美股使用yfinance取得Yahoo Finance資料。
試過的資料來源為下：
Tiingo API
免費美股資料，而且有調整後歷史股價, 考慮除權息及拆股 ， 方便做回測。使用限制為每月可用500檔標的資料、每小時500 次 requests、每日2000次requests、每月5GB用量，
Yahoo Finance (yfinance)
免費台股美股資料，而且有調整後歷史股價，使用限制為每小時2000次requests
FinMind
部分免費，非常棒的台股資料。有股價，基本面，籌碼，新聞。可惜股價沒經過調整，有除權息表但好像沒有拆股表。繳交月費140元才有即時股價。
公開資訊觀測站 (twstock)
免費台股資料，但盤中一半以上股價讀到’-‘而不是數字。不能連續讀取不然會封鎖IP。沒有調整後歷史股價。
永豐Python API
免費但需永豐證券帳號。本來開戶前充滿期待，但試過後覺得反應很慢，常連線失敗，相當不穩定。
TEJAPI
月費488~8800元，有各種財金資料庫
-
除了基本資料外只有兩個指標，第一個是我唯一會的布林通道，用來評估20交易日內，95%信任區間的上下限，代表股價有95%機率落在此區間，超出即是買賣點。
Pythona的matplotlib繪圖功能很強大，但要畫張漂亮的圖也不簡單，花了不少時間調圖
第二個是Google Trend搜尋量指標，據說熱門股票搜尋量大跌之後股價也會大跌，準確度還在驗證中。灰線是每日資料，橘線是七日平均，因為周末搜尋量大減，週平均才有代表性，八天九天都不行。
問題是Google Trend只能取得三日前資料，資料延遲有點嚴重。若使用日指標雖然取得最新資料，但0-100的權重每次query都不同，新舊資料不能比較，沒法計算漲跌。
第三個是最近很紅的處置股通知，再接上LINE機器人就不需要處置王了！來源為證交所的上市處置股及上櫃處置股，現在政府資料都給csv下載，一行直接丟入dataframe處理超方便，為政府開放資料拍拍手。
有了資料源後開始學習用Python寫網站，似乎Flask是首選入門framework，和大學時代寫的php邏輯不同，網址處理都是虛擬的覺得很特別，不像php網址都是真實目錄結構。
至於網頁前端…. 完全沒有前端，就是用dataframe輸出表格加上漲跌顏色，身為C語言工程師已經有成就感 ^_^
開了一台AWS EC2，設定crontab定時執行parser，將結果寫入csv，再由flask讀取csv用dataframe顯示在網頁，第一個網站服務就此上線，幹話講了這麼多年終於開始進入量化分析的世界。不過免費的t2.micro等級好慢啊，真不適合上線服務，還是說flask太沒效率也有可能。
下一步準備實作九轉指標，做回測，想策略，將策略實作到網站並加入LINE通知，使用AI模型LSTM分析，邁向脫魯王的道路！
—-
後記：
做這系統前其實試用過multichard，但範例都是期貨比較沒台股，而且沒跑成功覺得很生澀就沒繼續，可能再找永豐版本multichard和XQ再試看看。
自己寫一方面覺得比較上手，畢竟本身是軟體工程師，藉著股票分析學python和AI模型
很有趣，另方面如果走出和現有軟體不同的路，取得不同資料和模型，也許有新的賺錢機
會？對未來工作可能也有幫助。
或是仿效這位前輩，在2008年開始寫期貨分析，後來好像開始賣服務賺錢了，據說工程師
賣程式比股票好賺！
https://www.ptt.cc/bbs/Option/M.1522658603.A.057.html
計畫改成比較有擴充性來開源，歡迎各位自行加入自己的策略:-)
-----
Sent from JPTT on my iPhone
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 223.137.159.182 (臺灣)
※ 文章網址: https://www.ptt.cc/bbs/Trading/M.1627132058.A.D20.html
... <看更多>