[分享] ASP 與 XML--part5

看板mud_sanc (Sanctuary - 聖殿)作者 (小太保)時間13年前 (2012/05/23 15:18), 編輯推噓0(002)
留言2則, 1人參與, 最新討論串1/1
最近改良了在公司寫的程式,這次應用了以前改聖殿時提到的 內迴概念,簡單的說,每一筆 XML request 格式如下.. <xxxxx> <xxxxxx> <request bla bla....> . . </request> </xxxxxx> <xxxxx> 我以前的程式寫法,是把上面的東西丟給 soap-api 讓它去跑 結果,然後我等著接收從它那邊傳回來的 response,如下.. ' 假設要跑 10000 筆 request for i = 1 to 10000 對 soap-api 送出 request xml (如上) 等待 response 解析 response 並將資料存檔 next 這個就類似底下的東西... for i = 1 to 10 me->shut("xxx",10000,1000,"dam",tar); 現在就是把它改成內迴的型式,如下... me->shut("xxx",10000,1000,"dam",tar,10); 以 xml 來說,就是把要 request 的資料都統一包起來,如下 str = "<xxxxx><xxxxxx>" for i = 1 to 10000 str = str & "<request ......> ...... </request>" next str = str & "</xxxxxx></xxxxx>" 這對我們就可以只對 soap-api 送出「一個」xml 就搞定,類 似上面只呼叫 shut 一次的語法,soap-api 再針對我送出的 request xml 去解析裡面共有幾筆 xml,等它解析完就會將資 料回給我,回給我時也是一筆 xml(裡面包含多筆 response) 實務上,改良後的語法如下.. str1 = "<xxxxx><xxxxxx>" str2 = "</xxxxxx></xxxxx>" for i = 1 to 10000 step 100 str = str1 for ii = i to i+99 str = str & "<request ......> ...... </request>" next str = str & str2 將 str 送去 soap-api 等待 soap-api 將 response 傳回來 解析 response 的資料並存檔 next 上面的意思就是說,我將 10000 筆 request 分 100 次做, 每次做 100 筆 request,則 soap-api 會一次將一百筆資料 回傳給我,而等我做完這 100 筆資料後,才會再送下一個一 百筆資料。它的好處是.. 一、因為一次解析一百筆資料需要時間(很短),剛好可以給 soap-api 休息的時間。 二、不用去操 soap-api 10000 次,只需要操 100 次即可得   到結果。 三、以前會有 session 過期的問題,但是因為得到了休息時   間,相對的就能延長 session 的使用期限,就不用在每   次做 n 筆後就得重新取得一個 session id。 所以在聖殿的經驗還是挺有用的,以前我 10000 筆資料必須 分 10 次手動去 request,我目前正在試 10000 筆的自動執 行 request,若能成功,對將來挺有幫助的。 它的關鍵就在於每次的 step 最好就讓它把該做的事情做完, 包括解析、存檔等,這樣才能最大限度地延長每一次 request 的時間,來減緩 soap-api 的操勞程度。 它好像有個專有名詞,例如說... for i = 1 to 10000 呼叫某東西做某動作; 假設上述行為會當掉,一般為了防止當掉就會這樣做.. for i = 1 to 10000 { 呼叫某東西做某動作; 故意又呼叫了什麼使程式在這裡 delay 了一下下; } 將程式改成上面後就不會當了。 Laechan -- ※ 發信站: 批踢踢實業坊(ptt.cc) ◆ From: 210.61.157.53

05/23 15:49, , 1F
剛剛跑出測試結果了,10000筆資料不到5000秒就讀取完
05/23 15:49, 1F

05/23 15:49, , 2F
畢,以前至少要兩三個小時
05/23 15:49, 2F
文章代碼(AID): #1Fl8zHjc (mud_sanc)
文章代碼(AID): #1Fl8zHjc (mud_sanc)