[ask] protokol middleware..

[bekha13]

saya ada rencana develop aplikasi middleware, fungsinya yg sederhana aja, misalnya untuk data transfer client / server.
sebenernya pake protokol TCP/UDP bisa aja sih, cuma dua protokol itu rasanya kurang secure dan kurang mampu untuk menangani data berukuran besar & sudah pasti akan ada delay saat transfer data berukuran besar (karena buffernya kecil)..
selain itu protokol middleware juga sudah dikenal mampu menembus berbagai platform sistem operasi, sehingga sudah pasti handal untuk menangani kendala perbedaan sistem.

rencananya aplikasi akan dijalankan pada 2 sistem operasi windows xp sp2 (client) & linux (server). untuk software development menggunakan bahasa C++.
protokol middleware yg akan digunakan ada 2 kemungkinan (soap / corba) belum ditentukan?

saran & masukan dari anda sangat berarti.. klo ada yg mau bantu2 dalam pengembangan aplikasi ini juga boleh. thanks b4

[baghostito]

wew.. aku kurang ngerti protokol middleware,
setauku adanya cm protokol TCP/UDP,

bisa dijelasin lg mengenai protokol middleware?
semoga sukses deh develop aplikasi middleware nya..

[meongmania]

Originally Posted by bekha13

saya ada rencana develop aplikasi middleware, fungsinya yg sederhana aja, misalnya untuk data transfer client / server.
sebenernya pake protokol TCP/UDP bisa aja sih, cuma dua protokol itu rasanya kurang secure dan kurang mampu untuk menangani data berukuran besar & sudah pasti akan ada delay saat transfer data berukuran besar (karena buffernya kecil)..
selain itu protokol middleware juga sudah dikenal mampu menembus berbagai platform sistem operasi, sehingga sudah pasti handal untuk menangani kendala perbedaan sistem.

rencananya aplikasi akan dijalankan pada 2 sistem operasi windows xp sp2 (client) & linux (server). untuk software development menggunakan bahasa C++.
protokol middleware yg akan digunakan ada 2 kemungkinan (soap / corba) belum ditentukan?

saran & masukan dari anda sangat berarti.. klo ada yg mau bantu2 dalam pengembangan aplikasi ini juga boleh. thanks b4

Socket communications ya basisnya TCP/UDP, setau gw lom ada yg laen, semua transmisi data dari perbankan, network games, pasti masuk di salah satu dari ini : TCP, UDP, DCCP, SCTP, IL, RUDP, dan semuanya ngacu ke konsep akar yg sama, TCP/IP-UDP, yg udah jelas standardisasinya jg ya TCP/UDP, why use anything else?

Masalah security dan integritas data... bisa pake kombinasi SSL, async key encryption, hashing, udah cukup koq. Kalo mau cari yg lebih secure lagi ya, bikin transport layer sendiri... TCP/UDP tugasnya cmn buat transact antar client-server dan nganterin data, urusan integritas dan security lebih ke model data packetna, toh ga ada transport layer yg 100% sniff free, seperti yg kita semua tau, rules of communication streams : gw ga bisa nyegah data gw dibajak ato di 'cium' ama orang ditengah jalan, gw cmn bisa tau kalo data itu 'pernah' dibajak dan yg penting orang yg bajak itu ga tau isi data yg gw kirim (concept of hashing and encryption).

Masalah buffer, standar buffer di TCP itu setau gw 8192bytes per byte stream, tapi modifiable, apapun layer yg dipake... Software yg gw kembangin sekarang ngirim data per serialized objects packet sekitar 250kb-3.5mb ga ada masalah apa2 di buffer tuh? toh selama transmisinya ga di 'flush' ama sendernya dia tetep ngelock itu transmisi buat packet yg itu... So, jgn terlalu kawatir masalah buffer...

Setaw gw CORBA ama SOAP itu bkn protokol, tapi metoda pengiriman obyek bwad komunikasi antar aplikasi, dan rata2 SOAP dipake di protokol HTTP/S, sedangkan CORBA itu dipake buat cross language communications, jd kalo client ama servernya di develop ama bahasa yg sama, mengapakah tidak pakai serialized objects yg udah built-in di APInya saja? jauh lebih simpel dan lebih terjamin integritasnya... Kerjaan gw yg sekarang jg gitu kok, pake serialized object -> enkripsi pake blowfish algorithm -> catet Hashnya pake MD5 -> susun di packet bytesnya -> transmit through socket, beres... no worries...

Kalo butuh bantuan ato masukan yg lebih spesifik post aja disini, sapa tau gw bisa bantu, gw jg udah beberapa kali ngerjain kasus kyk gini, mungkin bisa bagi2 pengalaman, sapa tau ada yg berguna... Tapi gw ga maen di C++, kalo Java ato C# gw jabanin da :P

Kalo pengen komponen socket yg secure dan proven coba ini : www.indyproject.org
itu komponen socket yg sangat populer buat secured transmissions, termasuk TCP, UDP, SSL, dkk semua udah di bundel, ocx dan dll nya disediain buat delphi, C++, C#, VB. Banyak game companies setau gw pake komponen ini, and it's very easy to use...

[bekha13]

Originally Posted by baghostito

wew.. aku kurang ngerti protokol middleware,
setauku adanya cm protokol TCP/UDP,

bisa dijelasin lg mengenai protokol middleware?
semoga sukses deh develop aplikasi middleware nya..

kurang lebih penjelasannya meongmania + sedikit dari penjelasan gw post pertama udah menjelaskan basicnya middleware

Originally Posted by meongmania

Socket communications ya basisnya TCP/UDP, setau gw lom ada yg laen, semua transmisi data dari perbankan, network games, pasti masuk di salah satu dari ini : TCP, UDP, DCCP, SCTP, IL, RUDP, dan semuanya ngacu ke konsep akar yg sama, TCP/IP-UDP, yg udah jelas standardisasinya jg ya TCP/UDP, why use anything else?

Masalah security dan integritas data... bisa pake kombinasi SSL, async key encryption, hashing, udah cukup koq. Kalo mau cari yg lebih secure lagi ya, bikin transport layer sendiri... TCP/UDP tugasnya cmn buat transact antar client-server dan nganterin data, urusan integritas dan security lebih ke model data packetna, toh ga ada transport layer yg 100% sniff free, seperti yg kita semua tau, rules of communication streams : gw ga bisa nyegah data gw dibajak ato di 'cium' ama orang ditengah jalan, gw cmn bisa tau kalo data itu 'pernah' dibajak dan yg penting orang yg bajak itu ga tau isi data yg gw kirim (concept of hashing and encryption).

Masalah buffer, standar buffer di TCP itu setau gw 8192bytes per byte stream, tapi modifiable, apapun layer yg dipake... Software yg gw kembangin sekarang ngirim data per serialized objects packet sekitar 250kb-3.5mb ga ada masalah apa2 di buffer tuh? toh selama transmisinya ga di 'flush' ama sendernya dia tetep ngelock itu transmisi buat packet yg itu... So, jgn terlalu kawatir masalah buffer...

Setaw gw CORBA ama SOAP itu bkn protokol, tapi metoda pengiriman obyek bwad komunikasi antar aplikasi, dan rata2 SOAP dipake di protokol HTTP/S, sedangkan CORBA itu dipake buat cross language communications, jd kalo client ama servernya di develop ama bahasa yg sama, mengapakah tidak pakai serialized objects yg udah built-in di APInya saja? jauh lebih simpel dan lebih terjamin integritasnya... Kerjaan gw yg sekarang jg gitu kok, pake serialized object -> enkripsi pake blowfish algorithm -> catet Hashnya pake MD5 -> susun di packet bytesnya -> transmit through socket, beres... no worries...

Kalo butuh bantuan ato masukan yg lebih spesifik post aja disini, sapa tau gw bisa bantu, gw jg udah beberapa kali ngerjain kasus kyk gini, mungkin bisa bagi2 pengalaman, sapa tau ada yg berguna... Tapi gw ga maen di C++, kalo Java ato C# gw jabanin da :P

Kalo pengen komponen socket yg secure dan proven coba ini : www.indyproject.org
itu komponen socket yg sangat populer buat secured transmissions, termasuk TCP, UDP, SSL, dkk semua udah di bundel, ocx dan dll nya disediain buat delphi, C++, C#, VB. Banyak game companies setau gw pake komponen ini, and it's very easy to use...

biasanya juga gw pake tcp/udp cuma.. mumpung lagi ada niat belajar jadi pengen nyoba yg lain (kebetulan denger protokol2 middleware tuh ada dan lebih handal untuk lintas antar platform.. nah itulah alasannya). awalnya sih pengen nyoba pake corba (orb)-nya si VB (VBORB), cuma setelah tau developnya udah berenti sejak VB3 tahun 1995 jadi males deh

default buffer tcp bisa di modif gw juga pernah denger sih cuma masih blum tau caranya gimana, tiap frame biasanya gw cuma brani kirim 512byte (makanya jadi lemot abis )

klo C# blum tau bisa untuk linux ato ngga

www.indyproject.org nanti gw cuba dulu deh..

thanks banyak brow.. +rep

edit:
gw dah nyoba www.indyproject.org bro, cuma tempat donlot resourcenya gmn ada pilihan Indy.Sockets (CLR) & Indy.Sockets (VCL) kyknya masing2 udah ada library semua soket.. yg bisa dipake yg mana?

[meongmania]

Originally Posted by bekha13

biasanya juga gw pake tcp/udp cuma.. mumpung lagi ada niat belajar jadi pengen nyoba yg lain (kebetulan denger protokol2 middleware tuh ada dan lebih handal untuk lintas antar platform.. nah itulah alasannya). awalnya sih pengen nyoba pake corba (orb)-nya si VB (VBORB), cuma setelah tau developnya udah berenti sejak VB3 tahun 1995 jadi males deh

kalo misalnya lu ngewrite client ama servernya pake bahasa yg sama, ga usah pake corba, corba itu implementasi transact object data kalo bahasa pemrogramannya beda, katanya kan development languagenya full pake C++, ndak usah pake corba jg bisa, apalagi kalo pake Java, tinggal implements Serializable dah beres, ga perlu repot2 cari ini itu.

Originally Posted by bekha13

default buffer tcp bisa di modif gw juga pernah denger sih cuma masih blum tau caranya gimana, tiap frame biasanya gw cuma brani kirim 512byte (makanya jadi lemot abis )

buffer buat send ama receive biasanya di set dari properti class connection tool API yg dipake, biasanya emg ukurannya kecil buat nyegah overflow di modem, nic, hubnya, kalo masalah besarnya data yg dikirim, ga ada hubungan ama buffernya, walopun buffernya cmn 1kb, ngirim data 10mb jg tetep jalan kok. kalo API socketnya bagus nanti bisa diatur besar data yg dikirim per frame secara otomatis (di indy bisa dipotong2 otomatis).

Originally Posted by bekha13

klo C# blum tau bisa untuk linux ato ngga

C# itu .Net language, resminya emang bukan buat platform OS selain windows, walopun sebenernya ada .net buat linux, kyk Mono (Main Page - Mono), cmn kalo emang di linux nanti servernya, ya jgn pake C#, java lebih bagus, rata2 socket programming jaman skrg pake Java kok.

Originally Posted by bekha13

gw dah nyoba www.indyproject.org bro, cuma tempat donlot resourcenya gmn ada pilihan Indy.Sockets (CLR) & Indy.Sockets (VCL) kyknya masing2 udah ada library semua soket.. yg bisa dipake yg mana?

VCL

[bekha13]

Originally Posted by meongmania

buffer buat send ama receive biasanya di set dari properti class connection tool API yg dipake, biasanya emg ukurannya kecil buat nyegah overflow di modem, nic, hubnya, kalo masalah besarnya data yg dikirim, ga ada hubungan ama buffernya, walopun buffernya cmn 1kb, ngirim data 10mb jg tetep jalan kok. kalo API socketnya bagus nanti bisa diatur besar data yg dikirim per frame secara otomatis (di indy bisa dipotong2 otomatis).

dulu sblm gw split jadi beberapa bagian, gw pernah coba send pake default buffer. pas transfer data 1.2mb data yg ke transfer cuma beberapa kb .

pake indy bisa di split otomatis ya, blum sempet coba deh. mungkin besok

[meongmania]

Originally Posted by bekha13

dulu sblm gw split jadi beberapa bagian, gw pernah coba send pake default buffer. pas transfer data 1.2mb data yg ke transfer cuma beberapa kb .

pake indy bisa di split otomatis ya, blum sempet coba deh. mungkin besok

itu kalo kasusnya gitu, masalahnya bukan di buffernya, tapi cara send streamnya, si receiver itu kan ga tau lu ngesend berapa bytes of data, jadi streamnya dah ke flush/close sebelum semua bytes nya kekirim, byk cara buat ngatasin hal ini, misalnya :
1. ngasi tau receiver besar data yg dikirim di awal packet
2. ngasih token yg nandain end-of-stream di packet
3. ngebagi2 packet dlm ukuran yg pas sesuai dengan buffer size
4. dst.

waktu gw ngerjain kasus yg sama kyk gini, solusi yg gw pake itu yg no.1, jadi coding di 'send' nya jadi kyk gini :

private bool SendSync(TcpClient client, byte[] data, bool shouldEncrypt)
{
lock (sendLocker)
{
try
{
BinaryWriter writer = new BinaryWriter(client.GetStream());
if (shouldEncrypt)
data = Data.Compressions.Compress.GetCompressed(data);
writer.Write(data.Length); // gw ngasi tau panjang packetnya
writer.Write(data);// gw ngirim packetnya
writer.Flush();
return true;
}
catch (Exception)
{
return false;
}
}
}

ini contoh coding pake C#, kurang lebih konsepnya sama, tapi jarang orang pake solusi ini, rata2 temen2 gw pake no.2, gw pake ini soalnya 'sistem'nya nuntut solusi kyk gini... Data yg gw kirim itu berkisar antara 200kb-5mb, dan terenkripsi blowfish 128bit, terus di compress pake nzip sebelum dikirim...

hope this helps...

[seanman]

Bisa ga dijelasin protokol middlewar bagian dari mana? Dari servernya? maklum saya awam, namanya juga baru masuk. Biasanya middleware dipakai buat server apa?

[bekha13]

Originally Posted by meongmania

itu kalo kasusnya gitu, masalahnya bukan di buffernya, tapi cara send streamnya, si receiver itu kan ga tau lu ngesend berapa bytes of data, jadi streamnya dah ke flush/close sebelum semua bytes nya kekirim, byk cara buat ngatasin hal ini, misalnya :
1. ngasi tau receiver besar data yg dikirim di awal packet
2. ngasih token yg nandain end-of-stream di packet
3. ngebagi2 packet dlm ukuran yg pas sesuai dengan buffer size
4. dst.

waktu gw ngerjain kasus yg sama kyk gini, solusi yg gw pake itu yg no.1, jadi coding di 'send' nya jadi kyk gini :

ini contoh coding pake C#, kurang lebih konsepnya sama, tapi jarang orang pake solusi ini, rata2 temen2 gw pake no.2, gw pake ini soalnya 'sistem'nya nuntut solusi kyk gini... Data yg gw kirim itu berkisar antara 200kb-5mb, dan terenkripsi blowfish 128bit, terus di compress pake nzip sebelum dikirim...

hope this helps...

tenkyu yah meong, nanti gw pelajari dulu.. gi g konsen, gara2 sering mati lampu